Eksklusi Kelompok Marginal di Balik Bias Algoritma AI

Mengutip dari laman resmi Binus University (2025), AI memiliki potensi masalah serius yang disebut bias algoritmik atau bias AI. Istilah ini merujuk pada kondisi ketika sistem AI menghasilkan keputusan yang tidak adil, berat sebelah, atau bahkan diskriminatif terhadap kelompok tertentu. Fenomena ini bukan sekadar kesalahan teknis, melainkan refleksi dari data, model, serta nilai-nilai manusia yang digunakan dalam pengembangannya (Mehrabi et al., 2021).

Sementara menurut Barocas et al. (2023), bias muncul karena sistem AI belajar dari data historis yang sering kali memuat bias sosial yang sudah ada, seperti stereotip gender, ras, atau ekonomi. Tentu ini akan menjadi persoalan yang jauh lebih kompleks, ketika AI menyampaikan informasi kepada khalayak yang sama sekali tidak merepresentasikan suatu kelompok tertentu. 

Mereka yang merancang dan mengembangkan teknologi mungkin tidak mengalami dampak langsung dari kesalahan sistem. Namun, kelompok masyarakat yang memiliki representasi data paling kecil justru berpotensi menghadapi risiko yang lebih besar. 

Saat masyarakat terpinggirkan “tidak terlihat”

Merujuk pada penelitian milik UNESCO (2023) berjudul “Data-Invisible Groups and Data Minimization in The Deployment of AI Solutions: Policy Brief”, penerapan AI yang efektif saat ini justru menyingkap banyak ketimpangan dengan menciptakan kelompok-kelompok yang tidak terlihat dalam data. Populasi yang secara tradisional kurang terlayani dan rentan, seperti penyandang disabilitas, pengungsi, migran, dan individu dalam komunitas LGBT, membentuk lapisan kelompok yang tidak terlihat dalam data tersebut.

Menurut penelitian tersebut, mengeksklusi kelompok yang tidak terlihat secara data ini dapat melanggengkan lingkaran kemiskinan dan menghambat pertumbuhan makro ekonomi, capaian pembangunan manusia, kemajuan Tujuan Pembangunan Berkelanjutan (Sustainable Development Goals/SDGs), serta keuntungan sektor swasta. Stagnasi semacam ini mengancam masa depan bersama dan merugikan kesejahteraan kelompok-kelompok tersebut. Padahal, partisipasi mereka justru dapat membawa peningkatan signifikan pada kesejahteraan mereka sendiri, sekaligus memicu kemajuan sosial dan ekonomi.

Saya rasa ketidakterwakilan data bukan semata persoalan teknis. Di balik data yang tidak tersedia itu, terdapat kehidupan masyarakat yang tidak masuk dalam sistem. Pengalaman masyarakat adat, kelompok di wilayah terpencil, penyandang disabilitas, kelompok miskin, lansia, pengungsi, pekerja migran, serta kelompok minoritas lainnya, belum tentu memiliki representasi yang cukup dalam dataset yang digunakan untuk mengembangkan AI. 

Mereka bisa saja tidak memiliki akses internet atau perangkat digital, memiliki keterampilan digital yang terbatas, atau tidak menemukan pilihan bahasa dan fitur aksesibilitas yang sesuai pada platform yang digunakan. Akibatnya, keberadaan dan kebutuhan kelompok tersebut berisiko tidak tercatat dalam data yang digunakan untuk melihat kondisi masyarakat. 

Ini akan menjadi permasalahan jika sistem pengumpulan dan pengelolaan data tidak diperbaiki, kebutuhan kelompok yang tidak terlihat dapat semakin terabaikan. Upaya untuk mengurangi kesenjangan pun pada akhirnya berisiko hanya menjangkau kelompok tertentu, sementara mereka yang paling sulit mengakses teknologi justru semakin tertinggal.

Mengambil keputusan sepihak

"Data Invisibility” atau “Ketidakterlihatan data" merupakan konsekuensi dari ketimpangan digital yang terjadi antarnegara maupun di dalam negara itu sendiri. Kondisi ini cenderung berdampak pada komunitas yang secara tradisional kurang terlayani dan terpinggirkan. Ketidakterlihatan data ini juga berarti terbatasnya ruang bersuara bagi kelompok-kelompok tersebut, yang kemudian memperkuat pembatasan terhadap partisipasi efektif mereka di ranah sosial, ekonomi, budaya, dan politik di dunia yang kian digital. 

Ketergantungan yang berlebihan pada metode pengumpulan data "otomatis" dapat mengeksklusi kelompok yang sangat rentan dan semakin merusak kepercayaan terhadap perangkat digital. Eksklusi semacam ini kiranya berisiko memperparah bias yang membatasi efektivitas dan validitas algoritma AI yang dilatih menggunakan data yang hanya mudah diakses.

Ketika masyarakat tidak menggunakan AI, mereka tetap bisa terdampak oleh AI. Kenapa? Karena sistem AI mengambil keputusan berdasarkan data.

Sistem kecerdasan buatan bekerja dengan membaca pola dari data yang tersedia. Ketika pengalaman suatu kelompok tidak tercatat, tidak terdokumentasi, atau jumlah datanya terlalu sedikit, kelompok tersebut berisiko tidak hadir dalam cara AI memahami dunia. Inilah yang dapat disebut sebagai data invisibility, sebagian masyarakat menjadi tidak terlihat bukan karena mereka tidak ada, melainkan karena keberadaan dan pengalaman mereka tidak masuk ke dalam data.

Saya merasa persoalan data invisibility akan menjadi semakin serius ketika AI mulai digunakan dalam pengambilan keputusan. Sistem berbasis AI dapat membantu menentukan prioritas layanan, membaca risiko, menyeleksi informasi, hingga memberikan rekomendasi kepada pengguna. 

Namun, bagaimana sebuah sistem dapat memberikan keputusan yang adil apabila kelompok yang terdampak justru tidak cukup terwakili dalam data? 

Kesalahan dalam sistem tidak selalu muncul dalam bentuk kegagalan teknologi. Dalam beberapa kasus, sistem dapat bekerja dengan baik secara teknis, tetapi tetap menghasilkan keputusan yang tidak adil bagi kelompok tertentu. Jika data yang digunakan lebih banyak merepresentasikan kelompok tertentu, maka cara AI memahami dunia juga akan dibentuk oleh perspektif kelompok tersebut. Akibatnya, pengalaman masyarakat yang berada di luar arus utama berpotensi hilang, disederhanakan, atau bahkan tidak masuk dalam perhitungan sistem.

Ketika sistem dibangun berdasarkan data yang tidak lengkap, AI berpotensi memahami dunia hanya berdasarkan pengalaman kelompok yang paling banyak meninggalkan jejak digital. Sebab itulah yang AI simpan.