Randomisasi Terstruktur: Solusi untuk Keadilan AI

Sebuah studi terbaru mengungkapkan bahwa penggunaan randomisasi terstruktur dalam keputusan yang didasarkan pada prediksi model machine learning dapat meningkatkan keadilan sambil tetap mempertahankan efisiensi. Ini sangat relevan mengingat semakin banyaknya organisasi yang menggunakan AI untuk mengalokasikan sumber daya atau peluang yang terbatas. Misalnya, model pembelajaran mesin kini digunakan oleh perusahaan untuk menyaring resume dalam proses perekrutan atau oleh rumah sakit untuk menentukan prioritas pasien transplantasi ginjal berdasarkan peluang kelangsungan hidup mereka.

Saat menerapkan model pembelajaran mesin, pengguna umumnya berusaha untuk memastikan prediksi model tersebut adil dengan mengurangi bias, sering kali melalui penyesuaian fitur yang digunakan model atau mengkalibrasi skor yang dihasilkan. Namun, para peneliti dari MIT dan Northeastern University berpendapat bahwa metode-metode keadilan ini tidak cukup untuk mengatasi ketidakadilan struktural dan ketidakpastian yang melekat.

Dalam makalah terbaru mereka, para peneliti menunjukkan bagaimana randomisasi keputusan model secara terstruktur dapat meningkatkan keadilan dalam situasi tertentu. Contohnya, jika beberapa perusahaan menggunakan model pembelajaran mesin yang sama untuk menentukan peringkat kandidat wawancara kerja secara deterministik — tanpa randomisasi — maka satu individu yang layak bisa terus-menerus berada di peringkat terbawah untuk setiap pekerjaan, mungkin karena cara model menimbang jawaban dalam formulir online. Dengan memperkenalkan randomisasi dalam keputusan model, kita dapat mencegah seseorang atau kelompok yang layak dari selalu ditolak dalam mendapatkan sumber daya yang langka, seperti wawancara kerja.

Melalui analisis mereka, para peneliti menemukan bahwa randomisasi dapat sangat bermanfaat ketika keputusan model melibatkan ketidakpastian atau ketika kelompok yang sama secara konsisten menerima keputusan negatif. Mereka memperkenalkan kerangka kerja yang dapat digunakan untuk memasukkan sejumlah randomisasi ke dalam keputusan model dengan mengalokasikan sumber daya melalui undian berbobot. Metode ini, yang dapat disesuaikan dengan situasi spesifik, dapat meningkatkan keadilan tanpa mengorbankan efisiensi atau akurasi model.

"Meski Anda bisa membuat prediksi yang adil, apakah Anda harus memutuskan alokasi sosial dari sumber daya atau peluang yang langka hanya berdasarkan skor atau peringkat? Seiring dengan skalanya yang semakin besar, dan semakin banyak peluang yang diputuskan oleh algoritma ini, ketidakpastian yang melekat dalam skor ini dapat diperbesar. Kami menunjukkan bahwa keadilan mungkin memerlukan semacam randomisasi," kata Shomik Jain, seorang mahasiswa pascasarjana di Institute for Data, Systems, and Society (IDSS) dan penulis utama makalah tersebut.

Jain bekerja sama dengan Kathleen Creel, asisten profesor filsafat dan ilmu komputer di Northeastern University, dan penulis senior Ashia Wilson, Lister Brothers Career Development Professor di Departemen Teknik Elektro dan Ilmu Komputer serta peneliti utama di Laboratorium untuk Sistem Informasi dan Keputusan (LIDS). Penelitian ini akan dipresentasikan pada International Conference on Machine Learning.

Menghormati Klaim

Penelitian ini melanjutkan makalah sebelumnya di mana para peneliti mengeksplorasi kerugian yang dapat terjadi saat menggunakan sistem deterministik dalam skala besar. Mereka menemukan bahwa penggunaan model pembelajaran mesin untuk mengalokasikan sumber daya secara deterministik dapat memperbesar ketidaksetaraan yang ada dalam data pelatihan, yang dapat memperkuat bias dan ketidakadilan sistemik.

"Randomisasi adalah konsep yang sangat berguna dalam statistik, dan sangat memuaskan bahwa itu memenuhi tuntutan keadilan baik dari sudut pandang sistemik maupun individu," kata Wilson.

Dalam makalah ini, mereka mengeksplorasi pertanyaan kapan randomisasi dapat meningkatkan keadilan. Mereka merangkaikan analisis mereka berdasarkan ide-ide dari filsuf John Broome, yang menulis tentang nilai menggunakan undian untuk memberikan sumber daya yang langka dengan cara yang menghormati semua klaim individu.

Klaim seseorang terhadap sumber daya yang langka, seperti transplantasi ginjal, dapat berasal dari prestasi, kelayakan, atau kebutuhan. Misalnya, setiap orang memiliki hak untuk hidup, dan klaim mereka terhadap transplantasi ginjal dapat berasal dari hak tersebut, jelas Wilson.

"Ketika Anda mengakui bahwa orang memiliki klaim yang berbeda terhadap sumber daya yang langka ini, keadilan akan memerlukan bahwa kita menghormati semua klaim individu. Jika kita selalu memberikan sumber daya kepada seseorang dengan klaim yang lebih kuat, apakah itu adil?" kata Jain.

Alokasi deterministik semacam itu dapat menyebabkan pengecualian sistemik atau memperburuk ketidaksetaraan pola, yang terjadi ketika menerima satu alokasi meningkatkan kemungkinan seseorang menerima alokasi di masa depan. Selain itu, model pembelajaran mesin dapat membuat kesalahan, dan pendekatan deterministik dapat menyebabkan kesalahan yang sama terulang kembali.

Randomisasi dapat mengatasi masalah-masalah ini, tetapi itu tidak berarti semua keputusan yang dibuat oleh model harus diacak secara setara.

Randomisasi Terstruktur

Para peneliti menggunakan undian berbobot untuk menyesuaikan tingkat randomisasi berdasarkan jumlah ketidakpastian yang terlibat dalam pengambilan keputusan model. Keputusan yang kurang pasti harus menggabungkan lebih banyak randomisasi.

"Dalam alokasi ginjal, biasanya perencanaannya didasarkan pada perkiraan umur panjang, dan itu sangat tidak pasti. Jika dua pasien hanya terpaut lima tahun, menjadi jauh lebih sulit untuk mengukurnya. Kami ingin memanfaatkan tingkat ketidakpastian tersebut untuk menyesuaikan randomisasi," kata Wilson.

Para peneliti menggunakan metode kuantifikasi ketidakpastian statistik untuk menentukan seberapa banyak randomisasi yang diperlukan dalam berbagai situasi. Mereka menunjukkan bahwa randomisasi yang dikalibrasi dapat menghasilkan hasil yang lebih adil bagi individu tanpa secara signifikan mempengaruhi utilitas atau efektivitas model.

"Ada keseimbangan antara utilitas keseluruhan dan menghormati hak individu yang menerima sumber daya yang langka, tetapi sering kali kompromi ini relatif kecil," kata Wilson.

Namun, para peneliti menekankan bahwa ada situasi di mana randomisasi keputusan tidak akan meningkatkan keadilan dan dapat merugikan individu, seperti dalam konteks keadilan kriminal.

Namun, ada bidang lain di mana randomisasi dapat meningkatkan keadilan, seperti penerimaan perguruan tinggi, dan para peneliti berencana untuk mempelajari kasus penggunaan lainnya di masa depan. Mereka juga ingin mengeksplorasi bagaimana randomisasi dapat mempengaruhi faktor lain, seperti persaingan atau harga, dan bagaimana itu dapat digunakan untuk meningkatkan ketahanan model pembelajaran mesin.

"Kami berharap makalah kami menjadi langkah awal untuk menunjukkan bahwa mungkin ada manfaat dari randomisasi. Kami menawarkan randomisasi sebagai alat. Seberapa banyak Anda ingin melakukannya akan tergantung pada semua pemangku kepentingan dalam alokasi untuk memutuskan. Dan, tentu saja, bagaimana mereka memutuskan adalah pertanyaan penelitian lain secara keseluruhan," kata Wilson.

Dengan temuan ini, para peneliti berharap dapat mendorong diskusi lebih lanjut tentang bagaimana randomisasi dapat digunakan sebagai alat untuk meningkatkan keadilan dalam berbagai konteks, memastikan bahwa alokasi sumber daya yang langka dapat dilakukan dengan cara yang lebih adil dan transparan.