Penelitian ilmiah yang dihasilkan oleh AI mencemari ekosistem informasi akademis online, menurut sebuah laporan yang mengkhawatirkan diterbitkan di Sekolah Harvard Kennedy Tinjauan Misinformasi.
Sebuah tim peneliti menyelidiki prevalensi artikel penelitian dengan bukti teks yang dibuat secara artifisial Google Cendekiamesin pencari akademis yang memudahkan pencarian penelitian yang dipublikasikan secara historis di banyak jurnal akademis.
Tim tersebut secara khusus menginterogasi penyalahgunaan trafo terlatih generatif (atau GPT), sejenis model bahasa besar (LLM) yang mencakup perangkat lunak yang sekarang sudah dikenal seperti ChatGPT OpenAI. Model ini mampu menafsirkan masukan teks dengan cepat dan menghasilkan respons dengan cepat, dalam bentuk gambar, gambar, dan baris teks yang panjang.
Dalam penelitian tersebut, tim menganalisis sampel makalah ilmiah yang ditemukan di Google Cendekia dengan tanda-tanda penggunaan GPT. Makalah yang dipilih berisi satu atau dua frasa umum yang agen percakapan (umumnya, chatbots) yang didukung oleh penggunaan LLM. Para peneliti kemudian menyelidiki sejauh mana makalah-makalah yang dipertanyakan tersebut didistribusikan dan dihosting di internet.
“Risiko dari apa yang kami sebut ‘peretasan bukti’ meningkat secara signifikan ketika penelitian yang dihasilkan AI disebarkan di mesin pencari,” kata Björn Ekström, peneliti di Sekolah Ilmu Perpustakaan dan Informasi Swedia, dan salah satu penulis makalah tersebut, di Universitas Boras melepaskan. “Hal ini dapat mempunyai konsekuensi yang nyata karena hasil yang salah dapat merembes lebih jauh ke dalam masyarakat dan mungkin juga ke lebih banyak domain.”
Cara Google Cendekia menarik penelitian dari internet, menurut tim baru-baru ini, tidak menyaring makalah yang penulisnya tidak memiliki afiliasi ilmiah atau tinjauan sejawat; mesin ini akan menarik hasil tangkapan akademis—makalah siswa, laporan, pracetak, dan banyak lagi—bersama dengan penelitian yang telah melewati standar pengawasan yang lebih tinggi.
Tim menemukan bahwa dua pertiga dari makalah yang mereka pelajari setidaknya sebagian dihasilkan melalui penggunaan GPT yang dirahasiakan. Dari makalah yang dibuat oleh GPT, para peneliti menemukan bahwa 14,5% berkaitan dengan kesehatan, 19,5% berkaitan dengan lingkungan, dan 23% berkaitan dengan komputasi.
“Sebagian besar makalah buatan GPT ini ditemukan di jurnal dan kertas kerja yang tidak diindeks, namun beberapa kasus mencakup penelitian yang dipublikasikan di jurnal ilmiah arus utama dan prosiding konferensi,” tulis tim tersebut.
Para peneliti menguraikan dua risiko utama yang ditimbulkan oleh perkembangan ini. “Pertama, banyaknya ‘studi’ palsu yang merembes ke semua bidang infrastruktur penelitian mengancam sistem komunikasi ilmiah dan membahayakan integritas catatan ilmiah,” tulis kelompok tersebut. “Risiko kedua terletak pada meningkatnya kemungkinan bahwa konten yang tampak ilmiah dan meyakinkan sebenarnya dibuat dengan alat AI dan juga dioptimalkan untuk diambil oleh mesin pencari akademis yang tersedia untuk umum, khususnya Google Cendekia.”
Karena Google Scholar bukan merupakan database akademis, maka mudah digunakan oleh masyarakat umum ketika mencari literatur ilmiah. Itu bagus. Sayangnya, lebih sulit bagi masyarakat untuk memisahkan antara gandum dan sekam jika menyangkut jurnal bereputasi; bahkan perbedaan antara penelitian yang ditinjau oleh rekan sejawat dan kertas kerja dapat membingungkan. Selain itu, teks yang dihasilkan AI ditemukan dalam beberapa karya yang ditinjau oleh rekan sejawat serta tulisan yang kurang diteliti, menunjukkan bahwa karya yang dibuat oleh GPT memperkeruh sistem informasi akademik online—tidak hanya dalam karya yang ada di luar sebagian besar saluran resmi.
“Jika kita tidak dapat mempercayai bahwa penelitian yang kita baca adalah asli, kita berisiko mengambil keputusan berdasarkan informasi yang salah,” kata rekan penulis studi Jutta Haider, yang juga peneliti di Sekolah Ilmu Perpustakaan dan Informasi Swedia, dalam rilis yang sama. “Tetapi meskipun ini merupakan pertanyaan tentang kesalahan ilmiah, ini juga merupakan pertanyaan tentang literasi media dan informasi.”
Dalam beberapa tahun terakhir, penerbit gagal menyaring beberapa artikel ilmiah yang sebenarnya tidak masuk akal. Pada tahun 2021, Springer Nature terpaksa mencabut lebih dari 40 makalah di Jurnal Geosains Arabyang meskipun judul jurnalnya membahas beragam topik, antara lain olahraga, polusi udara, dan pengobatan anak. Selain di luar topik, artikel-artikelnya juga ditulis dengan buruk—hingga tidak masuk akal—dan kalimat-kalimatnya sering kali kurang memiliki alur pemikiran yang meyakinkan.
Kecerdasan buatan memperburuk masalah ini. Februari lalu, penerbit Frontiers mendapat kritik karena menerbitkan makalah di jurnalnya Sel Dan Biologi Perkembangan itu termasuk gambar yang dihasilkan oleh perangkat lunak AI Midjourney; secara khusus, sangat gambar jalur sinyal dan alat kelamin tikus yang secara anatomi salah. Frontiers mencabut makalah tersebut beberapa hari setelah diterbitkan.
Model AI dapat memberikan manfaat bagi sains; sistem ini dapat memecahkan kode teks rapuh dari Kekaisaran Romawi, menemukan Garis Nazca yang sebelumnya tidak diketahui, dan mengungkap detail tersembunyi dalam fosil dinosaurus. Namun dampak AI bisa positif atau negatif seperti halnya manusia yang menggunakannya.
Jurnal peer-review—dan mungkin host serta mesin pencari untuk tulisan akademis—memerlukan batasan untuk memastikan bahwa teknologi tersebut berfungsi untuk kepentingan penemuan ilmiah, bukan untuk menentangnya.
