Diambil dari kehidupan nyata
PIAAC (Program Penilaian Internasional Kompetensi Orang Dewasa) menguji pemahaman membaca, penalaran matematis, dan fleksibilitas dalam pemecahan masalah. Ini adalah salah satu studi sosial paling bergengsi di dunia dan satu-satunya yang membandingkan keterampilan orang dewasa (berusia 16–65 tahun). Hal ini dikoordinasikan oleh Organisasi untuk Kerja Sama dan Pembangunan Ekonomi (OECD). 31 negara ambil bagian dalam edisi 2022-2023, di Polandia, pewawancara mencapai hampir 10.000 orang. orang dengan pendidikan berbeda.
Survei adalah tes yang diselesaikan responden melalui tablet. PIAAC tidak mempublikasikan tugas satu-ke-satu yang digunakan dalam penelitian ini. Laporan internasional dan yang disiapkan oleh tim dari masing-masing negara hanya menunjukkan tugas berdasarkan asumsi yang sama – serupa, namun tidak sama.
– Ini bukan ujian pengetahuan sekolah lanjutan, tetapi tugas kehidupan nyata. Orang dewasa, bahkan yang berpendidikan rendah, seharusnya dapat menanganinya dengan mudah, kata Dr. Michał Sitek, kepala PIAAC edisi Polandia dan kepala Tim Penelitian Keterampilan di Lembaga Penelitian Pendidikan di Warsawa.
Hasil tertinggi pada masing-masing tiga kategori yang diuji diraih oleh penduduk Finlandia, Jepang, Swedia dan Norwegia. Polandia mencapai salah satu hasil terburuk dalam ketiga pengukuran – kedua dan ketiga dari bawah (hanya di atas Portugal dan Chili).
Boneka binatang juga menjadi masalah
Berikut adalah contoh tugas yang dibahas dalam laporan PIAAC Polandia:
“Selamat datang di taman kanak-kanak kami!” – setengah halaman ditempati oleh peraturan lembaga pendidikan untuk anak bungsu. Hanya ada tujuh aturan tertulis, antara lain: jam mulai masuk kelas, keterangan anak harus berpakaian nyaman, larangan membawa permen di hari ulang tahun dan beberapa poin lainnya. Di sisi lain kartu kami terdapat pengumuman tentang Hari Teddy Bear. “Pada hari Jumat, anak-anak dapat membawa maskot favoritnya dan memperkenalkannya kepada anggota kelompok lainnya,” guru menginformasikan. Tugasnya adalah: “Peraturan manakah yang ditangguhkan sementara pada Hari Teddy Bear?”
Tugasnya adalah menguji kemampuan memahami teks, khususnya: mencari informasi. Ada beberapa tahapan sebelumnya yang lebih sederhana, tahapan Teddy Bear Day dianggap paling sulit karena memerlukan perbandingan informasi dari dua teks berbeda: peraturan dan pengumuman guru. Perlu beberapa saat untuk memilih salah satu aturan yang mengatakan “tinggalkan mainan di rumah”. Dia terjebak di bagian tentang penuaan, tapi otaknya pertama-tama mencari informasi tentang boneka binatang. Memang butuh sedikit konsentrasi, tapi terkesan klise.
Tugas bilangan dapat melibatkan, misalnya, penghitungan berapa gulungan kertas dinding yang akan kita gunakan untuk menutupi dinding tertentu dalam sebuah ruangan. Ruangan sudah digambar, dimensi sudah diberikan, Anda bahkan tidak perlu menggunakan rumus atau menghitung – formulir diminta oleh kalkulator digital – seperti pengonversi mata uang di situs web. Masukkan dimensi dinding dan dimensi gulungan di jendela, dan algoritma akan menghitung sendiri hasilnya.
Hampir 40 persen orang Polandia mempunyai masalah serius dengan tugas-tugas tersebut.
Dua kali lebih buruk dari sebelumnya
Lebih dari sepuluh tahun yang lalu, setelah PIAAC edisi sebelumnya pada tahun 2012 (diterbitkan pada tahun 2013), kami merasa tertekan. Penelitian kemudian menunjukkan bahwa setiap orang Polandia kelima mungkin tidak memahami brosur iklan atau instruksi manual mesin cuci, dan setiap orang Polandia keempat mungkin tidak memahami diagram sederhana. Sulit menemukan kata-kata untuk menggambarkan fakta bahwa dalam studi edisi terbaru, persentase orang Polandia yang tidak dapat menyelesaikan tugas dengan tingkat kesulitan paling rendah meningkat dua kali lipat. Penurunan keterampilan juga terlihat di negara-negara lain, namun hasil di Polandia adalah yang paling drastis.
Sebanyak 39% mampu menyelesaikan tugas pada level paling mudah. menyurvei warga Polandia dalam hal pemahaman teks dan 38 persen untuk tugas yang mengukur penggunaan praktis keterampilan matematika. Sebagai perbandingan, masing-masing 17 dan 16 persen mengikuti tes pada tingkat yang sama di Jerman. responden, dan di Republik Ceko 19 dan 18 persen. Di Estonia, hanya 8 dan 9 persen. orang dewasa mendapat skor di bidang ini. Selain itu, setiap sepuluh responden Polandia tidak dapat menyelesaikan tugas sama sekali (di bawah level terendah pertama).
Temukan toko, belanja? Oh tidak!
Persentase penduduk yang berketerampilan tinggi juga rendah: hanya 2,5%. responden mencapai tingkat 4 (skala lima poin) dalam pemahaman teks, dan 3,7 persen sama dalam matematika. Bahkan lebih sedikit lagi, kurang dari setengah persen responden, yang mencapai tingkat tertinggi. Di antara negara-negara tetangga Polandia, Jerman bernasib jauh lebih baik dalam hal ini (18-19 persen penduduknya berada pada level 4 atau 5), Republik Ceko (14-16 persen) dan Estonia (22-29 persen).
Menurut penulis penelitian tersebut, inti dari apa yang disebut pemecahan masalah adaptif adalah “fleksibilitas, pendekatan dinamis terhadap pemecahan masalah dan kemampuan untuk menggunakan berbagai sumber daya.” Tugasnya bisa menggunakan peta interaktif untuk menemukan rute tercepat. Instruksinya adalah merencanakan untuk mengantar anak ke sekolah dan berbelanja di sepanjang jalan pada waktu tertentu. Perintah kedua – lakukan hal yang sama, tetapi hindari putusnya saluran air yang ditandai di peta. Hampir setengah (48%) orang Polandia yang disurvei menyelesaikan tugas-tugas jenis ini pada tingkat terendah. Sebanyak 8 persennya bahkan tidak mencapai level tersebut. Hanya 5% yang berhasil menyelesaikan tugas tersulit. mata pelajaran. “Ini mengejutkan jika kita memperhitungkan hasil penelitian sebelumnya dan perubahan struktur pendidikan serta situasi sosial ekonomi yang terjadi di Polandia dalam satu dekade terakhir,” tulis penulis laporan tersebut.
Kecuali mereka menipu kita
Analisis lebih lanjut terhadap laporan penelitian PIAAC di Polandia tidak akan memperbaiki mood kita sedikit pun. Dari 31 negara peserta PIAAC, sebanyak 11 negara mengalami penurunan skor pemahaman teks. Namun, di 4 negara di antaranya penurunannya sangat besar: sebesar 31 poin di Polandia (tertinggi), 28 poin di Lituania, 23 poin di Korea, dan 21 poin di Selandia Baru. Soal penalaran matematis, hasilnya mengalami penurunan dibandingkan edisi sebelumnya di 7 negara, terbanyak di Lithuania (22 poin) dan – sayangnya – lagi di Polandia (21 poin). Polandia mempunyai rekor lain yang kurang cemerlang – dan bahkan lebih buruk lagi – yaitu penurunan nilai pemahaman teks yang besar di antara orang-orang yang berpendidikan tinggi. Namun, sebelum kita akhirnya menguraikannya, ada baiknya menyebutkan satu peringatan penting.
Hasil studi PIAAC edisi tahun ini memiliki kelemahan tertentu. Pihak penyelenggara sudah mendeteksi banyak kesalahan pada tahap pengumpulan data.
Di PIAAC, pewawancara bertemu dengan responden di rumah mereka. Penelitian berlangsung sekitar dua jam dan terdiri dari dua bagian: pertama, pewawancara mengisi kuesioner tentang responden, kemudian dia memberikan tablet kepada responden dan bagian sebenarnya dimulai – mengerjakan tes sendiri. Ternyata kemerdekaan inilah yang berbeda.
Banyak responden mengklik pertanyaan tersebut. Mungkin mereka menghindari ujian yang tidak sesuai atau terburu-buru menyelesaikan ujian. Aplikasi penelitian mencatat waktu yang sangat singkat yang dihabiskan untuk memberikan tanggapan dan tingginya persentase tanggapan yang hilang. Tidak jelas apakah hal ini disebabkan oleh kurangnya motivasi responden atau karena mereka berasumsi bahwa mereka tidak akan menemukan jawaban atas pertanyaan-pertanyaan tersebut.
Atau mungkin mereka tidak melihatnya sama sekali? Karena dalam beberapa kasus, pemeriksa PIAAC menemukan bahwa pewawancara menyelesaikan tesnya sendiri. Misalnya, auditor memperhatikan seluruh paket survei dengan satu ciri yang sama: kurangnya jawaban atas pertanyaan-pertanyaan mudah di kalangan orang-orang yang berpendidikan tinggi. Kejanggalan lain yang terdeteksi adalah produktivitas yang tidak biasa dari beberapa pewawancara – mereka melakukan banyak wawancara pada hari yang sama, terkadang meskipun jaraknya jauh, atau tidak memasukkan nomor telepon responden sehingga menyulitkan verifikasi wawancara.
Ada ratusan kasus serupa. Penyakit ini telah terdeteksi di enam negara. Kuesioner yang ditemukan keraguan dikeluarkan dari penelitian. Misalnya, 406 di Lituania, 301 di Selandia Baru, 356 di Republik Slovakia, dan 385 di Spanyol. Masih banyak lagi kejanggalan yang terjadi di Israel – sebanyak 748 survei dicoret dari survei di sana.
Di Polandia, sebagian besar orang yang meninggal karena tuduhan adalah sekitar selusin pewawancara, dan pertama-tama 774 dan kemudian 559 survei yang tidak dapat diandalkan harus dikeluarkan dari penelitian ini. Tidak diketahui berapa banyak orang lain yang bisa dipercaya seratus persen. Itulah sebabnya laporan internasional ini memuat peringatan: “Meskipun kasus serupa terjadi di semua negara, jumlah kasus serupa di Polandia berpotensi berdampak signifikan terhadap perkiraan kecakapan seluruh penduduk. Hal ini harus diingat ketika menafsirkan hasil Polandia .” Oleh karena itu, dalam OECD (2024), hasil untuk Polandia ditandai dengan tanda bintang peringatan.
Kami tidak dapat mempercayainya
– Kami mengupayakan bintang ini untuk hasil di Polandia – Dr. Michał Sitek mengakui. Para peneliti mempertimbangkan apakah akan mencabut laporan dan hasil penelitian Polandia sama sekali.
– Penurunan sebesar ini tampaknya tidak mungkin terjadi. Mengapa tiba-tiba terjadi peningkatan dua kali lipat pada orang-orang dengan skor terendah? Kami tidak dapat mempercayainya, kata ilmuwan tersebut. – Masyarakat membeli tiket kereta api secara massal secara online, membaca jadwal, menggunakan GPS, memahami seluk-beluk Dana Kesehatan Nasional, dan membeli resep digital. Dimanakah masyarakat yang buta huruf? – mengatakan.
Mendiagnosis penyebab merosotnya kredibilitas intelektual masyarakat Polandia tidaklah mudah. Tidak diketahui mengapa kinerja kami sangat buruk dalam tes ini. Menurut tim Polandia, rendahnya motivasi responden bertanggung jawab atas sebagian besar hasil yang diperoleh. Ini mungkin alasan mengapa persentase tidak ada tanggapan meningkat tiga kali lipat dibandingkan dengan PIAAC pada tahun 2012, dan jika menyangkut penalaran matematis, bahkan terdapat empat kali lebih banyak jawaban “kosong” pada edisi saat ini.
Ketika saya bertanya tentang kemungkinan penipuan dalam survei, Dr. Sitek mengatakan bahwa survei yang tidak dapat diandalkan ini berhasil dideteksi oleh auditor selama penelitian. Masalah ini bahkan lebih misterius karena selama bertahun-tahun remaja Polandia telah membanggakan hasil yang baik dalam penelitian serupa – misalnya tes keterampilan PISA untuk anak usia 15 tahun – dan telah lama berhasil menyamai para pemimpin OECD. Di area yang sama dengan pemeriksaan PIAAC. Jadi mengapa remaja yang melampaui Finlandia di PISA pada tahun 2013, padahal hanya orang dewasa yang memiliki prestasi buruk dalam survei orang dewasa?
Menurut Dr. Sitek, di Polandia, meskipun kita mengetahui lebih banyak tentang keterampilan anak-anak dan remaja, kita kurang memahami apa yang terjadi pada orang dewasa. – PIAAC adalah satu-satunya studi yang mencoba mengukur hal ini. Namun, kita hanya memiliki dua titik pengukuran: dari tahun 2012 dan 2023. Oleh karena itu, sulit untuk menyimpulkan secara pasti penyebab perubahan tersebut, kata Dr. Sitek. Ia percaya bahwa hasil dramatis seperti itu perlu diverifikasi dengan penelitian lebih lanjut.
