Ringkasan dalam 3 poin
- Uji memakai data eksperimen mentah dan 100 tugas.
- Skor kriteria jawaban meningkat pada evaluasi penerbit.
- Kesalahan membaca gambar masih ditemukan meski skor membaik.
Apa yang diuji dan ditemukan
Pada 6 November 2026, OpenAI memperkenalkan BioBasicsBench yang dikembangkan bersama Ligo. Benchmark, atau uji pembanding, ini memakai 100 tugas untuk menilai cara AI membaca bukti eksperimen.
Bahan penilaiannya berupa data mentah, termasuk gambar dan tabel. Model perlu mengenali kesalahan serta menyatakan ketika bukti belum cukup untuk mendukung kesimpulan.
Dalam evaluasi penerbit pada pengaturan penalaran xhigh, GPT-6 Astra memperoleh 66,7% dari kredit penilaian yang tersedia, dibandingkan 43,8% untuk GPT-5.6 Sol. Angka ini adalah skor terhadap kriteria jawaban, bukan persentase akurasi seluruh pekerjaan laboratorium.
Kemajuan itu belum menghilangkan kesalahan. Salah satu contoh dalam publikasi menunjukkan model melewatkan koloni pada gambar dan menandai area kosong ketika menghitungnya.
Apa arti hasilnya?
Untuk mahasiswa dan pendidik, penelitian ini memberi cara membaca klaim kemampuan AI dengan lebih teliti. Tanyakan jenis tugas, cara penilaian, dan contoh kegagalannya sebelum menghubungkan satu hasil uji dengan pekerjaan lain.
Relevan bagi: Mahasiswa, pendidik, peneliti, dan pembaca yang ingin memahami cara kemampuan AI diukur.
Cara membaca temuan ini
Dalam diskusi kelas, bandingkan dua pernyataan: model memperoleh skor tinggi pada uji tertentu, dan model selalu benar saat digunakan. Pernyataan kedua membutuhkan bukti tambahan. Latihan ini membantu memisahkan hasil evaluasi dari kesimpulan yang terlalu luas.
Analisis Nalarku · Contoh ini belum diuji langsung.
Sumber dan referensi
Berita bersumber dari pengumuman penerbit. Nalarku independen dan tidak mewakili perusahaan tersebut.
Proses editorial dan penggunaan AI · Hubungi Nalarku untuk koreksi
