Merilis "Agentic Reviewer" baru untuk makalah penelitian. Saya mulai mengkodekan ini sebagai proyek akhir pekan, dan @jyx_su membuatnya jauh lebih baik. Saya terinspirasi oleh seorang siswa yang memiliki makalah ditolak 6 kali selama 3 tahun. Lingkaran umpan balik mereka - menunggu ~ 6 bulan untuk umpan balik setiap kali - sangat lambat. Kami ingin melihat apakah alur kerja agen dapat membantu peneliti melakukan iterasi lebih cepat. Ketika kami melatih sistem pada ulasan ICLR 2025 dan mengukur korelasi Spearman (lebih tinggi lebih baik) pada set pengujian: - Korelasi antara dua pengulas manusia: 0,41 - Korelasi antara AI dan pengulas manusia: 0,42 Ini menunjukkan bahwa peninjauan agen mendekati kinerja tingkat manusia. Agen mendasari umpan baliknya dengan mencari arXiv, sehingga bekerja paling baik di bidang-bidang seperti AI di mana penelitian diterbitkan secara bebas di sana. Ini adalah alat eksperimental, tetapi saya harap ini membantu Anda dengan penelitian Anda. Lihat di sini: