Kemarin kami meluncurkan ChatGPT Atlas, browser web baru kami. Di Atlas, agen ChatGPT dapat menyelesaikan sesuatu untuk Anda. Kami sangat senang melihat bagaimana fitur ini membuat pekerjaan dan kehidupan sehari-hari lebih efisien dan efektif bagi orang-orang. Agen ChatGPT kuat dan membantu, dan dirancang agar aman, tetapi masih dapat membuat kesalahan (terkadang mengejutkan!), seperti mencoba membeli produk yang salah atau lupa check-in dengan Anda sebelum mengambil tindakan penting. Salah satu risiko yang muncul yang kami teliti dan mitigasi dengan sangat cermat adalah suntikan segera, di mana penyerang menyembunyikan instruksi berbahaya di situs web, email, atau sumber lain, untuk mencoba mengelabui agen agar berperilaku dengan cara yang tidak diinginkan. Tujuan penyerang bisa sesederhana mencoba memihak pendapat agen saat berbelanja, atau konsekuensial seperti penyerang yang mencoba membuat agen mengambil dan membocorkan data pribadi, seperti informasi sensitif dari email Anda, atau kredensial. Tujuan jangka panjang kami adalah Anda harus dapat mempercayai agen ChatGPT untuk menggunakan browser Anda, dengan cara yang sama Anda mempercayai kolega atau teman Anda yang paling kompeten, dapat dipercaya, dan sadar keamanan. Kami bekerja keras untuk mencapai itu. Untuk peluncuran ini, kami telah melakukan red-teaming yang ekstensif, menerapkan teknik pelatihan model baru untuk memberi penghargaan kepada model karena mengabaikan instruksi berbahaya, menerapkan pagar pembatas dan tindakan keamanan yang tumpang tindih, dan menambahkan sistem baru untuk mendeteksi dan memblokir serangan tersebut. Namun, injeksi cepat tetap menjadi masalah keamanan yang belum terpecahkan, dan musuh kita akan menghabiskan banyak waktu dan sumber daya untuk menemukan cara membuat agen ChatGPT jatuh ke dalam serangan ini. Untuk melindungi pengguna kami, dan untuk membantu meningkatkan model kami dari serangan ini: 1. Kami telah memprioritaskan sistem respons cepat untuk membantu kami mengidentifikasi kampanye serangan blokir dengan cepat saat kami menyadarinya. 2. Kami juga terus berinvestasi besar-besaran dalam keamanan, privasi, dan keselamatan - termasuk penelitian untuk meningkatkan ketahanan model kami, pemantau keamanan, kontrol keamanan infrastruktur, dan teknik lain untuk membantu mencegah serangan ini melalui pertahanan secara mendalam. 3. Kami telah merancang Atlas untuk memberi Anda kontrol untuk membantu melindungi diri Anda. Kami telah menambahkan fitur untuk memungkinkan agen ChatGPT mengambil tindakan atas nama Anda, tetapi tanpa akses ke kredensial Anda yang disebut "mode keluar". Kami merekomendasikan mode ini jika Anda tidak perlu mengambil tindakan dalam akun Anda. Saat ini, kami pikir "mode masuk" paling tepat untuk tindakan cakupan baik di situs yang sangat tepercaya, di mana risiko injeksi cepat lebih rendah. Memintanya untuk menambahkan bahan ke keranjang belanja umumnya lebih aman daripada permintaan yang luas atau tidak jelas seperti "tinjau email saya dan ambil tindakan apa pun yang diperlukan." 4. Saat agen beroperasi di situs sensitif, kami juga telah menerapkan "Mode Tonton" yang mengingatkan Anda tentang sifat sensitif situs dan mengharuskan Anda memiliki tab aktif untuk melihat agen melakukan pekerjaannya. Agen akan menjeda jika Anda menjauh dari tab dengan informasi sensitif. Ini memastikan Anda tetap sadar - dan memegang kendali - tentang tindakan agen apa yang dilakukan agen. Seiring waktu, kami berencana untuk menambahkan lebih banyak fitur, pagar pembatas, dan kontrol keselamatan untuk memungkinkan agen ChatGPT bekerja dengan aman dan terjamin di seluruh alur kerja individu dan perusahaan. Tingkat kecerdasan dan kemampuan baru membutuhkan teknologi, masyarakat, strategi mitigasi risiko untuk berkembang bersama. Dan seperti halnya virus komputer di awal 2000-an, kami pikir penting bagi semua orang untuk memahami penggunaan yang bertanggung jawab, termasuk memikirkan serangan injeksi cepat, sehingga kita semua dapat belajar untuk mendapatkan manfaat dari teknologi ini dengan aman. Kami sangat senang melihat bagaimana agen ChatGPT akan memberdayakan alur kerja Anda di Atlas, dan bertekad dalam misi kami untuk membangun teknologi AI yang paling aman, pribadi, dan aman untuk kepentingan seluruh umat manusia.