Ieri am lansat ChatGPT Atlas, noul nostru browser web. În Atlas, agentul ChatGPT poate face lucrurile pentru tine. Suntem încântați să vedem cum această caracteristică face munca și viața de zi cu zi mai eficiente și mai eficiente pentru oameni. Agentul ChatGPT este puternic și util și conceput pentru a fi sigur, dar poate face totuși greșeli (uneori surprinzătoare!), cum ar fi încercarea de a cumpăra produsul greșit sau uitarea de a vă contacta înainte de a întreprinde o acțiune importantă. Un risc emergent pe care îl cercetăm și atenuăm cu atenție sunt injecțiile prompte, în care atacatorii ascund instrucțiuni rău intenționate pe site-uri web, e-mailuri sau alte surse, pentru a încerca să păcălească agentul să se comporte în moduri neintenționate. Obiectivul atacatorilor poate fi la fel de simplu ca încercarea de a influența opinia agentului în timp ce face cumpărături sau la fel de important ca un atacator care încearcă să-l determine pe agent să preia și să scurgă date private, cum ar fi informații sensibile din e-mail sau acreditări. Scopul nostru pe termen lung este să puteți avea încredere în agentul ChatGPT pentru a vă folosi browserul, în același mod în care ați avea încredere în cel mai competent, de încredere și prieten al dvs. Lucrăm din greu pentru a realiza acest lucru. Pentru această lansare, am efectuat o echipă roșie extinsă, am implementat noi tehnici de antrenament pentru a recompensa modelul pentru ignorarea instrucțiunilor rău intenționate, am implementat balustrade și măsuri de siguranță suprapuse și am adăugat noi sisteme pentru a detecta și bloca astfel de atacuri. Cu toate acestea, injecția promptă rămâne o problemă de securitate nerezolvată, iar adversarii noștri vor cheltui timp și resurse semnificative pentru a găsi modalități de a-l face pe agentul ChatGPT să cadă în capcana acestor atacuri. Pentru a ne proteja utilizatorii și pentru a ajuta la îmbunătățirea modelelor noastre împotriva acestor atacuri: 1. Am acordat prioritate sistemelor de răspuns rapid pentru a ne ajuta să identificăm rapid campaniile de atac pe măsură ce devenim conștienți de ele. 2. De asemenea, continuăm să investim masiv în securitate, confidențialitate și siguranță - inclusiv cercetare pentru a îmbunătăți robustețea modelelor noastre, a monitorilor de securitate, a controalelor de securitate a infrastructurii și a altor tehnici pentru a ajuta la prevenirea acestor atacuri prin apărare în profunzime. 3. Am proiectat Atlas pentru a vă oferi comenzi care să vă protejeze. Am adăugat o funcție pentru a permite agentului ChatGPT să ia măsuri în numele dvs., dar fără acces la acreditările dvs., numită "mod deconectat". Vă recomandăm acest mod atunci când nu trebuie să luați măsuri în conturile dvs. Astăzi, credem că "modul conectat" este cel mai potrivit pentru acțiuni bine definite pe site-uri foarte de încredere, unde riscurile de injecție promptă sunt mai mici. Solicitarea de a adăuga ingrediente într-un coș de cumpărături este, în general, mai sigură decât o solicitare amplă sau vagă, cum ar fi "revizuiți-mi e-mailurile și luați orice măsuri sunt necesare". 4. Când agentul operează pe site-uri sensibile, am implementat, de asemenea, un "Mod de urmărire" care vă avertizează cu privire la natura sensibilă a site-ului și vă cere să aveți fila activă pentru a urmări agentul făcându-și treaba. Agentul se va întrerupe dacă vă îndepărtați de fila cu informații sensibile. Acest lucru vă asigură că rămâneți conștienți - și dețineți controlul - cu privire la acțiunile agentului pe care le efectuează agentul. În timp, intenționăm să adăugăm mai multe funcții, balustrade și controale de siguranță pentru a permite agentului ChatGPT să lucreze în siguranță atât în fluxurile de lucru individuale, cât și în cele de întreprindere. Noile niveluri de inteligență și capacitate necesită tehnologia, societatea, strategia de reducere a riscurilor pentru a evolua împreună. Și, ca și în cazul virușilor informatici de la începutul anilor 2000, credem că este important ca toată lumea să înțeleagă utilizarea responsabilă, inclusiv să ne gândim la atacurile de injecție promptă, astfel încât să putem învăța cu toții să beneficiem de această tehnologie în siguranță. Suntem încântați să vedem cum agentul ChatGPT vă va împuternici fluxurile de lucru în Atlas și suntem hotărâți în misiunea noastră de a construi cele mai sigure, private și sigure tehnologii AI în beneficiul întregii umanități.