Suferiți de oboseală a chatbot-ului? Frustrat că Singularity a fost anulat? Cauți ceva nou care să-ți dea speranță? Iată planul meu delirant, dar "hei, are sens" de a construi super-inteligență în micul meu laborator de cercetare independentă (notă: voi schimba acuratețea cu pedagogia) În primul rând, un context: Sunt un tip de 33 de ani care și-a petrecut ultimii 22 de ani programând. de-a lungul timpului, am pus multe întrebări despre natura calculatoarelor și am acumulat câteva... ciudat... Intuiţii. acum câțiva ani, am construit HVM, un sistem capabil să ruleze programe într-un limbaj ezoteric numit "Haskell" pe GPU - da, același cip care a făcut ca învățarea profundă să funcționeze și a scânteiat întregul ciclu AI. dar cum se leagă Haskell de AI? ei bine, asta e o poveste lungă. după cum își amintesc bătrânii, pe atunci, ceea ce numeam "AI" era... diferit. În urmă cu aproape 3 decenii, pentru prima dată, un computer l-a învins pe campionul mondial la șah, scânteind multe dezbateri despre AGI și singularitate - la fel ca astăzi! sistemul, numit Deep Blue, era foarte diferit de modelele pe care le avem astăzi. nu folosea transformatoare. nu folosea deloc rețele neuronale. de fapt, nu a existat un "model". era o "inteligență artificială simbolică" pură, ceea ce înseamnă că era doar un algoritm vechi, care scana miliarde de mișcări posibile, mai repede și mai adânc decât orice om, învingându-ne prin forță brută. acest lucru a declanșat un val de cercetări simbolice promițătoare în domeniul inteligenței artificiale. algoritmi evolutivi, grafice de cunoștințe, demonstrarea automată a teoremelor, rezolvatori SAT/SMT, rezolvatori de constrângeri, sisteme experte și multe altele. Din păcate, în timp, apropierea s-a lovit de un zid. regulile construite manual nu au crescut, sistemele simbolice nu au fost capabile să învețe dinamic și balonul s-a spart. a început o nouă iarnă AI. Abia ani mai târziu, o aliniere curioasă a factorilor a schimbat totul. cercetătorii au scos praful de o idee veche - rețelele neuronale - dar de data aceasta, au avut ceva nou: GPU-uri. Aceste cipuri grafice, construite inițial pentru randarea jocurilor video, s-au dovedit a fi perfecte pentru multiplicările masive de matrice pe care le necesitau rețelele neuronale. dintr-o dată, ceea ce a durat săptămâni putea fi făcut în câteva ore. Învățarea profundă a explodat și iată-ne astăzi, cu transformatori care mănâncă lumea. dar iată chestia: am portat doar o singură ramură a AI pe GPU-uri - cea conexionistă, numerică. Latura simbolică? este încă blocat în epoca de piatră a procesorului. Haskell este un limbaj special, deoarece unifică limbajul demonstrațiilor (adică idiomul pe care matematicienii îl folosesc pentru a exprima teoreme) cu limbajul de programare (adică ceea ce dezvoltatorii folosesc pentru a construi aplicații). Acest lucru îl face potrivit în mod unic pentru raționamentul simbolic - exact tipul de calcul pe care l-a folosit Deep Blue, dar acum îl putem rula masiv paralel pe hardware-ul modern. (pentru a fi mai precis, doar paralelismul masiv al GPU-ului nu este singurul lucru pe care HVM îl aduce la masă. Se pare că are ca rezultat și accelerări *asimptotice* în unele cazuri. Și acesta este un motiv cheie pentru a crede în abordarea noastră: metodele simbolice din trecut nu au fost doar înfometate din punct de vedere computațional. Ele au fost exponențial de lente, într-un sens algoritmic. Nu e de mirare că nu au funcționat. Nu au avut nicio șansă.) teza mea este simplă: acum că pot rula Haskell pe GPU-uri și având în vedere această accelerare asimptotică, sunt în măsură să reînvie aceste vechi metode simbolice de inteligență artificială, să le scalez cu ordine de mărime și să văd ce se întâmplă. poate, doar poate, unul dintre ele ne va surprinde. prima noastră etapă este deja în mișcare: am construit cel mai rapid sintetizator de program/proof din lume, pe care îl numesc SupGen. sau NeoGen. sau QuickGen? îl vom lansa ca o actualizare a limbajului nostru "Bend", făcându-l disponibil public la sfârșitul lunii octombrie. Apoi, mai târziu în acest an, îl vom folosi ca bază pentru un nou program de cercetare, căutând o arhitectură simbolică pură care poate învăța de fapt din date și poate construi generalizări - nu prin coborârea gradientului și retropropagarea, ci prin raționament logic și sinteză de program. primele noastre experimente vor fi foarte simple (nu spre deosebire de GPT-2), iar principala etapă ar fi să avem un "instrument de completare a următoarelor jetoane" care este 100% liber de rețele neuronale. dacă acest lucru funcționează, ar putea fi un salt revoluționar dincolo de transformatoare și învățare profundă, deoarece este o abordare complet nouă care cel mai probabil ar scăpa de multe limitări moștenite de GPT pe care IA le au astăzi. nu doar probleme de tokenizare (cum ar fi R-urile din căpșuni), ci și probleme fundamentale care împiedică GPT-urile să învețe eficient și să generalizeze Delirante? probabil Merită încercat? absolut (acum ghici cât de mult a fost generat de AI și ce model am folosit)