lijdt u aan chatbotmoeheid? gefrustreerd dat de singulariteit is geannuleerd? op zoek naar iets nieuws om u hoop te geven? hier is mijn waanzinnige, maar "hé, het heeft een zekere logica" plan om superintelligentie te bouwen in mijn kleine indie onderzoekslaboratorium. (opmerking: ik ruil nauwkeurigheid in voor pedagogiek) eerst, een achtergrond: ik ben een 33-jarige man die de afgelopen 22 jaar heeft geprogrammeerd. in die tijd heb ik veel vragen gesteld over de aard van computing en heb ik enkele vrij... eigenaardige... inzichten verzameld. een paar jaar geleden heb ik HVM gebouwd, een systeem dat in staat is om programma's uit te voeren in een esoterische taal genaamd "Haskell" op de GPU - ja, dezelfde chip die deep learning mogelijk maakte en deze hele AI-cyclus op gang bracht. maar hoe verhoudt Haskell zich tot AI? nou, dat is een lang verhaal. zoals de ouderen zich misschien herinneren, was wat we toen "AI" noemden... anders. bijna 3 decennia geleden, voor de eerste keer ooit, versloeg een computer de wereldkampioen schaken, wat veel debatten over AGI en singulariteit op gang bracht - net als vandaag! dit systeem, genaamd Deep Blue, was heel anders dan de modellen die we vandaag hebben. het gebruikte geen transformers. het gebruikte helemaal geen neurale netwerken. in feite was er geen "model". het was een pure "symbolische AI", wat betekent dat het gewoon een ouderwets algoritme was, dat miljarden mogelijke zetten scande, sneller en dieper dan een mens ooit zou kunnen, en ons versloeg door pure brute kracht. dit leidde tot een golf van veelbelovende symbolische AI-onderzoek. evolutionaire algoritmen, kennisgrafieken, geautomatiseerd bewijsvoering, SAT/SMT-oplossers, constraint-oplossers, expert systemen, en nog veel meer. helaas stuitte de aanpak na verloop van tijd op een muur. handmatig gebouwde regels schalen niet, symbolische systemen waren niet in staat om *dynamisch* te leren, en de bubbel barstte. er begon een nieuwe AI-winter. pas jaren later veranderde een nieuwsgierige samenloop van factoren alles. onderzoekers bliezen een oud idee nieuw leven in - neurale netwerken - maar deze keer hadden ze iets nieuws: GPU's. deze grafische chips, oorspronkelijk gebouwd voor het renderen van videospellen, bleken perfect te zijn voor de enorme matrixvermenigvuldigingen die neurale netwerken vereisten. plotseling kon wat weken duurde in enkele uren worden gedaan. deep learning explodeerde, en hier zijn we vandaag, met transformers die de wereld veroveren. maar hier is het punt: we hebben slechts *één* tak van AI naar GPU's overgezet - de connectionistische, numerieke. de symbolische kant? die zit nog steeds vast in de CPU-steentijd. Haskell is een speciale taal, omdat het de taal van bewijzen (d.w.z. de idiomatiek die wiskundigen gebruiken om stellingen uit te drukken) verenigt met de taal van programmeren (d.w.z. wat ontwikkelaars gebruiken om apps te bouwen). dit maakt het bij uitstek geschikt voor symbolisch redeneren - het exacte soort berekening dat deep blue gebruikte, maar nu kunnen we het massaal parallel uitvoeren op moderne hardware. (om nauwkeuriger te zijn, is alleen massale GPU-parallelisme niet het enige dat HVM te bieden heeft. het blijkt ook te resulteren in *asymptotische* versnellingen in sommige gevallen. en dit is een belangrijke reden om in onze aanpak te geloven: eerdere symbolische methoden waren niet alleen computationeel tekort. ze waren exponentieel traag, in algorithmische zin. geen wonder dat ze niet werkten. ze hadden geen kans.) mijn stelling is eenvoudig: nu ik Haskell op GPU's kan draaien, en gezien deze asymptotische versnelling, ben ik in een positie om deze oude symbolische AI-methoden nieuw leven in te blazen, ze met een orde van grootte op te schalen en te zien wat er gebeurt. misschien, heel misschien, zal een van hen ons verrassen. ons eerste mijlpaal is al in beweging: we hebben 's werelds snelste programma/bewijs-synthesizer gebouwd, die ik SupGen noem. of NeoGen. of QuickGen? we zullen het uitbrengen als een update voor onze "Bend"-taal, die rond eind oktober openbaar beschikbaar zal zijn. vervolgens zullen we later dit jaar het gebruiken als basis voor een nieuw onderzoeksprogramma, dat een pure symbolische architectuur zoekt die daadwerkelijk van gegevens kan leren en generalisaties kan bouwen - niet door middel van gradient descent en backpropagation, maar door middel van logisch redeneren en programma-synthese. onze eerste experimenten zullen heel eenvoudig zijn (niet ongewoon voor GPT-2), en de belangrijkste mijlpaal zou zijn om een "next token completion tool" te hebben die 100% vrij is van neurale netwerken. als dit werkt, zou het een baanbrekende sprong kunnen zijn voorbij transformers en deep learning, omdat het een geheel nieuwe aanpak is die waarschijnlijk veel van de door GPT geërfde beperkingen die AI's vandaag hebben, zou kunnen elimineren. niet alleen tokenizerproblemen (zoals de R's in aardbei), maar fundamentele problemen die voorkomen dat GPT's efficiënt leren en generaliseren. waanzinnig? waarschijnlijk waard om te proberen? absoluut (raad nu hoeveel er AI-gegenereerd was, en welk model ik gebruikte)