Iloni tulla Dwarkeshiin viime viikolla, mielestäni kysymykset ja keskustelu olivat todella hyviä. Katsoin myös podin uudelleen juuri nyt. Ensinnäkin, kyllä tiedän, ja olen pahoillani, että puhun niin nopeasti :). Se on minulle vahingoksi, koska joskus puhelankani ylittää ajatteluketjuni, joten luulen, että mokasin muutaman selityksen sen vuoksi, ja joskus olin myös hermostunut siitä, että menen liikaa tangentille tai liian syvälle johonkin suhteellisen valheelliseen asiaan. Joka tapauksessa muutama huomautus/vinkki: AGI:n aikajanat. Kommenttini AGI:n aikajanoista näyttävät olevan trendikkäin osa varhaista vastausta. Tämä on "agenttien vuosikymmen" on viittaus tähän aiempaan twiittiin Pohjimmiltaan tekoälyaikajanani ovat noin 5-10X pessimistisiä w.r.t. mitä löydät naapurustostasi SF AI -kotibileistä tai twitter-aikajanaltasi, mutta silti melko optimistinen w.r.t. tekoälyn kieltäjien ja skeptikkojen nouseva aalto. Ilmeinen ristiriita ei ole: imo olemme samanaikaisesti 1) nähneet valtavasti edistystä viime vuosina LLM:n kanssa, kun taas 2) työtä on vielä paljon jäljellä (murinatyötä, integrointityötä, antureita ja toimilaitteita fyysiseen maailmaan, yhteiskunnallista työtä, turvallisuustyötä (vankilapakot, myrkytykset jne.)) ja myös tutkimusta, joka on tehtävä ennen kuin meillä on taho, jonka palkkaisit mieluummin kuin henkilön mielivaltaiseen työhön maailma. Mielestäni kaiken kaikkiaan 10 vuoden pitäisi muuten olla erittäin nouseva aikajana AGI:lle, se on vain nykyisen hypen vastakohta, että se ei tunnu siltä. Eläimet vastaan aaveet. Aikaisempi kirjoitukseni Suttonin podcastista. Epäilen, että on olemassa yksi yksinkertainen algoritmi, jonka voit päästää irti maailmasta, ja se oppii kaiken tyhjästä. Jos joku rakentaa sellaisen, olen väärässä ja se on uskomattomin läpimurto tekoälyssä. Mielestäni eläimet eivät ole esimerkki tästä ollenkaan - evoluutio on pakannut ne valmiiksi tonneittain älykkyyteen ja niiden oppiminen on kaiken kaikkiaan melko minimaalista (esimerkki: seepra syntyessään). Laitamme insinöörihatun päähän, emme aio tehdä evoluutiota uudelleen. Mutta LLM:ien kanssa olemme kompastuneet vaihtoehtoiseen lähestymistapaan "valmiiksi pakata" tonni älykkyyttä hermoverkkoon - ei evoluution kautta, vaan ennustamalla seuraava token Internetin kautta. Tämä lähestymistapa johtaa toisenlaiseen kokonaisuuteen tiedustelutilassa. Erilainen kuin eläimet, enemmän kuin aaveet tai henget. Mutta voimme (ja pitäisi) tehdä niistä ajan myötä enemmän eläinmäisiä, ja jollain tapaa siitä on kyse suuressa osassa rajatyötä. RL:ssä. Olen kritisoinut RL:ää jo muutaman kerran, esim. . Ensinnäkin "imet valvontaa oljenkorren läpi", joten mielestäni signaali/floppi on erittäin huono. RL on myös erittäin meluisa, koska valmistumisessa voi olla paljon virheitä, jotka voivat saada rohkaisua (jos satut kompastumaan oikeaan vastaukseen), ja päinvastoin loistavia oivallusmerkkejä, jotka saattavat lannistua (jos satut mokaamaan myöhemmin). Myös prosessivalvonnassa ja LLM-tuomareissa on ongelmia. Luulen, että näemme vaihtoehtoisia oppimisparadigmoja. Olen pitkä "agenttinen vuorovaikutus", mutta lyhyt "vahvistusoppiminen" Olen nähnyt viime aikoina ilmestyvän useita artikkeleita, jotka imo haukkuvat oikeaa puuta sen mukaisesti, mitä kutsuin "järjestelmänopeaksi oppimiseksi", mutta mielestäni on myös kuilu arxiv-ideoiden ja todellisen, mittakaavan toteutuksen välillä LLM-rajalaboratoriossa, joka toimii yleisellä tavalla. Olen kaiken kaikkiaan melko optimistinen sen suhteen, että näemme hyvää edistystä tässä jäljellä olevan työn ulottuvuudessa melko pian, ja esimerkiksi sanoisin jopa, että ChatGPT-muisti ja niin edelleen ovat alkukantaisia esimerkkejä uusista oppimisparadigmoista. Kognitiivinen ydin. Aikaisempi postaukseni "kognitiivisesta ytimestä": ajatus LLM:ien riisumisesta, muistamisen vaikeuttamisesta tai muistin aktiivisesta poistamisesta, jotta he olisivat parempia yleistämään. Muuten he nojaavat liikaa siihen, mitä he ovat opetellut ulkoa. Ihmiset eivät pysty muistamaan niin helposti, mikä näyttää nyt enemmän ominaisuudelta kuin bugilta. Ehkä kyvyttömyys muistaa on eräänlainen säännönmukaistaminen. Myös postaukseni jonkin aikaa sitten siitä, kuinka mallikoon trendi on "taaksepäin" ja miksi "mallien on ensin kasvattava ennen kuin ne voivat pienentyä" Aikamatka Yann LeCuniin 1989. Tämä on postaus, jota tein erittäin hätäisesti/huonosti kuvaillessani podissa: . Periaatteessa - kuinka paljon voisit parantaa Yann LeCunin tuloksia 33 vuoden algoritmisen kehityksen tiedolla? Kuinka rajoittaneita kunkin algoritmin, datan ja laskennan tulokset olivat? Tapaustutkimus siitä. nanochat. ChatGPT-koulutus-/päättelyputken päästä päähän -toteutus (olennaiset asiat) LLM-agenteista. Kritiikkini alaa kohtaan on enemmänkin työkalujen ylittämistä nykyisellä kyvyllä. Elän välimaailmassa, jossa haluan tehdä yhteistyötä LLM:ien kanssa ja jossa hyvät ja huonot puolemme kohtaavat. Ala elää tulevaisuudessa, jossa täysin autonomiset tahot tekevät yhteistyötä rinnakkain kaiken koodin kirjoittamiseksi ja ihmiset ovat hyödyttömiä. En esimerkiksi halua agenttia, joka sammuu 20 minuuttia ja palaa takaisin 1 000 rivin koodilla. En todellakaan tunne olevani valmis valvomaan 10 hengen tiimiä. Haluaisin mennä paloissa, jotka voin pitää päässäni, joissa LLM selittää kirjoittamansa koodin. Haluaisin sen todistavan minulle, että se on oikein, haluan sen vetävän API-dokumentit ja näyttävän minulle, että se käytti asioita oikein. Haluan, että se tekee vähemmän oletuksia ja kysyy/tekee yhteistyötä kanssani, kun se ei ole varma jostain. Haluan oppia matkan varrella ja tulla paremmaksi ohjelmoijana, enkä vain saada vuoria koodia, jonka minulle kerrotaan toimivan. Mielestäni työkalujen pitäisi olla realistisempia niiden kyvykkyydestä ja siitä, miten ne sopivat alaan nykyään, ja pelkään, että jos tätä ei tehdä hyvin, saatamme päätyä siihen, että ohjelmistoihin kerääntyy vuoria ja haavoittuvuudet, tietoturvaloukkaukset jne. Työn automatisointi. Kuinka radiologit voivat hyvin ja mitkä työt ovat alttiimpia automaatiolle ja miksi. Fysiikka. Lasten tulisi oppia fysiikkaa varhaiskasvatuksessa, ei siksi, että he jatkavat fysiikkaa, vaan siksi, että se on aihe, joka saa aivot parhaiten käyntiin. Fyysikot ovat älyllinen alkion kantasolu Minulla on pidempi postaus, joka on puoliksi kirjoitettu luonnoksissani ~ vuoden ajan, jonka toivon saavani pian valmiiksi. Kiitos vielä kerran Dwarkesh, että sain minut kylään!

Hautausmaa on täynnä tekoälytuotteita, jotka kopioitiin ja menettivät käyttäjänsä rakentamatta vallihautoja. Siksi kutsuin Miqdadin (OpenAI-tuotejohtaja) jakamaan 7-vaiheisen pelikirjansa puolustettavissa olevien tekoälytuotteiden rakentamiseen: 1. Määrittele areenasi 2. Suunnittele käyttäjäsilmukka (ei AI-silmukka) 3. Poimi vallihaudat ajoissa 4. Kustannuskäyrien, ei ominaisuuksien, suunnittelija 5. Rakenna adoptiokiila 6. Suunnittele palautevauhtipyöräsi 7. Skaalaa järjestelmien läpi, älä sankariteot Opin paljon hänen postauksestaan ja uskon, että sinäkin opit. 📌 Hanki 4 000 sanan syväsukellus täältä todellisten esimerkkien kera: