Okej, grundläggande läsning på @Extropic_AI (@BasedBeffJezos) som jag kunde gräva mig igenom under mitt träningspass. TLDR: Standardinferens innebär att man gör en massa beräkningar med både sekventiella och parallella matriser, men i slutändan handlar det om probabilistisk sampling. Extropic bygger ett chip som kringgår allt det matematiska maskineriet och istället helt enkelt bäddar in den inlärda sannolikhetsfördelningen för den underliggande träningsuppsättningen och prover direkt från hårdvaran. Det här är väldigt coolt!

På den mest grundläggande nivån tar LLM:er en gigantisk träningsuppsättning, som består av tokens, och lär sig struktur mellan ord, meningar, etc. De resonerar inte, men de lär sig – i själva verket – den enormt komplexa sannolikhetsfördelningen mellan tokens. Till exempel, om jag frågar "Vilken färg är himlen", kommer den att titta upp i den inlärda PD och sedan se ["The", "color", "of", "the", "sky", "is", "blue"] som den högsta sannolikhetssekvensen. Den kom fram till detta genom att göra en massa matrisberäkningar. Om du vill lära dig mekaniken i detta kan du gå vidare och läsa det ursprungliga Transformer-dokumentet, men ärligt talat är det inte så viktigt. Det som är viktigt är detta: 1. Träningssteg: mata in stor datauppsättning – > utdatasannolikhetsfördelning av tokens. 2. Slutsatsdragningssteg: indatafråga --> utdatamappning under sannolikhetssampling. Btw, det riktigt coola (om än något uppenbart resultatet) i efterhand är att ... LLM:er är injektiva och inverterbara! Det innebär att det finns en unik mappning från prompt till det latenta utrymmet och vice versa. coolt!

Hur som helst, väldigt coolt arbete Extropic team! Btw, leg day idag och det var strålande.