Ok, eine grundlegende Analyse von @Extropic_AI (@BasedBeffJezos), die ich während meiner Trainingseinheit durchgehen konnte. TLDR: Standardinferenz umfasst eine Reihe von sowohl sequenziellen als auch parallelen Matrixberechnungen, aber letztendlich läuft es auf probabilistisches Sampling hinaus. Extropic entwickelt einen Chip, der all diese mathematische Maschinerie umgeht und stattdessen einfach die erlernte Wahrscheinlichkeitsverteilung des zugrunde liegenden Trainingssatzes einbettet und direkt aus der Hardware sampelt. Das ist sehr cool!

Auf der grundlegendsten Ebene nehmen LLMs einen riesigen Trainingssatz, der aus Tokens besteht, und lernen die Struktur zwischen Wörtern, Sätzen usw. Sie denken nicht nach, sondern lernen tatsächlich die massiv komplexe Wahrscheinlichkeitsverteilung zwischen Tokens. Wenn ich zum Beispiel frage: "Welche Farbe hat der Himmel", wird es in dieser gelernten PD nachsehen und dann ["Der", "Farbe", "von", "dem", "Himmel", "ist", "blau"] als die wahrscheinlichste Sequenz sehen. Es hat dies durch eine Reihe von Matrixberechnungen erreicht. Wenn du die Mechanik davon lernen möchtest, kannst du das ursprüngliche Transformer-Papier lesen, aber ehrlich gesagt ist das nicht so wichtig. Was wichtig ist, ist Folgendes: 1. Trainingsschritt: Eingabe großer Datensatz --> Ausgabe Wahrscheinlichkeitsverteilung der Tokens. 2. Inferenzschritt: Eingabe Abfrage --> Ausgabe Zuordnung unter Wahrscheinlichkeitsstichproben. Übrigens, das wirklich coole (obwohl etwas offensichtliche Ergebnis) im Nachhinein ist, dass ... LLMs injektiv und umkehrbar sind! Das bedeutet, dass es eine eindeutige Zuordnung vom Prompt zum latenten Raum und umgekehrt gibt. Mega cool!

Egal, sehr coole Arbeit, Extropic-Team! Übrigens, heute Beintag und es war großartig.