Chamath: Dwa terminy, na które musisz zwrócić uwagę w AI, to Prefill i Decode „Są dwa terminy, o których myślę, że usłyszysz mnóstwo w ciągu najbliższych kilku lat.” „Pierwszym terminem jest prefill, a następnie decode.” „Czym są prefill i decode, to dwa bardzo różne sposoby myślenia modeli oraz sposób, w jaki model przechodzi przez proces odpowiadania na pytanie, które mu zadajesz.” „Kiedy wysyłasz zapytanie do AI, to, co się dzieje, to model je przetwarza. Nazywa się to fazą czytania lub prefill.” „Czyta całe twoje zapytanie za jednym razem. A potem wykonuje mnóstwo obliczeń, oblicza wszystkie te relacje między wszystkimi słowami i przechowuje je w pamięci tymczasowej.” „Problem polega na tym, że to jest naprawdę ograniczone przez obliczenia. Wymaga więc ogromnej mocy obliczeniowej. A karty graficzne Nvidia radzą sobie tutaj doskonale.” „A ich architektura jest zaprojektowana do masowego przetwarzania równoległego, co sprawia, że są naprawdę niesamowite w przetwarzaniu tych długich zapytań.” „Więc problem staje się coraz większy, Nvidia po prostu całkowicie dominuje.” „Ale następna faza, ta krytyczna faza, faza decode, to faza pisania, prawda?” „Więc model zaczyna generować odpowiedź, zadajesz mu pytanie, a jego odpowiedź, jeden token na raz.” „Aby wybrać następny token, następne słowo, musi spojrzeć wstecz na wszystko, co już powiedział, aby nie halucynować.” „Problem polega na tym, że to jest niezwykle ograniczone przez przepustowość pamięci.” „A w naszej architekturze, dawno temu, podjęliśmy te decyzje projektowe od samego początku.” „I to, co zrobiliśmy, to przyjęliśmy bardzo różne podejście architektoniczne, przyjęliśmy bardzo konserwatywną technologię procesową. Nie przesuwaliśmy granic fizyki.” „I użyliśmy dużo tego, co nazywa się SRAM. Więc pamięć na chipie, abyśmy mogli zrobić tę rzecz decode tak samo dobrze lub lepiej niż wszyscy inni.” „I teraz, gdy połączysz te dwie rzeczy, myślę, że stworzy to ogromny przyspieszenie w zdolności całej tej warstwy infrastruktury, aby stała się znacznie tańsza i znacznie bardziej wartościowa, co podejrzewam, że wtedy przyciągnie znacznie więcej deweloperów, powstanie znacznie więcej aplikacji, miliardy i miliardy więcej ludzi to wykorzysta.”

Przeanalizowałem dane. Jeszcze raz. Stworzyłem mapę. Jeszcze raz. Obraz jest teraz jeszcze CZYSTSZY. Stany bez wymagań dotyczących identyfikacji wyborców są 16 razy bardziej skłonne do oferowania świadczeń socjalnych nielegalnym imigrantom niż stany wymagające identyfikacji (67% vs 4%, p<0.0001). Demokraci importują i płacą nielegalnym imigrantom za głosy. Szczegóły👇

Newsom aktywnie starał się ukryć marnotrawstwo i oszustwa w wydatkach na bezdomność. Wetołował ustawę, która wymagała raportowania danych dotyczących kosztów i wyników, która przeszła przez Legislaturę jednogłośnie i została zalecana przez Audytora Stanu po stwierdzeniu, że stan stracił kontrolę nad 24 miliardami dolarów.