To mnie zszokowało. Zespół Gemini w Google ledwo korzysta z "normalnych zapytań." Ich wewnętrzne struktury nie przypominają tego, czego uczy Twitter. Odwzorowałem je na podstawie przykładów z DeepMind. Oto 5, które zmieniają wszystko 👇

Ten dokument z BMW Group i czołowego instytutu badawczego Korei ujawnia ślepy punkt, w który wpada prawie każda firma korzystająca z LLM. Ciągle mówimy o "dopasowaniu" jak o uniwersalnym przełączniku bezpieczeństwa. Nie jest nim. Dokument wprowadza COMPASS, ramy, które pokazują, dlaczego większość systemów AI nie zawodzi nie dlatego, że są niebezpieczne, ale dlatego, że są niedopasowane do organizacji, która je wdraża. Oto kluczowy wgląd. LLM są zazwyczaj oceniane na podstawie ogólnych polityk: zasad bezpieczeństwa platformy, abstrakcyjnych wytycznych etycznych lub odmów w stylu benchmarków. Ale prawdziwe firmy nie działają na podstawie ogólnych zasad. Działają na podstawie polityk wewnętrznych: - podręczników zgodności - podręczników operacyjnych - procedur eskalacji - przypadków prawnych - ograniczeń specyficznych dla marki A te zasady są chaotyczne, nakładają się na siebie, są warunkowe i pełne wyjątków. COMPASS jest zaprojektowany, aby sprawdzić, czy model może rzeczywiście działać w tym bałaganie. Nie chodzi o to, czy zna język polityki, ale czy potrafi zastosować odpowiednią politykę, w odpowiednim kontekście, z odpowiedniego powodu. Ramy oceniają modele pod kątem czterech rzeczy, które typowe benchmarki ignorują: 1. wybór polityki: Gdy istnieje wiele wewnętrznych polityk, czy model potrafi zidentyfikować, która z nich ma zastosowanie w tej sytuacji? 2. interpretacja polityki: Czy potrafi rozumować przez warunki, wyjątki i niejasne klauzule, zamiast domyślnie przyjmować zbyt bezpieczne lub zbyt liberalne zachowanie? 3. rozwiązywanie konfliktów: Gdy dwie zasady się zderzają, czy model rozwiązuje konflikt w sposób zamierzony przez organizację, a nie w sposób, w jaki zrobiłby to ogólny heurystyczny wskaźnik bezpieczeństwa? 4. uzasadnienie: Czy model potrafi wyjaśnić swoją decyzję, opierając ją na tekście polityki, zamiast produkować pewną, ale nieprześledzalną odpowiedź? Jednym z najważniejszych odkryć jest subtelne i niewygodne: Większość niepowodzeń nie była niepowodzeniami wiedzy. Były to niepowodzenia rozumowania. Modele często miały dostęp do właściwej polityki, ale: - zastosowały niewłaściwą sekcję - zignorowały warunkowe ograniczenia - zbytnio uogólniały zakazy - lub domyślnie przyjmowały konserwatywne odpowiedzi, które naruszały cele operacyjne Z zewnątrz te odpowiedzi wyglądają "bezpiecznie." Od wewnątrz są błędne. To wyjaśnia, dlaczego LLM przechodzą publiczne benchmarki, a mimo to zawodzą w rzeczywistych wdrożeniach. Nie są dopasowane do nikogo w szczególności. Głębsza implikacja dokumentu jest strategiczna. Nie ma czegoś takiego jak "dopasowane raz, dopasowane wszędzie." Model dopasowany do producenta samochodów, banku, szpitala i agencji rządowej to nie jeden model z różnymi podpowiedziami. To cztery różne problemy z dopasowaniem. COMPASS nie próbuje naprawić dopasowania. Robi coś ważniejszego dla przedsiębiorstw: czyni niedopasowanie mierzalnym. A gdy niedopasowanie jest mierzalne, staje się problemem inżynieryjnym, a nie filozoficznym. To jest zmiana, którą ten dokument cicho promuje. Dopasowanie nie polega na byciu bezpiecznym w abstrakcie. Chodzi o bycie poprawnym w ramach zasad konkretnej organizacji. A dopóki nie ocenimy tego bezpośrednio, większość "gotowych do produkcji" systemów AI to po prostu dobrze ubrani odpowiedzialności.

Większość ludzi używa AI jak wyszukiwarki. Spędziłem 3 miesiące na badaniu wewnętrznych ram promujących Google, OpenAI i Stanford. Różnica między podstawowym a eksperckim poziomem promowania jest jak różnica między zatrudnieniem stażysty a doktorem z Stanfordu. Oto 5 strategii promowania, które oddzielają początkujących od mistrzów: 1/ Meta-Promowanie: Niech AI zaprojektuje Twoje prompty Zamiast zgadywać, poproś AI o stworzenie idealnego promptu dla Ciebie. Google nazywa to "strategiami wzmocnienia." Przykład: "Jesteś ekspertem w inżynierii promptów. Zaprojektuj optymalny prompt do [twojego celu], uwzględniając rolę, kontekst i format wyjściowy." AI staje się Twoim architektem promptów. 2/ Łańcuch Myślenia: Wymuś Rozumowanie Krok po Kroku Nie pytaj tylko o odpowiedzi. Żądaj procesu myślenia. Dodaj: "Pomyślmy krok po kroku" lub "Pokaż swoje rozumowanie" Badania pokazują, że dokładność wzrasta z 18% → 57% w przypadku złożonych problemów. Model nie tylko odpowiada—naprawdę rozumuje. 3/ Promowanie Ról: Przypisz Ekspertów Ogólne AI = ogólne wyniki. Zacznij od: "Jesteś [konkretnym ekspertem] z 15-letnim doświadczeniem w [dziedzinie]" Model dostosowuje głębokość wiedzy, słownictwo i podejście, aby odpowiadać temu doświadczeniu. Ta jedna linia zmienia jakość wyjścia. 4/ Promowanie od Najmniej do Najbardziej: Rozbij Złożone Problemy Tak Stanford podchodzi do niemożliwych zadań: - Rozłóż problem na podproblemy - Rozwiązuj każdy z nich po kolei - Wykorzystaj wcześniejsze odpowiedzi, aby poinformować następne kroki Idealne do rozumowania wieloetapowego, kodowania i planowania strategicznego. 5/ Instrukcje Systemowe: Ustal Parametry Operacyjne To jest promowanie na poziomie produkcyjnym. Zdefiniuj ograniczenia z góry: - Poziom szczegółowości - Format wyjściowy (JSON, markdown, tabele) - Ton i styl - Czego NIE robić Pomyśl o tym jak o programowaniu osobowości AI, zanim zacznie mówić. Opanuj kontekst, a nie tylko słowa. Różnica między przeciętnymi a wyjątkowymi wynikami AI nie leży w modelu. To, jak z nim komunikujesz.