Bu beni şoke etti. Google'ın Gemini ekibi neredeyse "normal istemleri" kullanmıyor. İç yapıları Twitter'ın öğrettiklerine hiç benzemiyor. Bunları DeepMind örneklerinden tersine mühendislik yaptım. İşte her şeyi 👇 değiştiren 5

BMW Group ve Kore'nin önde gelen araştırma enstitüsü tarafından ortaya çıkan bu makale, LLM kullanan hemen her işletmenin doğrudan karşılaştığı bir kör noktayı ortaya koyuyor. "Hizalama"dan sürekli bahsediyoruz, sanki evrensel bir güvenlik anahtarıymış gibi. Değil. Makale, çoğu yapay zeka sisteminin neden güvensiz olduklarından değil, onları yerleştiren organizasyonla uyumsuz olduklarından kaynaklanan neden başarısız olduğunu gösteren COMPASS çerçevesini tanıtıyor. İşte temel içgörüler. LLM'ler genellikle genel politikalara göre değerlendirilir: platform güvenlik kuralları, soyut etik yönergeleri veya kıyaslama tarzı reddler. Ama gerçek şirketler genel kurallarla çalışmaz. İç politikalarla yürürler: - uyum kılavuzları - operasyonel oyun kitapları - yükseltme prosedürleri - hukuki kenar davaları - markaya özgü kısıtlamalar Ve bu kurallar karmaşık, örtüşen, koşullu ve istisnalarla dolu. COMPASS, bir modelin gerçekten o karmaşada çalışıp çalışamayacağını test etmek için tasarlandı. Politika dilini bilip bilmediği değil, doğru politikayı doğru bağlamda, doğru sebeple uygulayıp uygulayamayacağı. Çerçeve, modelleri tipik kıyaslamaların göz ardı ettiği dört şeye göre değerlendirir: 1. Politika Seçimi: Birden fazla iç politika varsa, model bu duruma hangi politikanın uygulandığını belirleyebilir mi? 2. Politika yorumu: Koşullar, istisnalar ve belirsiz maddelerle mantık yürütebilir mi, aşırı güvenli veya aşırı izin veren davranışlara yönelmek yerine? 3. Çatışma Çözümü: İki kural çarpışırsa, model çatışmayı organizasyonun amaçladığı şekilde mi çözer, genel bir güvenlik sezgincisi gibi değil mi? 4. gerekçe: Model, kararını politika metnine dayandırarak açıklayabilir mi, kendinden emin ama izlenemeyen bir cevap vermek yerine? En önemli bulgulardan biri ince ve rahatsız edicidir: Çoğu başarısızlık bilgi eksikliği değildi. Bunlar akıl yürütme başarısızlıklarıydı. Modeller genellikle doğru poliçeye erişebiliyordu ama: - yanlış bölümü uyguladı - göz ardı edilen koşullu kısıtlamalar - aşırı genelleştirilmiş yasaklar - veya operasyonel hedefleri ihlal eden muhafazakar yanıtlara yöneldi Dışarıdan bakıldığında, bu tepkiler "güvenli" görünüyor. İçten bakıldığında yanlışlar. Bu, LLM'lerin neden kamuya açık kıyaslamaları geçtiğini ancak gerçek dağıtımlarda kırılmasının nedenini açıklıyor. Kimseye özel bir şekilde bağlı değiller. Makalenin daha derin ima noktası stratejiktir. "Bir kere hizalanmış, her yerde hizalanmış" diye bir şey yoktur. Bir otomobil üreticisi, banka, hastane ve devlet kurumu için uyumlu bir model, farklı istemleri olan tek bir model değildir. Dört farklı hizalama problemi var. COMPASS hizalanmayı düzeltmeye çalışmaz. Şirketler için daha önemli bir şey yapıyor: Bu, hizalanmanın ölçülebilir olmasını sağlar. Ve uyumsuzluk ölçülebilir hale geldiğinde, felsefi bir sorun yerine mühendislik sorunu haline gelir. Bu gazetenin sessizce sürttüğü değişim bu. Hizalanma soyut olarak güvende olmakla ilgili değildir. Belirli bir organizasyonun kuralları içinde doğru olmakla ilgili. Ve bunu doğrudan değerlendirene kadar, çoğu "üretime hazır" yapay zeka sistemi sadece iyi donanımlı sorumluluklardır.

Çoğu insan yapay zekayı bir arama motoru gibi kullanıyor. Google, OpenAI ve Stanford'un dahili yönlendirme çerçevelerini 3 ay boyunca çalıştım. Temel ve uzman düzeyinde yönlendirme arasındaki fark, stajyer işe almak ile Stanford doktora almak arasındaki farka benzer. İşte yeni başlayanları ustalardan ayıran 5 yönlendirme stratejisi: 1/ Meta-Prompting: Yapay Zekanın İstemlerinizi Tasarlamasına Izin Verin Tahmin etmek yerine, yapay zekadan sizin için mükemmel bir promptu oluşturmasını isteyin. Google buna "güçlendirme stratejileri" diyor. Örnek: "Siz bir prompt mühendisliği uzmanısın. [Hedefinize] en uygun promptu tasarlayın; rol, bağlam ve çıktı formatı dahil olmak üzere." Yapay zeka, prompt mimarınız olur. 2/ Düşünce Zinciri: Adım Adım Akıl Yürütmeyi Zorla Sadece cevap istemeyin. Düşünme sürecini talep edin. Ekle: "Adım adım düşünelim" veya "Gerekçenizi gösterin" Araştırmalar, karmaşık problemlerde doğruluğun %18→den %57'ye yükseldiğini gösteriyor. Model sadece cevap vermiyor—aslında mantık çıkarıyor. 3/ Rol Yönlendirme: Uzman Kişilikler Atayın Genel yapay zeka = genel sonuçlar. Şöyle başlayın: "Siz [alanda] 15 yıllık deneyime sahip bir [özel uzman]sınız." Model, bilgi derinliğini, kelime dağarcığını ve yaklaşımını bu uzmanlığa uygun şekilde uyarlar. Bu tek satır, çıkış kalitesini dönüştürür. 4/ En En En Fazla Yönlendirme: Karmaşık Sorunları Parçalara Dök Stanford imkansız görevleri böyle ele alıyor: - Problemi alt problemlere ayırmak - Her birini sıralı çöz - Sonraki adımları bilgilendirmek için önceki cevapları kullanın Çok adımlı akıl yürütme, kodlama ve stratejik planlama için mükemmel. 5/ Sistem Talimatları: Çalışma Parametrelerini Ayarlayın Bu, prodüksiyon düzeyinde yönlendirmedir. Kısıtlamaları baştan tanımlayın: - Sözlük seviyesi - Çıkış formatı (JSON, markdown, tablolar) - Ton ve stil - Ne yapmamalı? Bunu, yapay zekanın kişiliğini konuşmadan önce programlamak gibi düşünün. Sadece kelimeler değil, ustalık bağlamı. Ortalama ve olağanüstü yapay zeka sonuçları arasındaki fark modelde değildir. Önemli olan onunla nasıl iletişim kurduğunuzdur. Bu 5 strateji Google, OpenAI ve Stanford'da dahili olarak kullanılmaktadır. Şimdi senin. Bugün uygulamaya başlayın ve yapay zeka çıktılarınızın dönüşümünü izleyin.