Ik heb net 🤖 gelanceerd - een kaart van actieve gedecentraliseerde AI-projecten. Ik wil deze ecosysteem 10X zien groeien! Privacy op zich stimuleert geen adoptie. We moeten de gebruikerservaring van gecentraliseerde Big AI evenaren en overtreffen. Gegevensbronverbindingen en geheugen zijn de vestingwerken. De overstapkosten voor AI-apps zullen de komende 2 jaar de pan uit rijzen. Waarom? Betere gegevensbronnen → verhoogd gebruik → rijker verleden → waardevoller geheugen dat volledig verloren gaat bij het wisselen van aanbieders → hogere vestingwerken. Daarom moeten we snel handelen. Vandaag op de DeAI Summit bij @UCBerkeley heb ik de "Bartender Stack" gepitcht om dit op te lossen, terwijl we dezelfde gebruikerservaring voor gebruikers en ontwikkelaars behouden: Inferentie-abstractie: Ontwikkelaars zouden eenvoudig een generieke inferentiefunctie moeten aanroepen, en het apparaat van de gebruiker beslist naar welk model het moet worden geleid, of het nu gebruik maakt van externe TEEs of lokale inferentie. Momenteel moeten ontwikkelaars hun eigen model voor lokale inferentie meebrengen of hun eigen privacy-beschermende TEEs bieden, wat belachelijk is - daarom kiezen ze standaard voor gecentraliseerde inferentie-API's. Wat ik voorstel is eigenlijk wat we al doen met algemene berekeningen: je vraagt gewoon de kernel om de wiskunde te doen, volledig abstractie van processor, geheugen, enz. Dit stelt ontwikkelaars in staat om zich te concentreren op wat hun AI-app onderscheidend maakt: interface en prompt+context engineering. Cross-app geheugen: Vernietig de "geheugenvesting" door automatisch context tussen apps te delen, waardoor dezelfde gebruikerservaring van BigAI wordt bereikt. Dezelfde lokale router die inferentie abstracteert "verlengt" de context, nieuwe startups die lokale AI-apps bouwen profiteren vanaf dag één van al jouw geheugen in plaats van gestraft te worden. Gegevensportefeuilles: Granulaire, lokale controle over tools en gegevensdeling tussen apps. Een keer configureren, niet per app. Het geheugen is eigendom van de gebruikers en wordt gedeeld met AI-apps, niet eigendom van de AI-apps. Stateless TEEs: Prompts en contexten worden lokaal gegenereerd en gedeeld op het moment van inferentie. TEEs slaan geen gegevens op, waardoor het UX-probleem van TEEs en de vertrouwensveronderstellingen worden opgelost. Gedecentraliseerde reputatie voor Agents: Agentnetwerken hebben toegangspunten nodig om toestemmingloze reputatie te verkrijgen voor het beslissen welke agents te vertrouwen. Zonder dit zullen mensen altijd terugvallen op Big AIs of beroemde merken. Voor agents is vertrouwen de vesting. Ik wil dat AIs als bartenders zijn! Lokaal. Vervangbaar. Vergeetachtig. Ze luisteren wanneer ik ze nodig heb, verdwijnen wanneer ik vertrek, en houden nooit een record van mijn bestelgeschiedenis. Te professioneel om te onthouden wat ik zei na 🍹mijn tweede drankje! Volledige deck en architectuurontwerp hier: cc @BerkeleyRDI, 🦊@MetaMask