Ich habe gerade 🤖 gestartet - eine Karte aktiver dezentraler KI-Projekte. Ich möchte sehen, dass dieses Ökosystem um das 10-fache wächst! Privatsphäre allein treibt die Akzeptanz nicht voran. Wir müssen die Benutzererfahrung (UX) der zentralisierten großen KI übertreffen und übertreffen. Datenquellen-Connectoren und Speicher sind die Burgen. Die Wechselkosten für KI-Apps werden in den nächsten 2 Jahren in die Höhe schnellen. Warum? Bessere Datenquellen → erhöhte Nutzung → reichhaltigere Historie → wertvollerer Speicher, der beim Wechsel des Anbieters vollständig verloren geht → höhere Burgen. Deshalb müssen wir schnell handeln. Heute beim DeAI-Gipfel an der @UCBerkeley habe ich den "Bartender Stack" vorgestellt, um dies zu lösen, während die gleiche UX für Benutzer und Entwickler beibehalten wird: Inference-Abstraktion: Entwickler sollten einfach eine generische Inferenzfunktion aufrufen, und das Gerät des Benutzers entscheidet, welches Modell verwendet werden soll, ob mit Remote-TEEs oder lokaler Inferenz. Derzeit müssen Entwickler ihr eigenes Modell für die lokale Inferenz mitbringen oder ihre eigenen datenschutzfreundlichen TEEs bereitstellen, was verrückt ist - weshalb sie standardmäßig auf zentrale Inferenz-APIs zurückgreifen. Was ich vorschlage, ist tatsächlich das, was wir bereits mit allgemeiner Berechnung tun: Man fragt einfach den Kernel, die Berechnungen durchzuführen, und abstrahiert vollständig Prozessor, Speicher usw. Dadurch können sich Entwickler auf das konzentrieren, was ihre KI-App einzigartig macht: Schnittstelle und Prompt-+Kontext-Engineering. Cross-App-Speicher: Zerstöre die "Speicherburg" durch automatisches Teilen des Kontexts über Apps hinweg, um die gleiche UX wie BigAI zu erreichen. Der gleiche lokale Router, der die Inferenz abstrahiert, "erweitert" den Kontext. Neue Startups, die lokale KI-Apps entwickeln, profitieren von all deinem Speicher ab dem ersten Tag, anstatt bestraft zu werden. Daten-Wallets: Granulare, lokale Kontrolle über Tools und Datenaustausch zwischen Apps. Einmal konfigurieren, nicht pro App. Der Speicher gehört den Benutzern und wird mit KI-Apps geteilt, nicht von den KI-Apps besessen. Zustandslose TEEs: Prompts und Kontexte werden lokal generiert und zur Inferenzzeit geteilt. TEEs speichern keine Daten, was das UX-Problem der TEEs und die Vertrauensannahmen löst. Verteilte Reputation für Agenten: Agentennetzwerke benötigen Einstiegspunkte, um auf erlaubnisfreie Reputation zuzugreifen, um zu entscheiden, welchen Agenten man vertrauen kann. Ohne dies werden die Menschen immer auf große KIs oder bekannte Marken zurückgreifen. Für Agenten ist Vertrauen die Burg. Ich möchte, dass KIs wie Barkeeper sind! Lokal. Ersetzbar. Vergesslich. Sie hören zu, wenn ich sie brauche, verschwinden, wenn ich gehe, und behalten niemals eine Aufzeichnung meiner Bestellhistorie. Zu professionell, um sich zu erinnern, was ich nach 🍹meinem zweiten Drink gesagt habe! Vollständiges Deck und Architekturdesign hier: cc @BerkeleyRDI, 🦊@MetaMask