Je viens de lancer 🤖 - une carte des projets d'IA décentralisée actifs. J'aimerais voir cet écosystème croître de 10X ! La confidentialité à elle seule ne stimule pas l'adoption. Nous devons égaler et surpasser l'UX des Big AI centralisés. Les connecteurs de sources de données et la mémoire sont les douves. Les coûts de changement des applications d'IA vont exploser au cours des deux prochaines années. Pourquoi ? Meilleures sources de données → utilisation accrue → historique plus riche → mémoire plus précieuse qui est complètement perdue lors du changement de fournisseurs → douves plus élevées. C'est pourquoi nous devons agir rapidement. Aujourd'hui, au DeAI Summit à @UCBerkeley, j'ai présenté le "Bartender Stack" pour résoudre cela, tout en gardant la même UX pour les utilisateurs et les développeurs : Abstraction d'inférence : Les développeurs devraient simplement appeler une fonction d'inférence générique, et l'appareil de l'utilisateur décide quel modèle utiliser, que ce soit en utilisant des TEEs distants ou une inférence locale. Actuellement, les développeurs doivent apporter leur propre modèle pour l'inférence locale ou fournir leurs propres TEEs préservant la confidentialité, ce qui est fou - c'est pourquoi ils se tournent par défaut vers les API d'inférence centralisées. Ce que je propose est en fait ce que nous faisons déjà avec le calcul général : vous demandez simplement au noyau de faire les calculs, en abstraisant complètement le processeur, la mémoire, etc. Cela permet aux développeurs de se concentrer sur ce qui rend leur application d'IA distinctive : l'interface et l'ingénierie des invites + du contexte. Mémoire inter-applications : Détruisez la "douves de mémoire" en partageant automatiquement le contexte entre les applications, atteignant la même UX que BigAI. Le même routeur local qui abstrait l'inférence "étend" le contexte, les nouvelles startups construisant des applications d'IA locales bénéficient de toute votre mémoire dès le premier jour au lieu d'être pénalisées. Portefeuilles de données : Contrôle granulaire et local des outils et du partage de données entre les applications. Configurez une fois, pas par application. La mémoire appartient aux utilisateurs et est partagée avec les applications d'IA, pas détenue par les applications d'IA. TEEs sans état : Les invites et les contextes sont générés localement et partagés au moment de l'inférence. Les TEEs ne stockent aucune donnée, résolvant le problème des clés UX des TEEs et des hypothèses de confiance. Réputation distribuée pour les agents : Les réseaux d'agents ont besoin de points d'entrée pour accéder à une réputation sans autorisation afin de décider quels agents faire confiance. Sans cela, les gens se tourneront toujours par défaut vers les Big AIs ou les marques célèbres. Pour les agents, la confiance est la douve. Je veux que les IA soient comme des barmans ! Locaux. Remplaçables. Oubliants. Ils écoutent quand j'ai besoin d'eux, disparaissent quand je pars, et ne gardent jamais de trace de mon historique de commandes. Trop professionnels pour se souvenir de ce que j'ai dit après 🍹ma deuxième boisson ! Conception complète et architecture ici : cc @BerkeleyRDI, 🦊@MetaMask