O movimento de IA descentralizada está crescendo!
Marco De Rossi
Marco De Rossi4 de ago., 06:46
Acabei de lançar 🤖 - um mapa de projetos ativos de IA descentralizada. Eu gostaria de ver esse ecossistema crescer 10X! A privacidade por si só não impulsiona a adoção. Precisamos igualar e superar o UX centralizado da Big AI. Os conectores de fonte de dados e a memória são os fossos. Os custos de troca de aplicativos de IA dispararão nos próximos 2 anos. Por que? Melhores fontes de dados → maior uso → histórico mais rico → memória mais valiosa que é completamente perdida ao trocar de provedor → fossos mais altos. É por isso que devemos agir rápido. Hoje, no DeAI Summit no @UCBerkeley apresentei o "Bartender Stack" para resolver isso, mantendo o mesmo UX para usuários e desenvolvedores: Abstração de inferência: os desenvolvedores devem simplesmente chamar uma função de inferência genérica e o dispositivo do usuário decide para qual modelo roteá-la, seja usando TEEs remotos ou inferência local. Atualmente, os desenvolvedores devem trazer seu próprio modelo para inferência local ou fornecer seus próprios TEEs que preservam a privacidade. o que é uma loucura - e é por isso que eles usam APIs de inferência centralizadas como padrão. O que estou propondo é na verdade o que já fazemos com a computação geral: você apenas pede ao kernel para fazer as contas, abstraindo completamente o processador, a memória, etc. Isso permite que os desenvolvedores se concentrem no que torna seu aplicativo de IA distinto: interface e prompt + engenharia de contexto. Memória entre aplicativos: destrua o "fosso da memória" compartilhando automaticamente o contexto entre os aplicativos, alcançando o mesmo UX do BigAI. O mesmo roteador local que abstrai a inferência "estende" o contexto, Novas startups que criam aplicativos locais de IA se beneficiam de toda a sua memória desde o primeiro dia, em vez de serem penalizadas. Carteiras de dados: controle local granular de ferramentas e compartilhamento de dados entre aplicativos. Configure uma vez, não por aplicativo. A memória é de propriedade dos usuários e compartilhada com aplicativos de IA, não de propriedade dos aplicativos de IA. TEEs sem estado: prompts e contextos são gerados localmente e compartilhados no momento da inferência. Os TEEs não armazenam dados, resolvendo o problema das chaves de UX dos TEEs e as suposições de confiança. Reputação distribuída para agentes: as redes de agentes precisam de pontos de entrada para acessar a reputação sem permissão para decidir em quais agentes confiar. Sem isso, as pessoas sempre usarão grandes IAs ou marcas famosas. Para os agentes, a confiança é o fosso. Eu quero que as IAs sejam como bartenders! Local. Substituível. Esquecido. Eles ouvem quando eu preciso deles, desaparecem quando eu saio e nunca mantêm um registro do meu histórico de pedidos. Profissional demais para lembrar o que eu disse depois 🍹da minha segunda bebida! Deck completo e projeto de arquitetura aqui: CC @BerkeleyRDI, 🦊 @MetaMask
510