Gabriel e eu começamos este negócio programando em um pequeno escritório durante um ano inteiro. Começamos com a ideia de que os sistemas de IA devem ser capazes de aprender com a experiência do mundo real para resolver problemas do mundo real. Eventualmente, ficou claro que isso era muito mais um problema de sistemas e dados do que um problema de aprendizado de máquina. A solução precisava ser um software de nível industrial que fosse amplamente disponível e fácil de adotar para desenvolvedores individuais, mas que pudesse escalar para atender às necessidades de grandes organizações. Então, abrimos o projeto e dissemos aos nossos primeiros usuários para pararem de nos pagar. Parecia loucura. Hoje em dia, estamos virando a esquina. Temos uma equipe técnica pequena, mas incrível: Aaron (mantenedor do compilador Rust, Svix, AWS), @anndvision (pós-doutorado em Columbia, PhD em Oxford) e Alan (PhD na CMU, VP na JPM AI Research), que em breve será juntado por Shuyang (engenheiro de software na infraestrutura LLM do Google, Palantir) e Cole (Cognition, Windsurf, Stanford). Nossa comunidade está ativa e crescendo (em breve 10k estrelas!). Há um caminho claro para construir o agente que otimiza cada implantação do TensorZero com base no feedback do mundo real que coleta. Se você me dissesse quando comecei meu PhD que um dia muitas empresas começariam voluntariamente a armazenar trajetórias de RL em um modelo de dados que ajudei a construir para que pudéssemos otimizar suas políticas em relação às recompensas que elas valorizam, eu teria ficado surpreso. Em breve, isso não será feito manualmente.
TensorZero
TensorZero19/08, 04:14
Anunciando nossa rodada de seed de $7,3M! A TensorZero permite um ciclo de dados e aprendizado para otimizar aplicações de LLM: um ciclo de feedback que transforma métricas de produção e feedback humano em modelos e agentes mais inteligentes, rápidos e baratos. Hoje, fornecemos uma pilha de código aberto para construir aplicações de LLM de nível industrial que unifica um gateway de LLM, observabilidade, otimização, avaliação e experimentação. Você pode pegar o que precisa, adotar de forma incremental e complementar com outras ferramentas. Com o tempo, esses componentes permitem que você configure um ciclo de feedback fundamentado para sua aplicação de LLM. Os dados que você coleta estão ligados aos seus KPIs, portos entre provedores de modelos e se acumulam em uma vantagem competitiva para o seu negócio. Nossa visão é automatizar grande parte da engenharia de LLM. Estamos lançando as bases para isso com o TensorZero de código aberto. Por exemplo, com nosso modelo de dados e fluxo de trabalho de ponta a ponta, seremos capazes de sugerir proativamente novas variantes (por exemplo, um novo modelo ajustado), testá-lo em dados históricos (por exemplo, usando técnicas diversas de aprendizado por reforço), possibilitar um teste A/B gradual e ao vivo, e repetir o processo. Com uma ferramenta como essa, os engenheiros podem se concentrar em fluxos de trabalho de nível superior — decidindo quais dados entram e saem desses modelos, como medir o sucesso, quais comportamentos incentivar e desincentivar, e assim por diante — e deixar os detalhes de implementação de baixo nível para um sistema automatizado. Este é o futuro que vemos para a engenharia de LLM como uma disciplina. Recentemente, a TensorZero alcançou o repositório em tendência #1 da semana globalmente no GitHub (& estamos prestes a ultrapassar 10k estrelas). Temos a sorte de ter recebido contribuições de dezenas de desenvolvedores em todo o mundo, e é empolgante ver a TensorZero já impulsionando produtos de LLM de ponta em startups de IA de fronteira e grandes organizações, incluindo um dos maiores bancos da Europa. Estamos empolgados em compartilhar que levantamos $7,3M para acelerar os esforços da TensorZero em construir uma infraestrutura de código aberto de classe mundial para engenheiros de LLM (estamos contratando!). A rodada foi liderada pela @FirstMarkCap, com participação de @BessemerVP, @bedrock, @DRWTrading, @coalitionvc, e dezenas de anjos estratégicos.
25,82K