Atropos v0.3 já está disponível! O nosso framework de Ambientes RL teve muitas atualizações desde a v0.2 - alguns destaques: - Atropos agora pode ser usado como um framework de benchmarking e avaliações por @rogershijin, com o nosso primeiro benchmark externo, Reward-Bench 2! - Adicionado o Reasoning Gym, um repositório de ambientes externos portado para Atropos com mais de 100 tarefas de raciocínio por @neurosp1ke e amigos - @max_paperclips integrou o bootcamp de raciocínio de @intern_lm, adicionando mais de 1000 novas tarefas de raciocínio para RL - @dmayhem93, o engenheiro principal do Atropos, adicionou dezenas de correções de bugs e outras melhorias de confiabilidade e compatibilidade, melhor suporte para múltiplos ambientes e CI/CD - Muitos dos ambientes do hackathon Atropos foram fundidos em /environments/community - listar todos ocuparia a maior parte do espaço da tela, mas alguns destaques: VR-CLI por @JakeABoggs, Filosofia RLAIF, Professores LLM Adaptativos, WebVoyager, design de proteínas por @hallerite, um ambiente de roteamento de modelos por @gabinfay, múltiplas provas lean, a arena catbot, pokemon showdown, poker, médicos úteis, poesia sânscrita por @khoomeik e muito mais! - Outros novos ambientes oficialmente suportados incluem: Formato de resposta seguindo o ambiente Ambiente Pydantic para JSON portado do trabalho de @MatternJustus Seguindo Instruções portado do trabalho de @natolambert e @allen_ai Contagem de Letras - 47 novos colaboradores! Confira o changelog completo aqui:
Teknium (e/λ)
Teknium (e/λ)18/07/2025
Acabámos de fundir um PR para um ambiente que melhora o LLM como Juiz, bem como avalia modelos na sua capacidade de fazer julgamentos! Sabia que todos os ambientes RL verificáveis são quase equivalentes a benchmarks (e vice-versa!)? Por isso, adicionámos um comando de avaliação à base do Atropos e agora pode executar benchmarks através dos ambientes do Atropos. Ficámos frustrados por trabalhar com tantos frameworks de benchmark que estavam desatualizados ou inutilizáveis, por isso implementámos um modo apenas de avaliação no Atropos, o nosso framework de ambientes RL. Assim, o nosso primeiro porto a partir dos nossos ambientes existentes foi o Reward-Bench do @natolambert! Nota: neste momento, apenas suporta modelos de recompensa generativa (Juízes LLM regulares). Veja o PR aqui:
25,08K