Artigos como este mostram que existem muitos caminhos potenciais a seguir em alguns dos problemas mais difíceis em IA. A quantidade de oportunidades fáceis sugere que a P&D em laboratórios de IA pode continuar a encontrar maneiras de contornar as barreiras à melhoria contínua dos modelos de IA.
🧠 Como podemos equipar os LLMs com memória que lhes permita aprender continuamente coisas novas?
No nosso novo artigo com @AIatMeta, mostramos como o ajuste fino esparso das camadas de memória permite atualizações direcionadas para o aprendizado contínuo, com mínima interferência no conhecimento existente.
Enquanto o ajuste fino completo e o LoRA apresentam quedas drásticas no desempenho em tarefas retidas (📉-89% FT, -71% LoRA em tarefas de aprendizado de fatos), as camadas de memória aprendem a mesma quantidade com muito menos esquecimento (-11%).
🧵:
Fico continuamente surpreso com o quão poucas aplicações aproveitam o fato de que os sistemas de IA podem trabalhar com vídeo.
Por exemplo, posso fazer perguntas à Gemini sobre o que acontece em um vídeo (e que não está mencionado em uma transcrição) e obter respostas coerentes, incluindo a identificação de emoções.