Além do pré-treinamento, aqui está como imagino que a maior parte do aprendizado funcionará. 1. Modelos / sistemas de IA manterão grandes coleções de conhecimento recuperável. Isso incluirá fatos como "a capital da Califórnia é Sacramento" e táticas como "ao jogar Monopoly, compre várias propriedades no início" ou "certifique-se de que os argumentos padrão em Python não sejam mutáveis". O sistema recuperará fatos / insights / táticas relevantes para realizar tarefas. 2. A IA irá ingerir todos os tipos de dados (livros, bases de código, artigos de notícias, entrada sensorial em streaming). Isso acontecerá tanto durante o tempo de treinamento quanto enquanto estiver implantada para realizar tarefas. 3. À medida que o sistema encontra novos dados, ele raciocinará intensamente para entender os dados, especialmente para compreendê-los no contexto do conhecimento existente do sistema. Se os dados forem difíceis de entender, por exemplo, um artigo de pesquisa técnica, esse processo será muito intensivo em computação, e a saída do raciocínio será destilada em um novo conjunto de insights, táticas e fatos que são armazenados no conhecimento do sistema (junto com referências aos dados brutos dos quais os insights foram derivados). Se o novo conhecimento contradizer fatos recuperados existentes, mais raciocínio ocorrerá para tentar resolver a contradição, e os fatos existentes na coleção de conhecimento serão atualizados (junto com o contexto sobre o motivo da atualização). Isso tem algumas propriedades interessantes. - Uma maneira de remover ou corrigir conhecimento incorreto à medida que a IA coleta novas informações. - Alguma interpretabilidade sobre o que o modelo sabe e suas estratégias para realizar tarefas. Também a capacidade de auditar / verificar o que o modelo sabe. - Uma maneira de beneficiar do raciocínio durante o tempo de treinamento, em vez de apenas raciocinar no tempo de inferência e depois descartar insights arduamente conquistados. - Esse tipo de raciocínio durante o tempo de treinamento tem o potencial de ser muito mais eficiente em dados, mas muito mais intensivo em computação. Esse processo de raciocínio durante o tempo de treinamento, armazenamento de conhecimento e recuperação poderia ser emergente, dado a arquitetura certa, mas espero que esteja incorporado inicialmente.