Estou entusiasmado por compartilhar que recentemente me juntei à equipe MSL! Construir superinteligência pessoal é sério e divertido aqui. Junte-se a nós!

📣 Animado para compartilhar nosso estudo do mundo real de um copiloto clínico LLM, uma collab entre @OpenAI e @PendaHealth. Em 39.849 visitas de pacientes vivos, os clínicos com IA tiveram uma redução relativa de 16% nos erros de diagnóstico e uma redução de 13% nos erros de tratamento em comparação com aqueles sem. 🧵

Esta é a minha palestra de 2 meses atrás no @Cornell "Como posso aumentar a minha produção?" Uma resposta natural é: "Vou trabalhar mais algumas horas". Trabalhar mais tempo pode ajudar, mas eventualmente você atinge um limite físico. Uma pergunta melhor é: "Como faço para aumentar minha saída sem aumentar tanto a entrada?" Isso é alavancagem. Ouvimos "alavancagem" com tanta frequência que a sua implicação é fácil de ignorar. Minha categorização favorita pessoal de alavancagem é por Naval Ravikant: trabalho humano, capital e código / mídia. Cada um deles impulsionou grandes ondas de criação de riqueza na história. No entanto, uma vez que uma fonte de alavancagem se torna popular (pense nos canais do YouTube hoje versus dez anos atrás), a concorrência comprime a margem. Portanto, quando uma nova alavancagem aparece, é uma chance rara de ganhos descomunais. Nesta palestra, descrevo a IA como essa alavancagem emergente. Um agente de IA combina alavancagem de mão de obra (ele funciona para você e não tem permissão) com alavancagem de código (você pode copiá-lo e colá-lo). É clichê dizer que a IA criará uma riqueza enorme. Mas usar essa lente de alavancagem nos permite interpretar o barulhento ciclo de notícias de IA de forma consistente e identificar as oportunidades reais. Obrigado @unsojo por me receber!

Nova postagem no blog sobre assimetria de verificação e "lei do verificador": A assimetria da verificação – a ideia de que algumas tarefas são muito mais fáceis de verificar do que de resolver – está a tornar-se uma ideia importante, uma vez que temos RL que finalmente funciona de forma geral. Grandes exemplos de assimetria de verificação são coisas como quebra-cabeças sudoku, escrever o código para um site como o instagram e problemas BrowseComp (leva ~ 100 sites para encontrar a resposta, mas fácil de verificar uma vez que você tem a resposta). Outras tarefas têm quase simetria de verificação, como somar dois números de 900 dígitos ou alguns scripts de processamento de dados. No entanto, outras tarefas são muito mais fáceis de propor soluções viáveis do que verificá-las (por exemplo, verificar fatos de um longo ensaio ou declarar uma nova dieta como "só coma bisão"). Uma coisa importante a entender sobre a assimetria de verificação é que você pode melhorar a assimetria fazendo algum trabalho de antemão. Por exemplo, se você tem a chave de resposta para um problema de matemática ou se você tem casos de teste para um problema Leetcode. Isso aumenta muito o conjunto de problemas com assimetria de verificação desejável. A "lei do verificador" afirma que a facilidade de treinar a IA para resolver uma tarefa é proporcional ao quão verificável a tarefa é. Todas as tarefas que são possíveis de resolver e fáceis de verificar serão resolvidas por IA. A capacidade de treinar a IA para resolver uma tarefa é proporcional se a tarefa tem as seguintes propriedades: 1. Verdade objetiva: todos concordam o que são boas soluções 2. Rápido de verificar: qualquer solução pode ser verificada em poucos segundos 3. Escalável para verificar: muitas soluções podem ser verificadas simultaneamente 4. Baixo ruído: a verificação está tão estreitamente correlacionada com a qualidade da solução quanto possível 5. Recompensa contínua: é fácil classificar a bondade de muitas soluções para um único problema Uma instanciação óbvia da lei do verificador é o fato de que a maioria dos benchmarks propostos na IA são fáceis de verificar e até agora foram resolvidos. Observe que praticamente todos os benchmarks populares nos últimos dez anos se encaixam no critério #1-4; Benchmarks que não atendem aos critérios #1-4 teriam dificuldades para se tornarem populares. Por que a verificabilidade é tão importante? A quantidade de aprendizagem em IA que ocorre é maximizada quando os critérios acima são satisfeitos; Você pode dar muitas etapas de gradiente onde cada etapa tem muito sinal. A velocidade da iteração é crítica — é a razão pela qual o progresso no mundo digital tem sido muito mais rápido do que o progresso no mundo físico. O AlphaEvolve do Google é um dos maiores exemplos de aproveitamento da assimetria de verificação. Ele se concentra em configurações que se encaixam em todos os critérios acima, e levou a uma série de avanços em matemática e outros campos. Diferente do que temos feito em IA nas últimas duas décadas, é um novo paradigma em que todos os problemas são otimizados em um ambiente onde o conjunto de trem é equivalente ao conjunto de testes. A assimetria de verificação está em toda parte e é empolgante considerar um mundo de inteligência irregular onde tudo o que pudermos medir será resolvido.

Bryan Johnson longevity mix é a bebida mais popular em ragers em SF

Straight Banger, li imediatamente

Conselhos de namoro de pessoas normais: não se case cedo se você está crescendo e mudando muito a cada ano AI buddy (@YiTayML): Você é como uma rede neural no meio do treinamento e a perda ainda está melhorando. É melhor treinar para a convergência em vez de tirar um instantâneo antecipado do ponto de verificação

Ainda não temos autoaperfeiçoamentos de IA e, quando o fizermos, será um divisor de águas. Com mais sabedoria agora em comparação com o GPT-4 dias, é óbvio que não será uma "decolagem rápida", mas sim extremamente gradual ao longo de muitos anos, provavelmente uma década. A primeira coisa a saber é que o autoaperfeiçoamento, ou seja, os modelos que se treinam, não é binário. Considere o cenário de treinamento GPT-5 GPT-6, o que seria incrível. Será que o GPT-5 de repente passaria de não ser capaz de treinar GPT-6 para treiná-lo de forma extremamente eficiente? Definitivamente não. As primeiras execuções de treinamento GPT-6 provavelmente seriam extremamente ineficientes em tempo e computação em comparação com pesquisadores humanos. E só depois de muitos testes, o GPT-5 seria realmente capaz de treinar o GPT-6 melhor do que os humanos. Em segundo lugar, mesmo que um modelo pudesse treinar a si mesmo, ele não melhoraria de repente em todos os domínios. Há um gradiente de dificuldade em como é difícil melhorar-se em vários domínios. Por exemplo, talvez o autoaperfeiçoamento só funcione no início em domínios que já sabemos como corrigir facilmente no pós-treinamento, como alucinações básicas ou estilo. Em seguida, estaria a matemática e a codificação, que dá mais trabalho, mas estabeleceu métodos para melhorar os modelos. E então, no extremo, você pode imaginar que existem algumas tarefas que são muito difíceis para o autoaperfeiçoamento. Por exemplo, a capacidade de falar tlingit, uma língua nativa americana falada por ~500 pessoas. Será muito difícil para o modelo se auto-melhorar ao falar tlingit, pois ainda não temos maneiras de resolver linguagens com poucos recursos como esta, exceto coletar mais dados, o que levaria tempo. Então, por causa do gradiente de dificuldade de autoaperfeiçoamento, não vai acontecer tudo de uma vez. Finalmente, talvez isso seja controverso, mas, em última análise, o progresso da ciência é estrangulado por experimentos do mundo real. Alguns podem acreditar que ler todos os artigos de biologia nos diria a cura para o câncer, ou que ler todos os artigos de ML e dominar toda a matemática permitiria que você treinasse GPT-10 perfeitamente. Se este fosse o caso, então as pessoas que leram mais artigos e estudaram mais teoria seriam os melhores pesquisadores de IA. Mas o que realmente aconteceu é que a IA (e muitos outros campos) se tornaram dominados por pesquisadores impiedosamente empíricos, o que reflete o quanto o progresso é baseado em experimentos do mundo real em vez de inteligência bruta. Então, meu ponto é, embora um agente super inteligente possa projetar experimentos 2x ou até 5x melhores do que nossos melhores pesquisadores humanos, no final do dia eles ainda têm que esperar que os experimentos sejam executados, o que seria uma aceleração, mas não uma decolagem rápida. Em resumo, há muitos gargalos para o progresso, não apenas inteligência bruta ou um sistema de autoaperfeiçoamento. A IA resolverá muitos domínios, mas cada domínio tem sua própria taxa de progresso. E mesmo a mais alta inteligência ainda exigirá experimentos no mundo real. Então será uma aceleração e não uma decolagem rápida, obrigado por ler meu discurso

A coisa mais gratificante sobre trabalhar no escritório em noites e fins de semana não é o trabalho real que você faz, mas as conversas espontâneas com outras pessoas que estão sempre trabalhando. Eles são as pessoas que tendem a fazer grandes coisas e se tornarão seus amigos mais bem-sucedidos

Eu diria que estamos indubitavelmente na AGI quando a IA puder criar um unicórnio real e vivo. E não, não me refiro a uma empresa de $1B, seus nerds, quero dizer um cavalo rosa literal com um chifre espiralado. Um paradigma do avanço científico em engenharia genética e programação celular. O material dos sonhos de infância. Ousaria dizer que isso acontecerá em nossas vidas.