Släpper en ny "Agentic Reviewer" för forskningsartiklar. Jag började koda detta som ett helgprojekt, och @jyx_su gjorde det mycket bättre. Jag blev inspirerad av en student som fick en artikel refuserad 6 gånger under 3 år. Deras återkopplingsslinga – att vänta ~6 månader på återkoppling varje gång – var smärtsamt långsam. Vi ville se om ett agentiskt arbetsflöde kan hjälpa forskare att iterera snabbare. När vi tränade systemet på ICLR 2025-översikter och mätte Spearman-korrelationen (högre är bättre) på testuppsättningen: - Korrelation mellan två mänskliga granskare: 0,41 - Korrelation mellan AI och en mänsklig granskare: 0,42 Detta tyder på att agentisk granskning närmar sig prestation på mänsklig nivå. Agenten grundar sin feedback genom att söka i arXiv, så det fungerar bäst inom områden som AI där forskning publiceras fritt. Det är ett experimentellt verktyg, men jag hoppas det hjälper dig med din forskning. Kolla in den här:

Efter att ha lyssnat på flera av Harrys 20VC-poddar var det roligt att medverka där. Vi pratade om flaskhalsar i AI-användning, geopolitik mellan USA och Kina, vilka möjligheter som finns kvar att bygga in (tldr: många), och mer!

Jag har precis kommit tillbaka från AI Dev x NYC, AI-utvecklarkonferensen där vårt community samlas för en dag av kodning, lärande och kontakter. Stämningen i rummet var full av liv! Det var på den senaste AI-utvecklaren i San Francisco som jag träffade Kirsty Tan och började samarbeta med henne kring det som blev vårt AI-rådgivningsföretag AI Aspire. Möten på plats kan skapa nya möjligheter, och jag hoppas att de kommande månaderna kommer att ge fler berättelser om saker som började i AI Dev x NYC! Evenemanget var fullt av samtal om kodning med AI, agentisk AI, kontextutveckling, styrning samt att bygga och skala AI-applikationer i startups och stora företag. Men det övergripande intrycket jag tog med mig var en nästan universell optimism om vårt område, trots blandningen av pessimism och optimism kring AI i den bredare världen. Till exempel har många företag ännu inte fått AI-agenter att leverera en betydande avkastning på investeringen, och vissa AI-skeptiker citerar en MIT-studie som sade att 95 % av AI-piloterna misslyckas. (Denna studie har för övrigt metodologiska brister som gör den virala rubriken missvisande; se länk i originalinlägget.) Men på AI Dev fanns många av teamen ansvariga för det framgångsrika och snabbt växande utbudet av AI-applikationer. När jag pratade med andra utvecklare insåg jag att på grund av AI:s låga penetration i företag är det samtidigt sant att (a) många företag ännu inte har AI som levererar betydande avkastning, och (b) många skickliga AI-team börjar leverera betydande avkastning och ser antalet framgångsrika AI-projekt snabbt öka, om än från en låg bas. Det är därför AI-utvecklare är optimistiska inför den tillväxt som väntar. Flera utställare berättade för mig att detta var den bästa konferensen de deltagit i på länge, eftersom de fick prata med riktiga utvecklare. En berättade för mig att många andra konferenser verkade vara fylliga saker, medan deltagarna på AI Dev hade mycket djupare teknisk förståelse och därför var intresserade av och kunde förstå nyanserna i den senaste teknologin. Oavsett om diskussionen handlade om observerbarhet hos agentiska arbetsflöden, nyanserna i kontextingenjörskonst för AI-kodning, eller en debatt om hur länge spridningen av RL-gym för utbildning av LLM:er kommer att fortsätta, fanns det djup teknisk expertis i rummet som låter oss gemensamt se längre in i framtiden. Ett speciellt ögonblick för mig var när Nick Thompson, som ledde en panel med Miriam Vogel och mig, frågade om styrning. Jag svarade att USA:s senaste fientliga retorik mot invandrare är ett av de sämsta drag de gör, och många i publiken applåderade. Nick pratade om detta ögonblick i en video (länkar i originalinlägget). Jag uppskattade att träffa många människor på AI Dev och är tacksam mot alla som kom och mot alla våra talare, utställare, sponsorer, volontärer och evenemangspersonal. Min enda ånger är att, även om vi skalade upp evenemanget tre gånger jämfört med det tidigare San Francisco-evenemanget, var vi tvungna att begränsa antalet biljetter eftersom lokalen inte kunde ta emot fler besökare. Även om så mycket arbete nu sker online, är fysiska evenemang speciella och kan vara vändpunkter för individer och projekt. Vi planerar att göra nästa AI-utvecklare i San Francisco den 28–29 april 2026 till ett ännu större evenemang, och ser fram emot att konferensen hjälper till att skapa mer delning och kontakter i framtiden. [Originaltext:]