Excited to be sponsoring the NaN team from Argentina 🇦🇷 on their journey to the World Finals of the ICPC, competing in algorithms, math and data structures. As part of this, we’re partnering on researching the limits and applications of frontier AI models for solving really complex problems. Surprising findings so far. Take for example solved by only two teams in the Mexico event held this year. We tested the problem against a variety of models, with only @openai O3 coming through. Even then, while directionally correct, it missed a crucial edge case. What’s more, even when we hint it specifically in the prompt, it fails to incorporate it in its reasoning. This contest notably is all about edge cases 😉 Argentina is so back. Rooting for them at the finals, now just a month away in Baku. — Emocionado de estar sponsoreando al equipo NaN de Argentina 🇦🇷 en su camino a las Finales Mundiales de la ICPC, compitiendo en algoritmos, matemáticas y estructuras de datos. Como parte de esto, estamos colaborando en la investigación sobre los límites y aplicaciones de modelos de IA de vanguardia para resolver problemas súper complejos. Hallazgos sorprendentes hasta ahora. Por ejemplo, tomemos el problema resuelto solo por dos equipos en el evento de México este año. Probamos el problema con varios modelos, y solo el O3 de @openai funciona. Aun así, aunque va en la dirección correcta, se pasa por alto un caso límite crucial para resolver el problema. No solo eso: incluso cuando se lo indicamos específicamente en el prompt, no logra incorporarlo en su razonamiento. Este concurso, cabe destacar, gira todo en torno a los casos límite 😉 Argentina está “so back”. Hinchando por ellos en las finales, que ya están a solo un mes en Baku.