Temas en tendencia
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
2025 es el año de los agentes, y la capacidad clave de los agentes es llamar herramientas.
Al usar Claude Code, puedo decirle a la IA que revise un boletín, encuentre todos los enlaces a startups, verifique que existan en nuestro CRM, con un solo comando. Esto puede implicar que se llamen dos o tres herramientas diferentes.
Pero aquí está el problema: usar un modelo de base grande para esto es costoso, a menudo tiene limitaciones de tasa y es excesivo para una tarea de selección.
¿Cuál es la mejor manera de construir un sistema agente con llamadas a herramientas?
La respuesta radica en modelos de acción pequeños. NVIDIA publicó un artículo convincente argumentando que “Los modelos de lenguaje pequeños (SLMs) son suficientemente poderosos, inherentemente más adecuados y necesariamente más económicos para muchas invocaciones en sistemas agentes.”
He estado probando diferentes modelos locales para validar un ejercicio de reducción de costos. Comencé con un modelo de parámetros Qwen3:30b, que funciona pero puede ser bastante lento porque es un modelo tan grande, aunque solo 3 mil millones de esos 30 mil millones de parámetros están activos en un momento dado.
El artículo de NVIDIA recomienda el modelo Salesforce xLAM: una arquitectura diferente llamada modelo de acción grande específicamente diseñado para la selección de herramientas.
Así que, realicé una prueba propia, cada modelo llamando a una herramienta para listar mis tareas de Asana.
Los resultados fueron sorprendentes: xLAM completó las tareas en 2.61 segundos con un 100% de éxito, mientras que Qwen tardó 9.82 segundos con un 92% de éxito, casi cuatro veces más.
Este experimento muestra la ganancia de velocidad, pero hay un compromiso: cuánta inteligencia debe residir en el modelo frente a las herramientas mismas. Esto es limitado.
Con modelos más grandes como Qwen, las herramientas pueden ser más simples porque el modelo tiene mejor tolerancia a errores y puede trabajar alrededor de interfaces mal diseñadas. El modelo compensa las limitaciones de las herramientas mediante razonamiento de fuerza bruta.
Con modelos más pequeños, el modelo tiene menos capacidad para recuperarse de errores, por lo que las herramientas deben ser más robustas y la lógica de selección más precisa. Esto puede parecer una limitación, pero en realidad es una característica.
Esta restricción elimina la tasa de error acumulativa de las herramientas encadenadas de LLM. Cuando los modelos grandes hacen llamadas secuenciales a herramientas, los errores se acumulan exponencialmente.
Los modelos de acción pequeños obligan a un mejor diseño del sistema, manteniendo lo mejor de los LLM y combinándolo con modelos especializados.
Esta arquitectura es más eficiente, más rápida y más predecible.


5.13K
Populares
Ranking
Favoritas