Argomenti di tendenza
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Il 2025 è l'anno degli agenti, e la capacità chiave degli agenti è chiamare strumenti.
Quando utilizzo Claude Code, posso dire all'IA di setacciare una newsletter, trovare tutti i link alle startup, verificare che esistano nel nostro CRM, con un solo comando. Questo potrebbe comportare l'uso di due o tre strumenti diversi.
Ma ecco il problema: utilizzare un grande modello di fondazione per questo è costoso, spesso limitato in termini di frequenza, e sovradimensionato per un compito di selezione.
Qual è il modo migliore per costruire un sistema agentico con chiamate agli strumenti?
La risposta risiede nei modelli di azione piccoli. NVIDIA ha pubblicato un documento convincente che sostiene che "I piccoli modelli di linguaggio (SLM) sono sufficientemente potenti, intrinsecamente più adatti e necessariamente più economici per molte invocazioni nei sistemi agentici."
Ho testato diversi modelli locali per convalidare un esercizio di riduzione dei costi. Ho iniziato con un modello Qwen3:30b, che funziona ma può essere piuttosto lento perché è un modello così grande, anche se solo 3 miliardi di quei 30 miliardi di parametri sono attivi in un dato momento.
Il documento NVIDIA raccomanda il modello Salesforce xLAM - un'architettura diversa chiamata modello di azione grande specificamente progettata per la selezione degli strumenti.
Quindi, ho eseguito un test personale, ogni modello chiamando uno strumento per elencare i miei compiti su Asana.
I risultati sono stati sorprendenti: xLAM ha completato i compiti in 2,61 secondi con il 100% di successo, mentre Qwen ha impiegato 9,82 secondi con il 92% di successo - quasi quattro volte di più.
Questo esperimento mostra il guadagno di velocità, ma c'è un compromesso: quanto intelletto dovrebbe risiedere nel modello rispetto agli strumenti stessi. Questo è limitato.
Con modelli più grandi come Qwen, gli strumenti possono essere più semplici perché il modello ha una migliore tolleranza agli errori e può aggirare interfacce mal progettate. Il modello compensa le limitazioni degli strumenti attraverso il ragionamento di forza bruta.
Con modelli più piccoli, il modello ha meno capacità di recuperare dagli errori, quindi gli strumenti devono essere più robusti e la logica di selezione più precisa. Questo potrebbe sembrare una limitazione, ma in realtà è una caratteristica.
Questa restrizione elimina il tasso di errore cumulativo degli strumenti a catena LLM. Quando i grandi modelli effettuano chiamate sequenziali agli strumenti, gli errori si accumulano in modo esponenziale.
I piccoli modelli di azione costringono a una migliore progettazione del sistema, mantenendo il meglio degli LLM e combinandolo con modelli specializzati.
Questa architettura è più efficiente, più veloce e più prevedibile.


5,12K
Principali
Ranking
Preferiti