Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
2025 is het jaar van agenten, en de belangrijkste mogelijkheid van agenten is het aanroepen van tools.
Wanneer ik Claude Code gebruik, kan ik de AI vertellen om door een nieuwsbrief te filteren, alle links naar startups te vinden, te verifiëren of ze bestaan in onze CRM, met een enkele opdracht. Dit kan inhouden dat er twee of drie verschillende tools worden aangeroepen.
Maar hier is het probleem: het gebruik van een groot fundamentmodel hiervoor is duur, vaak beperkt in snelheid, en te krachtig voor een selectietaak.
Wat is de beste manier om een agentisch systeem met toolaanroep te bouwen?
Het antwoord ligt in kleine actiemodellen. NVIDIA heeft een overtuigend paper uitgebracht waarin wordt betoogd dat "Kleine taalmodellen (SLMs) voldoende krachtig zijn, inherent geschikter, en noodzakelijkerwijs economischer voor veel aanroepen in agentische systemen."
Ik heb verschillende lokale modellen getest om een kostenreductie-oefening te valideren. Ik begon met een Qwen3:30b parameter model, dat werkt maar behoorlijk traag kan zijn omdat het zo'n groot model is, hoewel slechts 3 miljard van die 30 miljard parameters op elk moment actief zijn.
Het NVIDIA-paper beveelt het Salesforce xLAM-model aan – een andere architectuur die een groot actiemodel wordt genoemd, specifiek ontworpen voor toolselectie.
Dus, ik heb mijn eigen test uitgevoerd, elk model dat een tool aanroept om mijn Asana-taken op te sommen.
De resultaten waren opvallend: xLAM voltooide taken in 2,61 seconden met 100% succes, terwijl Qwen 9,82 seconden nodig had met 92% succes – bijna vier keer zo lang.
Dit experiment toont de snelheidswinst aan, maar er is een afweging: hoeveel intelligentie moet in het model zitten versus in de tools zelf. Dit is beperkt.
Met grotere modellen zoals Qwen kunnen tools eenvoudiger zijn omdat het model een betere fouttolerantie heeft en kan omgaan met slecht ontworpen interfaces. Het model compenseert voor de beperkingen van de tools door brute-force redeneren.
Met kleinere modellen heeft het model minder capaciteit om van fouten te herstellen, dus de tools moeten robuuster zijn en de selectielogica preciezer. Dit lijkt misschien een beperking, maar het is eigenlijk een functie.
Deze beperking elimineert de cumulatieve foutpercentage van LLM-gekoppelde tools. Wanneer grote modellen sequentiële toolaanroepen doen, stapelen fouten zich exponentieel op.
Kleine actiemodellen dwingen tot een betere systeemsontwerp, waarbij het beste van LLM's wordt behouden en gecombineerd met gespecialiseerde modellen.
Deze architectuur is efficiënter, sneller en voorspelbaarder.


5,32K
Boven
Positie
Favorieten