Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Rok 2025 to rok agentów, a kluczową zdolnością agentów jest wywoływanie narzędzi.
Kiedy używam Claude Code, mogę powiedzieć AI, aby przeszukało newsletter, znalazło wszystkie linki do startupów, zweryfikowało, że istnieją w naszym CRM, za pomocą jednego polecenia. Może to wymagać wywołania dwóch lub trzech różnych narzędzi.
Ale oto problem: używanie dużego modelu bazowego do tego jest kosztowne, często ograniczone przez stawki i zbyt potężne do zadania selekcyjnego.
Jaki jest najlepszy sposób na zbudowanie systemu agentowego z wywoływaniem narzędzi?
Odpowiedź leży w małych modelach akcji. NVIDIA opublikowała przekonujący artykuł, w którym twierdzi, że „Małe modele językowe (SLM) są wystarczająco potężne, z natury bardziej odpowiednie i koniecznie bardziej ekonomiczne dla wielu wywołań w systemach agentowych.”
Testowałem różne lokalne modele, aby zweryfikować ćwiczenie redukcji kosztów. Zacząłem od modelu Qwen3:30b, który działa, ale może być dość wolny, ponieważ jest to tak duży model, mimo że tylko 3 miliardy z tych 30 miliardów parametrów jest aktywnych w danym momencie.
Artykuł NVIDIA zaleca model Salesforce xLAM – inną architekturę nazwaną dużym modelem akcji, specjalnie zaprojektowaną do selekcji narzędzi.
Więc przeprowadziłem własny test, każdy model wywołując narzędzie do listowania moich zadań w Asanie.
Wyniki były uderzające: xLAM ukończył zadania w 2,61 sekundy z 100% sukcesem, podczas gdy Qwen zajął 9,82 sekundy z 92% sukcesem – prawie cztery razy dłużej.
Ten eksperyment pokazuje zysk w szybkości, ale jest kompromis: ile inteligencji powinno być w modelu, a ile w samych narzędziach. To ograniczenie
W przypadku większych modeli, takich jak Qwen, narzędzia mogą być prostsze, ponieważ model ma lepszą tolerancję na błędy i może radzić sobie z źle zaprojektowanymi interfejsami. Model kompensuje ograniczenia narzędzi poprzez rozumowanie siłowe.
W przypadku mniejszych modeli model ma mniejszą zdolność do naprawy błędów, więc narzędzia muszą być bardziej solidne, a logika selekcji bardziej precyzyjna. Może to wydawać się ograniczeniem, ale w rzeczywistości jest to cecha.
To ograniczenie eliminuje kumulacyjny wskaźnik błędów narzędzi LLM. Gdy duże modele wykonują sekwencyjne wywołania narzędzi, błędy kumulują się wykładniczo.
Małe modele akcji wymuszają lepszy projekt systemu, zachowując to, co najlepsze w LLM i łącząc to z modelami specjalistycznymi.
Ta architektura jest bardziej wydajna, szybsza i bardziej przewidywalna.


5,33K
Najlepsze
Ranking
Ulubione