Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
2025 год — это год агентов, и ключевая способность агентов — это вызов инструментов.
Используя Claude Code, я могу сказать ИИ просмотреть информационный бюллетень, найти все ссылки на стартапы, проверить, существуют ли они в нашей CRM, с помощью одной команды. Это может потребовать вызова двух или трех различных инструментов.
Но вот в чем проблема: использование большой модели на основе фундамента для этого дорого, часто ограничено по скорости и чрезмерно мощно для задачи выбора.
Каков лучший способ построить агентскую систему с вызовом инструментов?
Ответ заключается в малых моделях действий. NVIDIA выпустила убедительную статью, утверждающую, что "Малые языковые модели (SLMs) достаточно мощны, по своей природе более подходящи и обязательно более экономичны для многих вызовов в агентских системах."
Я тестировал различные локальные модели, чтобы подтвердить упражнение по снижению затрат. Я начал с модели Qwen3:30b параметров, которая работает, но может быть довольно медленной, потому что это такая большая модель, даже если только 3 миллиарда из этих 30 миллиардов параметров активны в любой момент времени.
Статья NVIDIA рекомендует модель Salesforce xLAM — другую архитектуру, называемую большой моделью действий, специально разработанную для выбора инструментов.
Итак, я провел собственный тест, каждая модель вызывала инструмент для перечисления моих задач в Asana.
Результаты были поразительными: xLAM завершила задачи за 2,61 секунды с 100% успехом, в то время как Qwen заняла 9,82 секунды с 92% успехом — почти в четыре раза дольше.
Этот эксперимент показывает прирост скорости, но есть компромисс: сколько интеллекта должно находиться в модели по сравнению с самими инструментами. Это ограничено.
С более крупными моделями, такими как Qwen, инструменты могут быть проще, потому что модель имеет лучшую толерантность к ошибкам и может обойти плохо спроектированные интерфейсы. Модель компенсирует ограничения инструментов с помощью грубой силы рассуждений.
С меньшими моделями у модели меньше возможностей восстанавливаться от ошибок, поэтому инструменты должны быть более надежными, а логика выбора более точной. Это может показаться ограничением, но на самом деле это особенность.
Это ограничение устраняет нарастающую ошибку цепочки инструментов LLM. Когда большие модели делают последовательные вызовы инструментов, ошибки накапливаются экспоненциально.
Малые модели действий заставляют лучше проектировать систему, сохраняя лучшее из LLM и комбинируя это со специализированными моделями.
Эта архитектура более эффективна, быстрее и предсказуема.


5,32K
Топ
Рейтинг
Избранное