Блог

Сократить использование токенов ИИ на 96 %? Вот как это удается с помощью AWS Strands Agents.

В этом выпуске я встретился с представителем AWS по работе с разработчиками Морганом Уиллисом, чтобы поговорить о Strands Agents — открытом агентном фреймворке компании, который с момента запуска чуть менее года назад был скачан более 14 миллионов раз. Уиллис продемонстрировал практический пример, построенный на базе простого бухгалтерского API, чтобы показать, как на практике выглядит разработка с использованием Strands.

В демонстрации показаны три итерации одной и той же задачи: поиск последнего счета для клиента. Сначала Уиллис сопоставила каждый конечный пункт API напрямую с инструментом агента, как это по умолчанию делали бы большинство разработчиков. Агенту потребовалось пять цепочек вызовов API, и он израсходовал примерно 52 000 токенов. Затем она заменила их инструментами на основе намерений, построенными вокруг результата, а не операции с данными. При том же запросе получение ответа теперь потребовало одного вызова инструмента и всего 2 000 токенов.

«Это вызов нескольких API, но объединение их в один инструмент на основе намерений для агента, который будет проще использовать — и понять, когда именно его использовать. […]

«Чем меньше инструментов вы предоставляете своему агенту, тем меньше вероятность, что он вызовет не тот».

«Вашему агенту будет проще определить, какой инструмент использовать и когда, потому что эти инструменты больше ориентированы на задачу, а не на данные», — говорит Уиллис. «Чем меньше инструментов вы предоставляете агенту, тем меньше вероятность, что он вызовет не тот инструмент».

В третьей итерации эти инструменты были перенесены на удаленный сервер MCP через AWS Agent Core Gateway и был включен семантический поиск по каталогу инструментов, так что агент получал только те инструменты, которые были релевантны каждому запросу, а не полный набор из 16. Это снова сократило использование токенов примерно вдвое по сравнению с загрузкой всего набора.

Уиллис говорит, что общий принцип, действующий здесь, заключается в том, что агенты с узкой сферой применения, как правило, превосходят по эффективности агенты общего назначения. 

«Я считаю, что агенты с более узкой специализацией, как правило, работают лучше, чем агенты общего назначения. Если вы стремитесь к контекстной эффективности, скорости и точности, я бы также обратил внимание на дизайн вашего агента». 

Наличие множества агентов, каждый из которых выполняет небольшое количество задач, позволяет проектировать инструменты именно для каждого конкретного случая использования, а не создавать более универсального агента, который пытается делать все. По мере распространения серверов MCP и роста каталогов инструментов вопрос о том, какие инструменты агент фактически видит при данном запуске, станет столь же важным, как и сами инструменты.

Подписывайтесь на наш канал в Телеграм

Подписаться
AWS