В эту среду компания Groundcover, специализирующаяся на мониторинге облачных сред, объявила о расширении своего сервиса AI Observability. В рамках этого шага компания добавила встроенную поддержку агентных систем искусственного интеллекта, полностью совместимых с Google Vertex AI — платформой облачного гиганта для создания и обучения моделей машинного обучения.
В стремлении к ясности и пониманию того, как агентные функции принимают решения, Groundcover позиционирует свою технологию как окно, через которое можно увидеть, как прикладные системы организации используют ИИ в различных моделях и с учетом всех факторов, включая стоимость, задержку, использование подсказок, поведение агентов и выполнение инструментов. Проще говоря, команды разработчиков программного обеспечения могут отслеживать каждое взаимодействие LLM.
Работая по принципу BYOC (Bring Your Own Cloud), Groundcover предоставляет свои услуги в локальном облаке организации, поэтому все данные обрабатываются в инфраструктуре и среде клиента.
Новый вид пробела в видимости
По мере того как организации интегрируют LLM в производственные системы, они сталкиваются с новым видом пробела в видимости.
Орр Бенджамин, вице-президент по продуктам в Groundcover, говорит, что традиционные инструменты наблюдаемости были разработаны для детерминированного программного обеспечения, а не для систем, в которых динамические подсказки определяют результаты.
«Когда вы переходите от традиционных сервисов к многоэтапным агентурным рабочим процессам, классические опоры наблюдаемости — журналы, метрики и короткие трассировки — начинают рушиться», — говорит Бенджамин. «Вместо трассировки микросервисов с 20 переходами [когда запрос покидает один сервис и устанавливает соединение с другим], команда может иметь дело с двухчасовой сессией и 50 000 вызовов инструментов, поэтому основной задачей становится реконструкция и обобщение того, что на самом деле произошло, таким образом, чтобы это было важно для пользователей».
«Когда вы переходите от традиционных сервисов к многоэтапным агентурным рабочим процессам, классические опоры наблюдаемости — журналы, метрики и короткие трассировки — начинают рушиться». — Орр Бенджамин, вице-президент по продуктам в Groundcover.
В результате этих проблем, по словам Groundcover, команды сталкиваются с трудностями в понимании того, как функции на базе ИИ ведут себя в реальных условиях, в том числе какие входные данные определяют выходные, как варьируются ответы и как использование влияет на затраты. Такая недостаточная прозрачность затрудняет обеспечение надежности, оптимизацию производительности и последующее масштабирование приложений на базе ИИ.
Не требуется никаких инструментов
С момента запуска LLM Observability в августе 2025 года Groundcover работает в производственных ИИ-средах у всех своих клиентов, автоматически фиксируя взаимодействия LLM с помощью своего запатентованного датчика eBPF — легкого агента сбора данных, который «прослушивает» все события сервера на уровне ядра без необходимости «инструментирования» (т. е. кодирования) перед использованием. Поскольку инструментирование не требуется, все данные остаются в облаке клиента.
Этот релиз от Groundcover направлен на решение того, что, по словам компании, реальные производственные развертывания выявили как следующую нерешенную проблему: видимость многоступенчатых агентских систем.
«Поскольку Groundcover собирает данные на уровне ядра с помощью eBPF, ниже уровня приложений, он видит, что на самом деле делает ваш агент, а не то, что, по сообщениям приложения, происходит. Если агент-кодер может вставлять трассировки или манипулировать журналами на уровне приложения, ваша наблюдаемость будет столь же достоверной, насколько достоверен сам агент», — говорит Бенджамин.
Он объясняет, что это имеет решающее значение — особенно по мере того, как агенты становятся более автономными. Поскольку контекст инфраструктуры фиксируется наряду с поведением ИИ, это означает, что если агент спросит: «Почему у меня резко выросли затраты?», он мог бы получить ответ, основанный на полном контексте данных, показывающий, что затраты на токены LLM резко выросли из-за нехватки памяти на базовом узле Kubernetes, что привело к ограничению пропускной способности сервиса и увеличению количества повторных попыток.
Что касается новых функций от Groundcover, то AI Observability теперь отображает полные трассировки выполнения агентов. Это означает, что отображается каждый вызов модели, каждый вызов инструмента (вместе с его аргументами, т. е. структурированными параметрами, которые управляют взаимодействиями с внешними инструментами, API или системами), а также путь рассуждений, связывающий их. Настраиваемые уровни фокусировки позволяют инженерам работать на нужном уровне детализации — от агрегированных данных на уровне провайдера до деталей отдельных интервалов.
Отслеживание токенов на уровне интервала
Точное распределение затрат включает в себя кэширование запросов. Стоимость токенов отслеживается на уровне спана (когда определенная последовательность токенов представляет отдельную сущность или фразу) и учитывает всю сложность ценообразования современных API LLM, правильно различая обычные токены ввода, токены создания кэша и токены чтения кэша. Команды могут видеть, что запускают отдельные агенты и сколько на самом деле стоят сеансы.
Как отмечалось выше, также присутствует поддержка Google Vertex AI, а это означает, что автоматический сбор данных Groundcover теперь распространяется на команды, работающие на управляемой инфраструктуре ИИ Google Cloud, при этом все данные наблюдаемости остаются в собственной среде клиента, и не требуется никаких инструментов.
«Всплеск использования токенов, который выглядит как проблема ИИ, на самом деле может быть вызван узлом Kubernetes с нехваткой памяти, вызывающим повторные попытки».
Бенджамин подчеркивает эти разработки и говорит, что платформа компании позаботилась о том, как данные перемещаются из отслеживаемой среды в управляемый бэкэнд, т. е. она спроектирована так, чтобы удерживать их внутри, сокращая сетевые затраты более чем на 95% по сравнению с традиционными архитектурами и обеспечивая при этом, что данные никогда не передаются третьим сторонам. По его словам, это осознанный архитектурный выбор, благодаря которому поддержка нескольких облаков в groundcover является реальной, а не номинальной.
Компания еще раз напоминает нам, что Groundcover поддерживает AWS, GCP и Azure, поскольку это действительно BYOC, независимо от того, что представляет собой C (облако).
Поскольку датчик eBPF фиксирует все на уровне ядра, независимо от того, к какому поставщику LLM обращается приложение, Groundcover обеспечивает наблюдаемость путей рассуждений, использования токенов и качества ответов, не затрагивая код. Такой ответ, связывающий поведение LLM с телеметрией инфраструктуры, возможен только тогда, когда оба находятся на одной платформе, на одной временной шкале, в одном языке запросов… и это является основой того, почему Groundcover считает, что обеспечил всестороннюю наблюдаемость для эпохи многоэтапных агентных рабочих процессов.
Читайте также
- Microsoft интегрирует ИИ-агентов непосредственно в Windows Terminal
- Почему ИИ-агенты не должны вмешиваться в ваш исходный код — и чем им следует заниматься вместо этого
- Как MCP и синтетические данные меняют подход к обеспечению соответствия требованиям в эпоху агентов
Подписывайтесь на наш канал в Телеграм
⚡ Подписаться