Российский бизнес начал создавать системы контроля за ИИ-агентами

Российский бизнес начал создавать системы контроля за ИИ-агентами на фоне быстрого перехода от обычных чат-ботов к автономным цифровым помощникам. Такие системы уже способны работать с корпоративными данными, запускать инструменты и выполнять многоэтапные задачи.

Собственные решения развивают «Яндекс», MWS AI, «Сбер» и ИТ-холдинг Т1. При этом компании уделяют особое внимание доступу к данным, регистрации действий и подтверждению критических операций человеком.

Тренд поддерживает и развитие регулирования. В 2026 году ФСТЭК отдельно описала меры защиты при использовании искусственного интеллекта. Поэтому контроль ИИ-агентов постепенно превращается из дополнительной функции в самостоятельный слой корпоративной ИТ-архитектуры.

Почему контроль ИИ-агентов становится важным для бизнеса

Российские технологические компании начали активнее разрабатывать инфраструктуру для управления автономными ИИ-агентами.

Речь идет не просто о фильтрации ответов нейросети. Новые системы определяют доступные агенту данные и инструменты. Кроме того, они могут устанавливать правила выполнения операций.

Исходная информация опубликована в материале Investing.com.

Среди компаний, работающих в этом направлении, называются «Яндекс», MWS AI, «Сбер» и Т1. Отдельные продукты для контроля ИИ также развивают российские компании в сфере кибербезопасности.

Как работает контроль ИИ-агентов в корпоративной системе

Главная причина связана с изменением возможностей искусственного интеллекта.

Обычный чат-бот в основном генерирует ответ. Однако ИИ-агент может самостоятельно выбрать последовательность действий.

Например, агент способен обратиться к базе данных. Затем он может найти документ, запустить программный инструмент и подготовить результат.

Кроме того, некоторые агенты могут работать с CRM, корпоративной почтой и другими системами. Поэтому последствия ошибки становятся серьезнее.

Контроль ИИ-агентов и доступ к корпоративным данным

Разница заключается прежде всего в уровне автономности.

Чат-бот обычно отвечает на конкретный запрос пользователя. При этом его взаимодействие с другими системами может быть ограничено.

ИИ-агент способен самостоятельно разбивать задачу на этапы. Затем он выбирает инструменты и последовательно выполняет необходимые действия.

Именно поэтому бизнесу нужен дополнительный уровень контроля.

Почему контроль ИИ-агентов нужен банкам

В отрасли все чаще используется термин harness. Его можно перевести как «обвязка» или управляющая инфраструктура вокруг языковой модели.

Самая мощная LLM без такой инфраструктуры остается прежде всего моделью генерации и обработки информации.

Harness соединяет модель с корпоративными инструментами. Кроме того, он определяет правила использования этих инструментов.

В результате компания получает не просто нейросеть. Она получает управляемую систему выполнения задач.

Как работает система контроля ИИ-агента

Упрощенно архитектуру можно представить как несколько уровней.

• пользователь передает агенту задачу;
• языковая модель анализирует запрос;
• управляющий слой определяет разрешенные действия;
• агент получает только необходимые права;
• опасные операции требуют дополнительной проверки;
• критические решения могут передаваться человеку;
• действия агента записываются для последующего аудита.

Таким образом, модель не должна получать неограниченный доступ ко всей инфраструктуре компании.

MWS AI развивает корпоративную платформу управления ИИ-агентами

MWS AI уже предлагает отдельную платформу для управления жизненным циклом ИИ-агентов.

Согласно официальному описанию MWS AI Agents Platform, решение предназначено для крупных коммерческих и государственных организаций.

Платформа позволяет создавать агентов и управлять ими. Кроме того, предусмотрены инструменты для эксплуатации и наблюдения за системами.

В состав платформы входят LLMOps, MLOps, AgentOps и Observability.

Ролевая модель ограничивает доступ ИИ к корпоративным данным

Особое значение имеет управление правами.

MWS AI указывает на наличие ролевой модели для контроля доступа к данным и продуктам.

Кроме того, платформа поддерживает контроль версий и оповещения. Предусмотрено и автоматическое масштабирование.

Следовательно, управление агентами становится похожим на управление другими критическими корпоративными приложениями.

Бизнесу становится важна наблюдаемость ИИ

Компаниям недостаточно знать итоговый ответ модели.

Им важно понимать, какие действия выполнил агент. Кроме того, необходимо видеть использованные данные и инструменты.

Этот подход обычно называют observability, или наблюдаемостью.

Он особенно важен при работе с финансовой, клиентской и другой чувствительной информацией.

Т1 интегрирует ИИ-агентов непосредственно в бизнес-процессы

ИТ-холдинг Т1 также развивает агентные технологии для корпоративного сегмента.

В июне Т1 сообщил об интеграции платформы «Агентум ИИ» от ITFB Group с CRM-платформой «Модус».

Согласно официальному сообщению ИТ-холдинга Т1, система позволяет создавать и управлять цифровыми сотрудниками.

Такие агенты могут использоваться в продажах, маркетинге и клиентском сервисе. Кроме того, они способны работать как ассистенты сотрудников.

Доступ агентов к данным можно ограничивать по ролям

В решении Т1 используется Model Context Protocol, или MCP.

Он создает для агента своеобразное цифровое рабочее место. Через него система получает доступ к разрешенным данным и бизнес-логике.

При этом Т1 указывает на безопасный доступ на основе ролевой модели.

Это важный принцип. Агент должен получать только те полномочия, которые нужны для конкретной задачи.

Критические решения можно оставлять за человеком

Полная автономность нужна далеко не во всех процессах.

Например, в регулируемых отраслях итоговое решение часто должен принимать сотрудник.

Т1 описывает ассистирующий режим, в котором ИИ анализирует диалог и предлагает ответ. Однако окончательное решение остается за оператором.

Таким образом, искусственный интеллект повышает скорость работы, но не обязательно заменяет человеческий контроль.

Почему human-in-the-loop становится важным принципом

Такой подход называют human-in-the-loop.

Его смысл заключается в подключении человека к наиболее ответственным этапам работы системы.

Например, агент может самостоятельно подготовить платежные данные. Однако отправка платежа потребует подтверждения сотрудника.

Кроме того, дополнительное согласование может использоваться при удалении данных или изменении прав доступа.

Т1 говорит о необходимости контроля критических процессов

В марте 2026 года Т1 отдельно обращал внимание на пределы автономности.

Представитель компании отмечал, что полностью отказаться от участия человека в ближайшее время нельзя.

Особенно это касается критически важных процессов.

Подробности опубликованы в официальном материале ИТ-холдинга Т1 о цифровой трансформации бизнеса.

Запросы бизнеса на контроль ИИ-агентов растут

По данным, приведенным в исходной публикации, Т1 зафиксировал примерно трехкратный рост таких запросов за год.

Около 80% обращений связаны с контролем доступа к корпоративным данным. Кроме того, компании интересует проверка критических решений человеком и защита от утечек.

Наибольший интерес проявляют банки и промышленные предприятия. Также технология востребована государственными организациями и ритейлом.

Однако эти показатели отражают данные самой компании. Поэтому их следует рассматривать как оценку рыночного спроса со стороны Т1.

«Солар» уже предлагает инструменты контроля учетных записей ИИ-агентов

К развитию рынка подключаются и компании в сфере информационной безопасности.

ГК «Солар» сообщила, что технологии Solar inRights и Solar SafeInspect позволяют контролировать учетные записи и сессии ИИ-агентов.

Кроме того, они могут ограничивать привилегии в соответствии с ролью.

Эта информация содержится в официальных результатах ГК «Солар» за первое полугодие 2026 года.

Контроль ИИ постепенно становится частью кибербезопасности

Раньше корпоративная безопасность была ориентирована прежде всего на людей и приложения.

Теперь появляется новый тип участника инфраструктуры — автономный программный агент.

Он может иметь собственные учетные данные. Кроме того, агент способен взаимодействовать сразу с несколькими системами.

Поэтому традиционные механизмы безопасности приходится адаптировать.

Какие угрозы возникают при использовании ИИ-агентов

Первая группа рисков связана с избыточными полномочиями.

Если агент имеет слишком широкий доступ, одна ошибка может затронуть несколько корпоративных систем.

Вторая проблема связана с конфиденциальными данными. Агент может получить информацию, которая не требуется для выполнения задачи.

Кроме того, существуют риски манипулирования входными инструкциями и использования небезопасных внешних инструментов.

Почему принцип минимальных привилегий особенно важен

Один из основных методов защиты — минимально необходимый доступ.

Например, агенту для анализа продаж может требоваться чтение данных CRM. Однако ему необязательно предоставлять возможность удалять клиентов.

Аналогично, агент для подготовки документов может получать доступ только к определенному каталогу.

Таким образом, потенциальный ущерб от ошибки существенно ограничивается.

ФСТЭК уже описывает защиту систем искусственного интеллекта

Тема контроля ИИ выходит за рамки корпоративных инициатив.

12 апреля 2026 года ФСТЭК России утвердила методический документ о защите информации в информационных системах.

Отдельный раздел документа посвящен защите при использовании искусственного интеллекта.

С текстом документа можно ознакомиться через опубликованный методический документ ФСТЭК.

Какие меры для ИИ предусматривает подход ФСТЭК

Документ предусматривает оценку угроз еще при создании системы искусственного интеллекта.

Кроме того, внимание уделяется агентам, API-интерфейсам и системам фильтрации.

При эксплуатации должны применяться механизмы идентификации и аутентификации.

Также предусмотрены управление доступом, изоляция и защита данных.

ФСТЭК требует контролировать входные и выходные данные

Еще один важный элемент — фильтрация информации.

Методический документ предусматривает контроль входных запросов и выходных ответов ИИ-систем.

Кроме того, требуется мониторинг и квотирование количества запросов.

Также должны регистрироваться события безопасности, связанные с запросами и ответами.

Регулирование автономных агентов продолжает развиваться

В августе 2026 года ФСТЭК подготовила проект дополнительных изменений требований.

В проекте отдельно упоминаются агенты искусственного интеллекта, включая автономных.

Предлагается контролировать их права доступа. Кроме того, предусматриваются меры против несанкционированного воздействия на ресурсы информационной системы.

Важно, что на момент публикации речь идет именно о проекте изменений, а не о вступившей в силу новой норме. Документ опубликован 24 августа 2026 года.

«Яндекс» также развивает агентную инфраструктуру

«Яндекс» активно расширяет практическое использование ИИ-агентов.

В феврале компания представила Yandex Commerce Protocol. Он предназначен для интеграции интернет-магазинов с агентными ИИ-сценариями.

Через такие технологии ИИ получает возможность не только искать информацию. Он участвует в реальном пользовательском процессе покупки.

Официальное описание YCP опубликовано на сайте для инвесторов «Яндекса».

Почему реальные действия ИИ повышают требования к безопасности

Когда нейросеть только генерирует текст, ошибка чаще остается информационной.

Однако агент может инициировать реальное действие.

Например, он способен обратиться к корпоративной системе или подготовить операцию. Кроме того, агент может взаимодействовать с внешним сервисом.

Поэтому каждое новое разрешение увеличивает потенциальную поверхность риска.

ИИ-агентам нужна собственная цифровая идентичность

Компании постепенно сталкиваются с новой задачей управления идентичностями.

Раньше права доступа выдавались прежде всего сотрудникам и приложениям.

Теперь отдельные полномочия требуются ИИ-агентам.

При этом бизнесу необходимо понимать, какой агент получил доступ и кто его создал. Также важно знать, какие действия он может выполнять.

Аудит действий становится обязательной частью архитектуры

Автономность без журнала действий создает серьезную проблему.

После ошибки компании необходимо восстановить последовательность событий.

Поэтому системы контроля фиксируют действия агента. Это помогает анализировать инциденты и улучшать правила.

Кроме того, аудит необходим для внутреннего контроля и соблюдения требований безопасности.

Изолированный контур снижает потенциальный ущерб

Еще один подход заключается в запуске агента внутри ограниченной среды.

В этом случае ему заранее определяют доступные системы и инструменты.

Даже при ошибочном решении агент не должен выйти за установленный периметр.

Такой подход особенно важен при работе с критической инфраструктурой и конфиденциальной информацией.

Почему контроль ИИ-агентов нужен банкам

Финансовые организации работают с особенно чувствительными данными.

ИИ может ускорять анализ документов и обслуживание клиентов. Кроме того, агенты способны автоматизировать часть внутренних процессов.

Однако финансовые операции требуют строгого разграничения полномочий.

Поэтому банки могут стать одним из основных заказчиков решений для контроля автономного ИИ.

Промышленность также заинтересована в управляемом ИИ

На производстве агенты могут работать с технической документацией и показателями оборудования.

Кроме того, они способны помогать анализировать простои и цепочки поставок.

Однако доступ к промышленным системам требует дополнительных ограничений.

Поэтому изоляция и регистрация действий здесь имеют особое значение.

Российский рынок защиты ИИ начинает формироваться

Появление специализированных продуктов постепенно формирует отдельный сегмент кибербезопасности.

По оценке ГК «Солар», приведенной в исходной публикации, рынок защиты ИИ в России в 2026 году может составить 1–2 млрд рублей без учета услуг.

С учетом сервисной составляющей оценка достигает 4 млрд рублей.

Однако это прогноз участника рынка. Поэтому его нельзя рассматривать как подтвержденный будущий объем продаж.

Почему рынок контроля ИИ может быстро расти

Чем больше автономных агентов внедряет компания, тем сложнее становится управление ими.

Одного агента можно контролировать вручную. Однако десятки или сотни цифровых помощников требуют централизованной платформы.

Кроме того, каждый агент может иметь собственный набор разрешений.

Следовательно, компаниям понадобятся инструменты инвентаризации, мониторинга и управления доступом.

От одного агента бизнес переходит к мультиагентным системам

Следующий этап — взаимодействие нескольких специализированных агентов.

Например, один агент анализирует запрос клиента. Второй работает с базой знаний. Третий проверяет результат.

Такая архитектура может повысить эффективность.

Однако одновременно растет число взаимодействий и возможных ошибок. Поэтому требования к контролю становятся еще жестче.

Контроль ИИ становится новым уровнем корпоративной инфраструктуры

Российский бизнес начал создавать системы контроля за ИИ-агентами не только из-за риска утечки информации.

Компаниям необходима предсказуемость работы автономных систем.

Для этого требуется управлять доступом и инструментами. Кроме того, нужны аудит, наблюдаемость и возможность остановить опасное действие.

Таким образом, рынок движется от экспериментов с LLM к промышленной эксплуатации ИИ.

Какие функции будут наиболее востребованы

В корпоративных решениях можно выделить несколько ключевых направлений.

• управление правами доступа ИИ-агентов;
• фильтрация входящих запросов и ответов;
• журналирование действий;
• контроль использования внешних инструментов;
• изоляция агентов;
• проверка критических операций человеком;
• мониторинг активности и затрат;
• управление версиями агентов;
• обнаружение аномального поведения.

При этом набор функций будет зависеть от отрасли и чувствительности данных.

Что это значит для российского бизнеса

Главное изменение состоит в подходе к внедрению искусственного интеллекта.

Компании постепенно перестают рассматривать LLM как отдельный чат-интерфейс.

ИИ становится частью реальных бизнес-процессов. Следовательно, к нему начинают применять принципы корпоративной ИТ-безопасности.

В результате стоимость проекта определяется уже не только качеством модели. Большое значение получает инфраструктура вокруг нее.

Что будет происходить с рынком дальше

В ближайшие годы количество корпоративных ИИ-агентов может продолжить расти.

Поэтому компаниям потребуется централизованный каталог цифровых агентов. Кроме того, понадобится единая система назначения прав.

Вероятно, будет усиливаться и автоматизированный аудит.

При этом для наиболее критических операций человеческое подтверждение сохранит важную роль.

Российский бизнес создает системы контроля за ИИ-агентами: главное

Российский бизнес начал создавать системы контроля за ИИ-агентами по мере роста автономности искусственного интеллекта.

Собственные технологии развивают «Яндекс», MWS AI, «Сбер» и Т1. Кроме того, решения для защиты агентных систем предлагают компании кибербезопасности.

По данным Т1, приведенным в исходной публикации, количество запросов бизнеса на подобные механизмы выросло примерно втрое за год.

При этом около 80% обращений связаны с доступом к корпоративным данным, человеческой проверкой критических решений и защитой от утечек.

MWS AI уже предлагает корпоративную платформу управления жизненным циклом агентов. В ней предусмотрены AgentOps, Observability и ролевая модель доступа.

Т1 также внедряет агентные технологии непосредственно в корпоративные процессы. При этом действия цифровых сотрудников можно отслеживать, а доступ к данным — ограничивать.

Кроме того, ФСТЭК в 2026 году отдельно описала меры защиты при эксплуатации систем искусственного интеллекта. Они включают управление доступом, изоляцию, фильтрацию данных и регистрацию событий безопасности.

Таким образом, российский рынок переходит к следующей стадии развития ИИ. Теперь бизнесу важно не только создать интеллектуального агента, но и сделать его действия контролируемыми.

Исходная новость опубликована на Investing.com. Информацию о корпоративной платформе управления агентами можно проверить на официальном сайте MWS AI.

Практический пример интеграции цифровых сотрудников опубликован на официальном сайте ИТ-холдинга Т1. Информация о средствах контроля учетных записей ИИ-агентов доступна на сайте ГК «Солар».