ИИ-агент может подготовить решение для сотрудника или выполнить операцию самостоятельно. В обоих случаях финансовая организация отвечает перед клиентом за нарушение его прав: Банк России прямо указывает, что применение ИИ не освобождает ее от ответственности. Внутри компании нужно определить, кто разрешает агенту действовать самостоятельно, кто проверяет его решения и кто разбирает ошибки.
Назначить одного ответственного за агента недостаточно. Подготовка заявки и проведение операции требуют разных полномочий и проверок, даже если их выполняет один агент. Поэтому обязанности сотрудников закрепляют за конкретным сценарием: что агент делает, где требуется подтверждение человека и кто отвечает за результат.
Обязанности поставщика закрепляют отдельно
В договоре с поставщиком ИИ-сервиса стоит проверить, за какие нарушения он отвечает, какие обязательства по качеству решений берёт на себя и как участвует в разборе ошибок. В рекомендациях № 3-МР Банк России выделяет ответственность за нарушения информационной безопасности сервиса и уведомление об уязвимостях и инцидентах. Этот пункт не охватывает качество решений агента – соответствующие обязательства нужно проверить отдельно.
Кодекс этики предлагает финансовой организации обеспечивать соблюдение его положений привлечёнными разработчиками и поставщиками вне надзора регулятора. Внутри компании стоит закрепить, кто проверяет выполнение согласованных условий подрядчиком. Кодекс и 3-МР носят рекомендательный характер и не заменяют применимые требования закона.
Одному агенту нужны разные оценки риска
Кодекс рекомендует централизованно учитывать модели ИИ и случаи их применения с присвоенным уровнем риска. Запись «агент для работы с клиентами» не раскрывает сценарий: какие действия агент выполняет, с какими данными работает и к чему может привести ошибка.
При оценке учитывают сферу применения, использование при разработке данных ограниченного доступа, возможные убытки и ущерб репутации, число клиентов и объяснимость решений. В оценку также входят сторонние модели, наборы данных от третьих лиц или из открытого доступа и произошедшие риск-события.
Систему уровней риска компания определяет сама. Вместе с оценкой стоит сохранять её основания: почему сценарий отнесён к этому уровню и какие факторы учтены. По ним можно проверить, остаётся ли оценка верной после изменения данных, модели или полномочий агента.
Когда сотрудник должен проверить решение агента
Момент проверки выбирают с учётом последствий ошибки. Если результат можно исправить до причинения ущерба, допустимость контроля после исполнения можно рассмотреть. Если последствия необратимы или сотрудник не успеет вмешаться, решение стоит проверять до исполнения. В обоих случаях сначала учитывают ограничения закона.
Один из возможных способов организовать контроль — разделить сценарии на три режима:
- Агент действует самостоятельно; сотрудники проверяют выборку результатов и разбирают выявленные ошибки.
- Агент выполняет операцию; сотрудник обязательно проверяет её результат в установленный срок и при необходимости исправляет.
- Агент готовит решение; сотрудник проверяет и подтверждает его до исполнения.
Проверка после исполнения имеет смысл, пока результат ещё можно изменить. В рекомендациях № 3-МР Банк России описывает такой контроль для автоматических операций в критически важных процессах, например платёжных или учётных, при высоких рисках информационной безопасности ИИ: человек проверяет результаты с возможностью их изменения.
Для выбранного режима закрепляют, что сотрудник проверяет, в какой срок и какие действия вправе предпринять при ошибке. При подтверждении до исполнения ему нужны исходные сведения и условия, на основании которых агент подготовил решение. Если сотрудник видит только готовый ответ, он не сможет проверить, правильно ли агент применил эти условия.
Когда закон допускает решение без человека
Статья 16 закона о персональных данных запрещает принимать решения исключительно на основе автоматизированной обработки персональных данных, если они порождают юридические последствия для человека или иначе затрагивают его права и законные интересы. Исключения – письменное согласие человека либо случаи, предусмотренные федеральным законом, который также устанавливает меры защиты его прав.
Даже если такое решение допустимо, компания обязана разъяснить порядок его принятия, возможные юридические последствия и порядок защиты прав, а также предоставить возможность заявить возражение. Рассмотреть возражение нужно в течение 30 дней со дня получения и уведомить клиента о результате. Внутри компании заранее закрепляют, кто принимает обращение, кто его рассматривает и кто отвечает клиенту: передача между подразделениями не начинает срок заново.
Кодекс этики Банка России рекомендует пересмотр сотрудником решения, принятого с применением ИИ, по запросу клиента. Эта рекомендация не ограничена исключительно автоматизированными решениями на основе персональных данных. Проверка при исполнении и пересмотр по обращению — разные обязанности: их можно поручить одному сотруднику или разным, но текущий контроль не заменяет рассмотрение обращения клиента.
Кто разрешил агенту действовать и почему
Журнал показывает, что агент сделал. Как восстановить ход выполнения, мы разбирали в статье об агентах в проде. Но для разбора ответственности нужно знать и другое: кто разрешил эти действия, на каких условиях и кто должен был проверить результат.
Кодекс рекомендует документировать условия применения ИИ и ответственных сотрудников. Один из возможных способов — собрать эти сведения в карточке сценария:
- Действия агента, используемые данные и границы полномочий.
- Уровень риска и основания оценки.
- Порядок проверки, сроки и ответственные сотрудники.
- Кто и когда разрешил выполнение сценария, для какой версии системы.
- Условия пересмотра полномочий и оценки риска.
В карточке стоит указать, где реализованы ограничения: в правах доступа, настройках подтверждения или рабочей инструкции. Тогда можно проверить, соответствует ли фактическая работа агента утверждённым условиям. Изменение полномочий или серьёзный сбой – повод пересмотреть эти условия; новое решение и его основания сохраняют вместе с предыдущими.
При разборе ошибки важно восстановить правила, действовавшие на момент операции, и того, кто их утвердил. Текущие настройки показывают, как агент работает сейчас. Без истории решений они не объяснят, почему ему было разрешено действие, которое привело к ошибке.
