Игорь Шаламов

Архитектура ИИ-систем

С 2023 года Игорь Шаламов работает с Appvillis, разработчиком мессенджера Nicegram, над ИИ-автоматизацией обратной связи и фильтрации контента. Его роль — AI Software Architect и руководитель реферального маркетинга.

На этой странице — инженерная дисциплина, на которой стоит эта работа: как проектировать ИИ-автоматизацию для мессенджера с большой аудиторией и какие решения важны на каждом уровне.

Где ИИ нужен в продукте для общения

В мессенджере ИИ выполняет несколько разных задач: классифицирует обратную связь пользователей, направляет её в нужную очередь, готовит черновики ответов и отсеивает контент, нарушающий правила. У каждой задачи своя цена ошибки. Неудачный черновик исправит человек; ошибочно заблокированное сообщение подрывает доверие. Поэтому архитектура начинается со списка задач, и для каждой задаются своя модель, свой порог уверенности и свой путь проверки.

Конвейер

  1. Приём. Сообщения и обратная связь приходят через одну точку входа с устойчивой схемой: источник, язык, время, контекст пользователя, который продукту разрешено использовать.
  2. Очередь. Очередь сообщений сглаживает пики, и задержка модели не тормозит продукт. Каждая задача читает свою очередь и масштабируется отдельно.
  3. Классификация. Быстрые и недорогие классификаторы определяют тему, язык, срочность и риск. Большие языковые модели подключаются только там, где нужна генерация.
  4. Слой правил. Правила и пороги уверенности решают, что дальше: автоматическое действие, подсказка ответа для сотрудника или эскалация.
  5. Действие и журнал. Каждое автоматическое решение записывается с версией модели и входными данными, чтобы его можно было проверить и отменить.

Выбор моделей

Главный выбор — между качеством, стоимостью запроса и задержкой. Массовые шаги, например определение языка и темы, выполняют компактные модели. Генерация работает на больших моделях только там, где результат прочтёт человек. Модели версионируются, и новая версия заменяет старую только после сравнения на одной и той же размеченной выборке.

Ограничители

Метрики

ИИ-функцию оценивают по измеренному результату, а не по наличию модели. Типичные метрики: точность и полнота фильтра на размеченной выборке, доля обращений, закрытых без эскалации, время до первого ответа, доля отменённых автоматических решений, стоимость обработки тысячи сообщений. Каждая метрика сравнивается с исходным уровнем до и после изменения.

Связь с системами роста

Те же принципы работают в реферальных и рекомендательных системах: чистый приём событий, атрибуция, устойчивая к повторам и дублям, антифрод-проверки до начисления вознаграждения и A/B-тесты до раскатки. Эту сторону раскрывает статья Игоря Шаламова о нейросетевых архитектурах реферальных воронок — см. раздел «Публикации».

По теме