Архитектура ИИ-систем
С 2023 года Игорь Шаламов работает с Appvillis, разработчиком мессенджера Nicegram, над ИИ-автоматизацией обратной связи и фильтрации контента. Его роль — AI Software Architect и руководитель реферального маркетинга.
На этой странице — инженерная дисциплина, на которой стоит эта работа: как проектировать ИИ-автоматизацию для мессенджера с большой аудиторией и какие решения важны на каждом уровне.
Где ИИ нужен в продукте для общения
В мессенджере ИИ выполняет несколько разных задач: классифицирует обратную связь пользователей, направляет её в нужную очередь, готовит черновики ответов и отсеивает контент, нарушающий правила. У каждой задачи своя цена ошибки. Неудачный черновик исправит человек; ошибочно заблокированное сообщение подрывает доверие. Поэтому архитектура начинается со списка задач, и для каждой задаются своя модель, свой порог уверенности и свой путь проверки.
Конвейер
- Приём. Сообщения и обратная связь приходят через одну точку входа с устойчивой схемой: источник, язык, время, контекст пользователя, который продукту разрешено использовать.
- Очередь. Очередь сообщений сглаживает пики, и задержка модели не тормозит продукт. Каждая задача читает свою очередь и масштабируется отдельно.
- Классификация. Быстрые и недорогие классификаторы определяют тему, язык, срочность и риск. Большие языковые модели подключаются только там, где нужна генерация.
- Слой правил. Правила и пороги уверенности решают, что дальше: автоматическое действие, подсказка ответа для сотрудника или эскалация.
- Действие и журнал. Каждое автоматическое решение записывается с версией модели и входными данными, чтобы его можно было проверить и отменить.
Выбор моделей
Главный выбор — между качеством, стоимостью запроса и задержкой. Массовые шаги, например определение языка и темы, выполняют компактные модели. Генерация работает на больших моделях только там, где результат прочтёт человек. Модели версионируются, и новая версия заменяет старую только после сравнения на одной и той же размеченной выборке.
Ограничители
- Пороги уверенности: ниже порога система предлагает, а не действует.
- Проверка человеком для действий, которые трудно отменить, например блокировки контента.
- Минимум данных: модель получает только те поля, которые нужны для задачи.
- Журнал решений: каждое решение прослеживается до версии модели и правила.
- Запасной режим: если модель недоступна, сообщения ждут в очереди, а не обрабатываются более слабым правилом.
Метрики
ИИ-функцию оценивают по измеренному результату, а не по наличию модели. Типичные метрики: точность и полнота фильтра на размеченной выборке, доля обращений, закрытых без эскалации, время до первого ответа, доля отменённых автоматических решений, стоимость обработки тысячи сообщений. Каждая метрика сравнивается с исходным уровнем до и после изменения.
Связь с системами роста
Те же принципы работают в реферальных и рекомендательных системах: чистый приём событий, атрибуция, устойчивая к повторам и дублям, антифрод-проверки до начисления вознаграждения и A/B-тесты до раскатки. Эту сторону раскрывает статья Игоря Шаламова о нейросетевых архитектурах реферальных воронок — см. раздел «Публикации».