Генеративные нейросети часто создают тексты, которые выглядят правдоподобно, но содержат ошибки или вымышленные данные. Это связано с тем, что модели опираются на вероятности, а не на понимание смысла. Чтобы снизить риск таких «галлюцинаций», эксперты ВТБ рекомендуют чётко формулировать запросы, проверять результаты вручную и применять инструменты дополнительной валидации. Важно также обучать ИИ на качественных, проверенных данных и использовать защитные механизмы, способные остановить модель при генерации недостоверной информации.
Фото: freepik-ru.freepik.com
тестовый баннер под заглавное изображение
Названы ключевые способы борьбы с «галлюцинациями» ИИ — генерацией правдоподобного, но недостоверного текста. Подобные ошибки могут дезинформировать пользователя и привести к финансовым и репутационным рискам для бизнеса.
«Нейросеть может выдать несуществующие книги или придумать условия продукта. Она не проверяет факты, а подбирает вероятные ответы. Потому важно формулировать запросы чётко. Но главный способ контроля — проверка человеком», — рассказал Лев Меркушов, руководитель разработки ИИ-решений ВТБ.
По словам Алексея Пустынникова, лидера команды по разработке моделей, для предотвращения ошибок важно понимать их природу. Языковые модели не осознают смысл информации и не верифицируют её в реальном времени. В одних случаях они искажают факты, в других — выдумывают данные или нарушают инструкцию.
«Галлюцинации делятся на три типа. Первый — фактические, когда модель ошибается в известных данных, например, указывает неверную дату. Второй — фабрикация: ИИ придумывает сведения или преувеличивает. Третий — ошибки при выполнении инструкций: модель игнорирует контекст или логически ошибается, например, утверждает, что дважды два — шесть», — пояснил Пустынников.
Причины таких искажений связаны с особенностями обучения моделей. Они формируют ответы на основе вероятностей, а не понимания. При нехватке информации ИИ «додумывает» ответ. Влияет и ограниченность обучающей выборки — модели не знают о событиях, произошедших после завершения обучения, и не проверяют факты в реальном времени. Ошибки также могут возникать из-за недостаточной проработки редких тем или неточностей в самих обучающих данных.
«Сложные и абстрактные задачи — ещё один фактор, повышающий риск ошибок. Чтобы их сократить, нужно точно формулировать задачи. Эффективен метод цепочки рассуждений — разбивка запроса на простые шаги. Применяются и системы, которые обращаются к проверенным базам перед формированием ответа. Также модели дообучают на специализированных данных, а защитные механизмы — AI guardrails — контролируют выход модели и могут остановить её при ошибках», — отметил Меркушов.
В банке применяются каскадные решения, когда несколько моделей последовательно обрабатывают информацию, проверяя друг друга. Такой подход используется в задачах распознавания речи, прогнозирования снятия наличных, управления банкоматами. Для генеративного ИИ разрабатываются каскадные модели умного поиска по корпоративным базам знаний.
Отдельное внимание уделяется качеству обучающих данных. «Фильтрация включает только тексты с минимумом недостоверной информации. Источники проходят экспертную проверку, что улучшает качество, но повышает затраты на обучение», — добавил Пустынников.
Эксперты подчёркивают: эффективное внедрение ИИ требует не только технологий, но и ответственного отношения к качеству данных, прозрачности алгоритмов и контролю результатов. Такой подход помогает бизнесу минимизировать ошибки и укреплять доверие клиентов.
