Почему нейросети ошибаются и как это исправить
Фото Владимира Смирнова
Российские эксперты назвали ключевые способы борьбы с галлюцинациями нейросетей – генерацией текста, который выглядит правдоподобно, но содержит вымышленные факты, неточные данные или ссылки на несуществующие источники. Подобные ошибки способны не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса.
Для предотвращения искажений информации со стороны ИИ важно понимать и учитывать и характер самих ошибок.
– Есть фактические галлюцинации, когда модель выдает проверяемую информацию с ошибками: например, указывает неправильное имя изобретателя или дату события, либо создает несуществующую связь между объектами. Есть фабрикация фактов, когда нейросеть просто придумывает данные, которые невозможно подтвердить, либо преувеличивает их значение. И отдельная группа – галлюцинации при следовании инструкциям: модель может выполнить другую операцию вместо заданной, не учесть контекст или допустить логические ошибки, например, утверждать, что дважды два равно шести, – рассказал Алексей Пустынников из ВТБ
Причины возникновения ошибок связаны с особенностями обучения и работы языковых моделей. Они формируют ответы на основе вероятностных связей в данных, а не на понимании фактов, поэтому при нехватке или противоречивости информации стремятся «додумать» ответ.
– Чтобы снизить такие ошибки, мы рекомендуем использовать несколько подходов. Один из них – продуманная постановка вопросов и инструкций для модели, чтобы она лучше понимала задачу. Еще один способ – так называемая цепочка рассуждений, когда сложный запрос разбивают на простые шаги. Часто применяют и специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучают на данных из конкретной области, чтобы они лучше понимали термины и нюансые, – подчеркнул Лев Меркушов, руководитель направления разработки ИИ-решений.
Материал предоставлен пресс-службой Банк ВТБ (ПАО).
