В России разработали алгоритмы для выявления "галлюцинаций" ИИ-систем

Специалистами Московского государственного психолого-педагогического университета (МГППУ) были разработаны алгоритмы и программные инструменты, которые помогают эффективно определять признаки «галлюцинаций» у больших языковых моделей. Это обозначает те случаи, когда модель предоставляет правдоподобные, но фактически неверные ответы. Об этом стало известно из сообщения, которое поступило в ТАСС от пресс-службы вуза.

Как пояснили в университете, учёные МГППУ создали алгоритмы и программное обеспечение, которые способствуют проверке точности содержательных ответов интеллектуальных помощников. Эти инструменты также позволяют генерировать запросы, основанные на предоставленной аннотации ответа, что автоматизирует деятельность промпт-инженеров.

Для анализа языковых моделей авторы предложили использование двух алгоритмов:

1. первый из них специализируется на подборе запросов,
2. в то время как второй занимается оценкой правдоподобности предоставляемых утверждений.

Новый подход основывается на представлении запросов и ответов как компонентов специализированных метрических пространств, где расстояния между текстами определяются посредством семантического сходства. Количественная оценка различий между текстами позволяет формализовать их «смысловую близость», что готовит базу для применения методов статистического анализа.

Согласно мнению авторов, полученные результаты могут представлять значительный интерес для программистов и математиков, занятых в области работы с большими языковыми моделями.