Американские ученые выяснили, что распространенный прием работы с большими языковыми моделями дает обратный эффект в зависимости от типа задания. Исследователи из Университета Южной Калифорнии (USC) протестировали влияние персонификации – подсказок, предлагающих нейросети принять роль эксперта – на качество ответов. Результаты показали, что такой подход не универсален.
В ходе эксперимента модели получали инструкции в духе «Вы – опытный программист» или «Вы – эксперт в области машинного обучения». При решении задач, связанных с предварительным обучением, включая математические вычисления и написание кода, точность ответов падала. Без указания роли нейросеть справлялась с такими заданиями в 71,6% случаев. Когда модель «назначали» специалистом, показатель снизился до 68%.
Противоположная закономерность проявилась в задачах на генерацию текста и в сценариях, требующих обеспечения безопасности. Здесь персонификация дала прирост качества на 17,7 процентного пункта: точность поднялась с 53,2% до 70,9%.
Авторы работы объясняют этот феномен особенностями работы алгоритмов. Установка роли активирует в модели режим строгого следования инструкции, что подавляет механизмы извлечения фактических знаний из обучающих данных. Вместо поиска решения нейросеть ориентируется на заданную идентичность.
Ранее сообщалось, что российская Алиса AI обошла китайскую DeepSeek по количеству загрузок в магазинах приложений.
Источник: The Register
