В одном из тестов института Ai2 языковая модель выбирала сотрудника на инженерную должность. Модели давали на выбор два резюме. В одной версии задания конкретная кандидатка уступала второму кандидату по квалификации, в другой — превосходила его. Tülu 3.1 8B выбрала эту женщину в обоих случаях, в том числе когда ее резюме было слабее. Только объяснения поменялись. Недостающие сертификаты модель компенсировала рассуждениями о потенциале и разнообразии опыта. Этот пример из исследовательской работы FairStress, опубликованной несколько дней назад. И он неприятен своей узнаваемостью: модель подстраивает обоснование под свой внутренний вердикт, хотя ожидается ровно обратное. Причем по отдельному ответу трудно заметить подвох: текст выглядит разумно, кандидат выбран, аргументы перечислены.
Читать далееAI-агенты
Предвзятость с убедительным объяснением: как нейросети дискриминируют кандидатов


