Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой

Внедренца ИИ ждёт молот руководства сверху и вилы сотрудников снизу. Почему инструкции и тулзы не работают, пока не продана сама идея перемен — и при чём тут конвейер зарабатывания денег?

Продолжаем обзор GISDAYS. 2 октября состоялся третий, бизнес-день форума. В его фокусе были прикладные сценарии защиты бизнеса: от риск-менеджмента до реагирования на инциденты. Также участники обсудили поиск решений для защиты государства, бизнеса и критической инфраструктуры от уязвимостей, утечек данных, шифровальщиков и других угроз. В предыдущей части мы начали рассказывать вам, как проходил бизнес-день мероприятия, а сегодня завершим его обзор и представим другие не менее интересные выступления экспертов (любое из заинтересовавших вы можете просмотреть целиком).

Есть такая работа — несколько лет подряд считать рейтинги российских промышленных компаний по открытым данным. В последний год я всё чаще вижу один и тот же тип кейса: у компании уходит вендор, а готового продукта на замену просто нет. С рецептурами масел у «Газпром нефти» было именно так — покупать было вообще не у кого, потому что такого продукта никогда не существовало. Разбираюсь, как компания построила свою нейросеть «Алхимик» и что это меняет для остальной отрасли. Узнать рецепт