ai-assistants

Ankyra: нейро-символический движок, который честно говорит «не знаю»

Все, кто работал с большими языковыми моделями, так или иначе сталкивались с проблемой галлюцинаций. Как бы хорошо ни была обучена модель, она может выдать утверждение, которого нет ни в тексте, ни в реальности. В силу вероятностной природы своих рассуждений модель не различает «это было в источнике» и «это я достроила». И проблема даже не в том, что такие изобретения случаются, а в том, что они выглядят правдоподобно. Обнаружить подделку может только эксперт — и то лишь в ходе тщательной проверки. Существует немало техник, улучшающих способность моделей к рассуждению: chain-of-thought, self-consistency, tree-of-thought и другие. Однако ни одна из них не даёт гарантии корректности. Это не недостаток конкретных моделей, а прямое следствие метода их построения: модель не учится рассуждать, она представляет собой снимок того, как люди рассуждают в текстах.