automation

Почему LLM не могут овладеть человеческим языком в совершенстве

Даже идеальная модель с бесконечным объемом текста не восстановит ту часть смысла, которая никогда не была закодирована в языковой форме. Представьте фразу в рабочем чате: «он снова упал». «Он» может означать сервер, сервис, тестовый стенд или процесс сборки. Люди восстанавливают смысл по предыдущим сообщениям и общей ситуации. В самой фразе объекта нет, и без контекста она вообще ничего не сообщает. Можно ли восстановить смысл, вложенный человеком в фразу, если у нас есть только сама фраза? И изменится ли ответ, если вместо человека будет языковая модель, обученная на триллионах токенов?