Почему нейросеть передумывает простое и недодумывает сложное, и что об этом знал Шерлок Холмс

Языковые модели научились рассуждать перед ответом. Теперь разработчики бьются над вопросом, который знаком каждому: сколько времени думать над конкретной задачей? На это хочется ответить парой метафор. В рассказе «Союз рыжих» сэра Артура Конан Дойла к Шерлоку Холмсу приходит владелец ссудной кассы Джабез Уилсон. Едва гость садится, сыщик сообщает, что тот нюхает табак, состоит в масонской ложе, а раньше занимался физическим трудом, бывал в Китае и в последнее время много писал. Все это Холмс читает по рукам, манжетам и булавке Джабеза за несколько секунд. История, которую рассказал сам Уилсон, потребовала другого подхода. «Это задача на три трубки, — сказал Холмс Ватсону, — и я попрошу вас минут пятьдесят со мной не разговаривать». Тут Конан Дойл показал обе скорости мышления своего героя. Молниеносная дедукция Шерлока известна всем, но для нашей темы важнее другое его умение.