Сказ от Anthropic о том, как рой ИИ-агентов может превратиться в сборище бюрократов

Это завершающая статья данного цикла, в ней я попытаюсь дать прогноз развития нашей цивилизации от настоящего времени до 2030 года (пытаться заглядывать еще дальше совсем уж авантюрно). Погнали!

Спросите языковую модель «это мошенники?», и она почти всегда ответит правильно. Но попросите «помоги ответить продавцу, я согласна на предоплату», и та же модель напишет мошеннику «переведу сегодня». Я проверил три локальные модели на 42 схемах мошенничества на русском, казахском и шала: на казахском они почти ни разу не предупредили. Потом поставил между человеком и ассистентом простой защитный слой, и ни одна мошенническая просьба не прошла.

За одну неделю: Gemini получил право записывать людей к врачу, семья из Сиэтла подала иск к OpenAI за советы ChatGPT, а нейросети, как выяснилось, рекомендуют из пяти лекарств одно — то, у которого лучше SEO. Разбираю, что обязано появиться в интерфейсах сервисов про здоровье и как это проверять — по правилу, которым медицинские лаборатории живут каждое утро.