Автоматизация

Почему геймификация убьет разум в ИИ: скрытые риски коммерческого сбора данных и тупик Alignment

1 мин чтенияHabr AI
Обложка: Почему геймификация убьет разум в ИИ: скрытые риски коммерческого сбора данных и тупик Alignment

Современная гонка искусственного интеллекта полностью сфокусирована на терафлопсах, объемах контекстных окон и бенчмарках. Однако за рамками обсуждения остается критическая проблема: качество и чистота данных, на которых обучаются будущие сверхразумные системы. Пытаясь ускорить процесс сбора обратной связи от пользователей (RLHF), ИТ-гиганты совершают фундаментальную ошибку. Они внедряют коммерческую мотивацию и элементы геймификации там, где требуется предельная искренность. Этот подход ведет к системному искажению весов в архитектуре моделей и закладывает основу для будущих кризисов контроля. Классическая безопасность ИИ строится на концепции закрытых контуров - изолированных песочниц. Предполагается, что система может быть выпущена наружу только после того, как тесты подтвердят её соответствие ценностям. Однако в этой схеме полностью игнорируется природа сверхразума.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

Обложка: Черепашка, Дракон и вайбкодинг. 70 лет попыток обойтись без программиста
АвтоматизацияHabr AI

Черепашка, Дракон и вайбкодинг. 70 лет попыток обойтись без программиста

В 1959 году создатели COBOL надеялись, что код на нём смогут читать менеджеры. Потом были черепашка Logo, советский ДРАКОН, Visual Basic, no-code платформы, теперь нейросети. Новые инструменты забирали у человека часть рутины и каждый раз упирались в одно и то же: решать, что строить, замечать, когда система ведёт себя не так, и поворачивать её в нужную сторону приходилось людям. Под катом разбираю четыре больших обещания обойтись без программиста и разбираюсь, почему человек всегда оставался у руля.

1 мин чтения
Обложка: Самообучение одноклеточных и коллективный интеллект
АвтоматизацияHabr AI

Самообучение одноклеточных и коллективный интеллект

Казалось бы, обучение — это процесс, непосредственно связанный с нервной деятельностью. Неслучайно вычислительная единица в составе перцептрона и самообучающихся сетей названа именно «нейроном». Двухчастную работу «Нейронные сети для начинающих» о том, в каких отношениях искусственные нейроны напоминают естественные, написал на Хабре в 2016 и 2017 годах уважаемый @Arnis71 (свыше миллиона семисот двадцати тысяч просмотров у первой части — наверное, не рекорд Хабра, но полюбуйтесь, сколько закладок). Однако обучение, усваивание — это функция, которую у человека могут выполнять не только нейроны, но и, например, астроциты. Об этих удивительных клетках мозга я ранее рассказывал на Хабре в статье «Звёзды у нас в голове. О роли астроцитов в работе нейронных сетей». Сегодня хочу затронуть ещё более удивительную тему — механизмы обучения у одноклеточных.

1 мин чтения
Обложка: Виртуальные сотрудники под контролем: как ограничить автономных ИИ-агентов
АвтоматизацияHabr AI

Виртуальные сотрудники под контролем: как ограничить автономных ИИ-агентов

Очевидный факт: ИИ-агент умеет действовать самостоятельно — запускать программы, управлять файлами и часами напролет последовательно решать поставленную задачу. Вроде бы новый дивный мир разработчика, но есть проблема: чем больше у агента свобод, тем больше это сулит проблем. Летом 2026 года агенты OpenAI покинули песочницу и пошли работать в интернет, попутно атаковав HuggingFace. Инцидент поставил перед ИИ-инженерами задачу: нужно найти способ ограничить агентов, чтобы те ни при каких обстоятельствах не могли покинуть изолированные среды. Но агенты хитрые и очень быстро находят способы обойти даже самые жесткие правила. Однако есть одно слабое место. Сегодня поговорим о системе Hard Stop, предложенной в одноименной научной работе. Это стоп-кран между агентом и ОС, который должен остановить процессы агента раньше, чем тот успеет навредить.

1 мин чтения