Отслеживаю динамику развития искусственного интеллекта. Вижу, что растут угрозы добираясь до критического размера «черных лебедей». Вот подборка статей и фактов об этом. Серьезные статьи немного разбавил стихами.

Имитация интеллекта

Это, возможно, один из самых недооцененных рисков ИИ-трансформации. Процесс отупения общества шел стремительно еще до появления LLMs, но сейчас этот процесс может ускориться едва ли не по экспоненте.

Для справки: LLM (Large Language Model, или большая языковая модель) — это класс нейросетевых моделей искусственного интеллекта, специально разработанных для понимания, анализа и генерации текстов на естественном языке. Они умеют анализировать контекст, учитывать нюансы и создавать связные, осмысленные ответы, будто их писал человек.

Не прогресс может ускориться, а деградация общества ускорится!

Речь идет о постепенном разрушении самого механизма формирования интеллекта, когда человек получает результат, не проходя путь, который прежде был необходим для приобретения способности насыщения когнитивной глубины.

Репродукцию с картины
С видом древней Палестины
Из какой-то галереи
Бывший труженик музея
Увидал и крикнул внуку,
Что с таким талантом руку
Не встречал на вернисажах
Даже в стенах Эрмитажа.

Интеллект формируется не потреблением правильных ответов, а длительным прохождением через неопределенность, поиск информации и данных, разрешение ошибок и противоречий, причинный анализ и самостоятельную коррекцию собственной модели мира.

Именно поэтому в образовательной среде запрещают списывать. Не столько ради контроля знаний, сколько потому, что готовый ответ уничтожает образовательную функцию задачи, а ИИ – это и есть «намертво привязанная шпаргалка».

Правильный ответ является лишь конечным продуктом этого процесса. Главный результат обучения находится не на бумаге, а внутри сложного биохимического процесса в мозге в виде самостоятельного достижения результата.

Чтобы решить проблему самостоятельно, человек вынужден: понять условия, декомпозировать задачу, вспомнить необходимую информацию (активировать функцию памяти), сформировать гипотезы, выбрать правильный метод, ошибиться, обнаружить противоречие, вернуться назад, пересобрать модель и только затем получить результат.

ИИ способен вырезать практически всю эту когнитивную цепочку.

Технологии и научные прорывы создаются в результате экстремального насилия и невыносимого давления на все функции мозга (сам знаю).

ИИ дает мгновенную кнопку выхода из неопределенности, скорее имитация выхода.

Если этот паттерн становится нормой с детства, может возникнуть интеллектуальная непереносимость усилия, когда человек теряет способность долго удерживать сложную проблему без немедленного вознаграждения.

Без усилия человек никогда не приобретет интеллект, т.е. останется на уровне пограничным с животным.

Самостоятельное понимание затратно (во всех смыслах), тяжело, медленно и психологически неприятно, а правдоподобный готовый ответ дешев, мгновенен и комфортен.

Человечество неминуемо пойдет по пути наименьшего сопротивления, т.е. высокоинтенсивное отупение.

Проблема усугубляется тем, что последствия проявляются с огромным лагом. Общество статистически выглядит умнее за счет замещения задач продуктом ИИ деятельности, но в своей основе стремительно деградирует.

Мышление не запускается в комфорте. Мышление – это всегда стресс, именно поэтому никто не любит думать и панически боится интеллектуальной работы.

Усмехнувшись, внук сказал:
«Это всё ИИ создал.
Он поклонник старой школы,
А рисует для прикола».
В Петербурге и Москве
Дед видал картины Ге,
Но намётанному глазу
ИИ не встретился ни разу.

Нейробиологический процесс обучения требует состояния когнитивного тупика (продуктивной фрустрации). В этот момент в мозге выбрасываются норадреналин и ацетилхолин, фокусирующие внимание на ошибке, после чего через сотни итераций подбора гипотез активируется дофаминовое подкрепление. Этот стресс заставляет кору выстраивать новые синаптические связи. Когда готовое решение выдается мгновенно, фаза поиска и фрустрации обнуляется.

Человеческий мозг склонен путать узнавание с пониманием. Читая логичный, связный и стилистически выверенный ответ модели, человек испытывает ощущение ясности. Возникает феномен «списывания отличника»: списывающему кажется, что раз чужое доказательство теоремы ему понятно в процессе чтения, он владеет предметом. Однако пассивное потребление чужого структурированного вывода задействует лишь зоны распознавания образов, оставляя префронтальную кору в режиме функционального покоя. Навык конструирования мысли распадается, подменяясь навыком поверхностного серфинга по готовым концептам.

Способность решать нетривиальные задачи прямо пропорциональна числу сущностей и ограничений, которые человек способен удерживать в голове одновременно.

Перекладывая декомпозицию, сопоставление и структурирование данных на интерфейс ИИ, человек сужает собственную рабочую память до длины единичного запроса, разрушая весь мыслительный процесс.

Человек разучивается удерживать сложные, противоречивые причинно-следственные связи, превращаясь в оператора простых триггеров.

Становление эксперта в любой дисциплине подчиняется закону кумулятивного накопления скрытого опыта. Высококлассный эксперт не возникает непосредственно из университета, а является результатом решения тысяч типовых задач от начала и до конца, разрешения тысяч ошибок и пограничных ситуаций, и многолетнего накопления неформализованного опыта.

Невозможно вырастить эксперта, исключив путь, по которому формируется экспертиза.

Это значит, что по мере выхода зрелого поколения экспертов (по возрасту или в связи с отупением), новых экспертов не появится, как минимум, в сопоставимом количестве.

Раньше интернет позволил вынести наружу память: человеку уже необязательно было помнить информацию, достаточно знать, где ее найти. LLMs идут намного дальше, вынося наружу не только память, но и поиск, анализ, синтез, аргументацию, планирование и даже формирование причинной модели.

Возникает принципиально новая ситуация: человечество впервые получает возможность пользоваться интеллектом, не приобретая интеллект.

Человек задает сложный вопрос, получает великолепно структурированное объяснение, понимает (или скорее думает, считает, что понимает, да и то не всегда) каждое предложение и принимает понимание текста за собственное понимание проблемы. Но если убрать ИИ и попросить самостоятельно воспроизвести причинную конструкцию, изменить исходные предпосылки или найти ошибку, внезапно выясняется, что интеллект существовал только в момент подключения к внешней системе.

ИИ экономит текущие человеко-часы, одновременно потенциально уничтожая инвестиции в будущую компетентность.

Получается парадоксальная ситуация: текущая производительность во многих областях растет, а скорость накопления человеческого капитала снижается, причем стремительно и неотвратимо.

Внук ответ свой упростил
И подробно объяснил,
Что Интеллект Искусственный
Теперь везде присутствует,
Нарисует и споёт,
Но не курит и не пьёт,
Без работы нас похоже
Навсегда оставить может,
Не затронув в жизни личной
Только вредные привычки.

Грубо говоря, при отключении доступа к ИИ, уже совсем скоро человечество превратится в тупых зомбарей, не способных решить ни одной, даже самой элементарной задачи.

Однако, отупение приводит к тому, что человечество утратит возможность верифицировать, контролировать, корректно воспроизводить результат работы ИИ, полностью оголяя свою непробиваемую некомпетентность.

Если субъект не прошел путь формирования знания снизу вверх, он лишен инструментов внутренней валидации. Для него истинно то, что выдает авторитетный алгоритмический оракул.

Общество входит в эпоху тотальной внушаемости, неспособное решать ни одной существенной задачи, теряя способность к контролю, управлению, осмыслению, рефлексии и формулировке сложных вопросов.

Это и есть полная катастрофа с далеко идущими последствиями.

Источник.

Некоторые эксперты, например математик Алексей Савватеев, предлагают использовать термин «имитационный интеллект», подчёркивая, что речь идёт об алгоритмах, а не о самостоятельном мышлении. Они отмечают, что ИИ может быть мощным инструментом для решения прикладных задач, но не способен заменить человека в фундаментальных научных открытиях.

Восстание машин

Исследователь Anthropic уволился из-за опасений, что ИИ выйдет из-под контроля и уничтожит человечество.

Джейкоб Коксон боится, что технологические корпорации разрабатывают системы, которые не смогут контролировать. Он ушёл из компании, так как не хочет участвовать в гонке по созданию ИИ-систем, способных самостоятельно совершенствоваться.

Ранее Коксон перешёл из OpenAI в Anthropic (последняя известна своими усилиями в области безопасности ИИ). Однако теперь он считает, что ни одна компания не способна ответственно разрабатывать искусственный интеллект.

«Мы движемся к наиболее агрессивным сценариям, при которых уже к концу следующего года ситуация может выйти из-под контроля», — приводит WSJ слова Коксона.

Один из крестных отцов ИИ, Джеффри Хинтон, ранее заявил: потеря контроля над искусственным интеллектом может привести к исчезновению человечества.

В качестве резюме здесь и выше фрагменты стихотворения Владимира Смирнова:

И ответил дед тогда:
«От ИИ придёт беда,
Потому что жить ребята
Очень трудно без зарплаты»