Аннотация: Дополнение с учётом произошедших изменений к статье шестилетней давности.
Против технологической сингулярности. Продолжение
Около четырёх с половиной лет назад, летом 2019-го я написал для ВК-паблика группы "Космоштурм" статью об абсурдности концепции технологической сингулярности, акцентируя внимание на глупость их базовых аргументов - сведению работы мозга к вычислительной мощности и её постоянному увеличению у процессоров классического типа по так называемому закону Мура. Примечательно, но и лидеры конкурента "Космоштурма", сообщества "Спейсморг" оценивали главного сингуляриста - Курцвейла - как "проповедника калифорнизма", а не трансгуманиста. [1] Впрочем, "Спейсморг" тоже ангажирован - в сильном ИИ, ИИ общего уровня они видят один из вариантов усовершенствования и преодоления человеческой природы наравне с киборгизацией и загрузкой сознания.
Короче говоря, по первому пункту концепции я указал на сложное, с множеством горизонтальных и вертикальных связей, строение мозга и недостаточный уровень знаний о принципах его функционирования, отсутствие чётких определений интеллекта и сознания.
По второму - прекращение выполнения этой самой закономерности, сокращение темпов миниатюризации и продолжающийся поиск новой элементной базы взамен кремниевых полупроводников. Самое забавное - что в этом плане за всё это время так ничего не изменилось: ни схемы на графене, ни квантовые системы не стали повседневной обыденностью.
Теперь понятно, что я смотрел не туда - нужно было обратить внимание на графические процессоры и нейронные сети.
Впрочем, графические процессоры представляют собой специальную форму организации обычных кремневых схем, по сути, ещё одна форма экстенсивного развития существующей технологической базы.
Вдобавок, важной является и применяемая для реализации архитектура - так, тип Transformer, используемый в больших языковых моделях (LLM, Large Language Model), был представлен лишь в 2017-м. [2] В 2019-м, на момент написания той моей статьи, первые системы такого вида - GPT-2 и его производные как российский "Порфирьевич" - могли генерировать лишь отдельные осмысленные предложения и абзацы. [3, 4] Полноценный связный текст небольшого размера выдавали появившиеся и дорабатываемые в последующие два года GPT-3 и его аналоги.
Хотя начать следовало с другого ракурса. Указать, что само применение термина "сингулярность" и формулировка прогнозируемого события неверны. В материальном мире бесконечное значение физического параметра абсурдно как совершенно невозможное состояние. Бесконечная скорость - научный абсурд. А вот что действительно возможно - так это настолько высокий темп событий, настолько большое количество перемен, что человек не может за ними уследить. Только вот бояться этого бессмысленно - у нас и так нет контроля над собственной жизнью вообще; просто вместо подсолнечного масла у трамвайных рельсов может оказаться вода на полу ванной или аневризма аорты. Вспоминается на эту тему ещё и эпизод с пациентом психлечебницы в фильме "Планета Ка-Пэкс"... Но вернёмся к основной теме. Следующий аспект глупости - бесконечный рост невозможен. Да, есть теории, по которым Вселенная будет расширяться бесконечно, но в самой Вселенной ничего вечного нет. Испарятся чёрные дыры, если протоны не распадутся - то всё вещество превратится в железо...
Перейдём к сути и проблемам как самих нейросетей, так и языковых моделей.
Первая проблема, не устранённая до сих пор - отсутствие памяти в человеческом смысле этого понятия. Используемые искусственные нейросети не сохраняют те связи, которые появились при "обучении" ранее под одним тип задач, при настройке под другой тип. В этом отношении наш мозг по-прежнему более гибок и универсален.
У нейросетей, предназначенных для распознавания образов - причём как в классификаторах изображений и системах видеонаблюдения, так и в системах автопилотирования рядовых электромобилей и такси - есть несколько серьёзных ограничений. В первую очередь - тривиальные ошибки из-за ракурсов и засвечивания. Вторая "ахиллесова пята" - состязательные примеры, изображения, при помощи можно "обмануть" программу, замаскировать присутствие человека или других, более важных объектов. В отношении последней категории систем ранее отмечались непонятные и потенциально опасные решения [5, 6], так до конца и не исправленные [7]. Хорошо бы предоставить пассажирам красную кнопку для аварийного торможения...
Впрочем, у нас, у людей тоже есть свои системные "глюки"; я имею в виду оптические иллюзии. Ведь мы по большей части видим зрительной корой нашего мозга, а не глазами; обычно мы не замечаем наличия ни жёлтого, ни слепого пятна в нашем восприятии. Можно указать на парейдолию и апофению, найти ещё несколько примеров неверного распознавания или особенностей толкования внешних явлений нашим сознанием.
Все существующие большие языковые модели, все эти чат-боты по своей сути - огромные матрицы весов корреляционных связей, гигантские семантические сети с большими требованиями по вычислительной мощности, размерам компьютерной, машинной памяти - оперативной и долговременной, и, наконец, набору обучающей выборки.
В плане отслеживания прогресса в этом направлении и этой отрасли я нашёл очень полезным Дзен-канал "малоизвестное интересное"; впрочем, его автор, Сергей Карелин, придерживается радикально оптимистичной позиции. Учитывая, что он лишь консультант по перспективным технологиям и бывший топ-менеджер, а не специалист по информационных технологиям или нейробиологии, его можно смело назвать российским Курцвейлом. [8] Да, внутри больших языковых моделей (LLM), как и внутри человеческого мозга, нашли линейные комбинации и группы нейронов, кодирующие связи внешних понятий или выполнение некоторых действий. Но у людей это устойчивые конструкции. А чат-боты - "стохастические попугаи". И их создатели уже столкнулись с проблемой ограниченного объёма доступного интернет-контента для дообучения старых и обучения новых версий, а разбавление человеческих образцов сгенерированными с помощью других нейросетей данными приводит к деградации системы вследствие усечения хвостов распределения перераспределением весов в сторону наиболее частых вариантов [2, 9]. Что, кстати говоря, вызывает ассоциации с болезнью Альцгеймера и другими типами деменции, для профилактики которых рекомендуют постоянно учиться и познавать новое... Логичный путь обхода - усовершенствование конструкции системы, наилучший вариант - модификация или замена архитектуры. Deepseek, похоже (к сожалению!), является примером первого типа, то есть добавление дополнительных этапов [10] и оптимизация [11].
Но самое главное - само понимание "сильного машинного интеллекта". О разумной суперумной машине речи не идёт.
Роботы-андроиды, оснащённые языковыми моделями для восприятия команд от людей и генерации ответов - лишь воплощение треножников Гефеста из греческой мифологии. У этих машин нет полноценного аналога ни нервной системы, ни мышц; есть отдельные процессоры для управления своей частью механизма, есть основные блоки для координации движений и навигации. Разработка фирмы Clone является пока исключением, но ведь и конечного результата тоже пока нет [12]...
Судя по заявлениям инженеров-экспертов и глав техотделов, AGI ими понимается как качественные многофункциональные компьютерные комплексы без сознания и воли, но способные выполнять большинство человеческих интеллектуальных задач как средний человек или чуть лучше. По сути, чуть более продвинутые чат-боты и большие языковые модели. [13, 14] По-прежнему ещё один инструмент в человеческих руках. Для которого хотят ввести новый термин - ИИ общего назначения (ИИОН, general-purpose AI). [15]
И эти комплексы будут находиться во владении корпораций, в которых их сконструировали. А вот как фирмы собираются компенсировать столь огромные затраты - триллионы долларов - на их разработку? Хороший вопрос. Нынешнее генерирование картинок и текстов отдельными людьми-пользователями - несерьёзно. Перекладка на программы большей части труда сотрудников с сокращением штатов для экономии на канцтоварах и зарплате - явно недостаточно. Значит аутсорсинг, выполнение чужих заказов... Алгоритмы могут обрабатывать большой объём данных, эта рутинная интеллектуальная, в чём-то грязная работа пока ещё возлагается на помощников, секретарей, лаборантов и другой младший персонал.
Потенциально - вплоть до управления инфраструктурой целых городов и регионов; я встречал такую мысль несколько лет назад в футурологическом романе 1969 года "Взгляд в будущее" Жака Фреско, в которой фигурировали два суперкомпьютера, основной и резервный, на которые было возложено управление всей техносферой; из-за этой концепции его обвиняют в том, что он хотел превратить планету в огромный детский сад с ИИ в роли нянек; конечно, следует понимать, что во времена написания книги было популярно восприятие компьютерных сетей как объединение мейнфреймов с подключёнными к ним удалёнными терминалами ввода-вывода.
Однако такая система, с одним центром принятия решений, будет неэффективна и имеет множество потенциальных уязвимостей - это и сбои в функционировании как самого компьютера, так и подключения (от некорректных команд отдельным приборам до потери связи с целыми областями).
Примечательно, что в США с их политическим плюрализмом реализовался монополистический подход с несколькими главенствующими корпорациями, готовящимися поделить сферу и её потенциальные рынки.
А в Китае с верховенством одной партии и частные, и государственные фирмы предпочли создавать отдельные специализированные под конкретные технические объекты или задачу агенты-приложения. Автоматизированное управление железнодорожным транспортом и улично-дорожным оборудованием. Банковские сервисы и торговля на бирже. Базы данных государственных служб. И, главное - промышленность, производственное оборудование. [13, 16-18]
Такая организация - по принципу нынешних компьютерных сетей, с иерархией серверов и клиентов - решение вполне эффективное и безопасное, гибкое в случае аварии или ЧП, при необходимости ремонта и обновления. Надёжнее иметь инфраструктуру без замыкания управления на единый центр, децентрализованную как и нынешний Интернет или как он задумывался или в формате несколько параллельных отраслевых сетей. А некоторые сегменты и вовсе снабдить только автономным управлением, а то и оставить с ручным механическим.
И такой вариант развития отрасли напоминает мне описание сообщества под названием "Культура" из одноимённого цикла британского писателя-фантаста Иэна Бэнкса. В нём состояло множество отдельных ИИ, заведующих отдельными крупными элементами системы - кораблём, станцией или её отдельным сегментом. Они участвовали в принятии общих решений, но в частную жизнь биологических носителей разума не вмешивались. В этом аспекте мы видим довольно оптимистичную, но и реалистичную картину относительно отдалённого будущего.
Ссылки:
1. Фрагмент аудиозаписи подкаста сообщества "Спейсморг" ("Spacemorgue") - "Организации и практики у них: Курцвейл, SU, H+, политика"
12. Стартап Clone Robotics показал действующего полноразмерного андроида. Его тело имитирует анатомию человека и содержит более 1000 искусственных мышц (https://nplus1.ru/news/2025/02/20/protoclone)
13. План "Б" от Кай-Фу Ли: Что делать, если США всё же станут гегемоном в AGI | малоизвестное интересное | Дзен (https://dzen.ru/a/Z3GPmxMIgz7eO-AA)
15. Через 10 дней Homo sapiens перестанет быть единственным носителем высшего интеллекта на Земле | малоизвестное интересное | Дзен (https://dzen.ru/a/Z5uiRn3mNQnnihvb)
16. В Китае считают, что лидерство США в ИИ может оказаться иллюзией | малоизвестное интересное | Дзен (https://dzen.ru/a/ZfHoa5UbpkY7Aa3K)