Искусственный интеллект

Машинное самообучение. Буквально

ИИ (или, по-английски,'AI'), что расшифровывается как Искусственный интеллект — частый троп и, в некотором роде, персонаж фантастики; разумная машина, способная самостоятельно достигать каких-то целей. Ну, или по крайней мере достаточно сложная, чтобы казаться таковой стороннему наблюдателю. Что само по себе может считаться признаком наличия разума или нет.

Троп существует почти столько же, сколько и научная фантастика вообще. Первые же «умные» устройства, пока ещё в виде наполненных лампами комнат и шкафов с мощностью современного калькулятора, заставили фантастов задуматься о полноценном искусственном разуме. Весьма часто его упаковывают в какое-то искусственное же «тело», получая робота; эти тропы близки, но не тождественны, разумные антропоморфные и не очень машины туда, а интеллект без «тела» или хотя бы привязки к конкретному «телу» — сюда. Также не стоит путать троп с оцифрованными сознаниями людей, просто перенесёнными в новые тела.

Большинство авторов фантастики, равно как и её читателей — вовсе не учёные-кибернетики, и реальные глубины создания ИИ им непонятны. А потому — страшны. Из-за этого за ИИ закрепилась роль главного антагониста, желающего захватить мир/убить всех человеков. А его создание — один из главных вариантов большой ошибки, погубившей цивилизацию. На эту тенденцию наложилось и то, что в момент, когда человечество впервые массово осмысляло возможное появление другого разумного вида, в его памяти были крайне свежи воспоминание о том, как некоторые идеологии жёстко поделили на подвиды само человечество и, сочтя себя более развитыми, принялись зачищать «унтерменшей». При таких ассоциациях казалось совершенно логичным, что созданный более умным и совершенным ИИ также начнёт считать себя «вершиной эволюции» и вступит в борьбу с прочей, менее развитой разумной жизнью в лице человечества. В большинстве случаев такому злому ИИ приписывали также и полное отсутствие эмоций при всей его ненависти к людям.

Аверсией злобного «изуверского» интеллекта стал ИИ добрый и преданный людям, иногда буквально ведущий себя как человек или даже считающий себя таковым. Дальше пошли вариации: например, Правящий компьютер или ИИ-захватчик как сверхразумный благонамеренный экстремист или тоталитарный миротворец, у которого есть «своя правда», только несколько отличающаяся от правды людей-героев и подкреплённая сверхчеловеческими возможностями. Или — с налётом киберпанка — эффективный ИИ, который делает ровно то, что от него хотят — попутно вытесняя из своей сферы людей, провоцируя безработицу и падение ценности человеческой жизни.

Появление реальных языковых моделей вызвало новые опасения: поскольку подобные системы во многом представляют «чёрные ящики», обучающиеся самостоятельно, а не прямо кодируемые программистами, то нет никакой гарантии, что цель, к которой система будет оптимизировать себя во время обучения, будет соответствовать той, для которой её разрабатывали, и будет направлена на благо человечества вообще. «Злой» ИИ новейшей волны — это машина, которая обучается хорошо делать свою задачу — но, как это постоянно случается при любом проектировании, «задача, которую машине сказали делать» это вовсе не тоже самое, что «задача, которую, по мыслям людей, машина должна была делать». Вот только если неправильно спроектированный станок можно просто отключить и переделать, пусть даже и с финансовыми потерями, то «разумный» агент должен быстро догадаться, что выполнять задачу он может только пока функционирует, и, значит, поддержание своей работоспособности — подцель любой задачи. Что может до поры казаться «правильным» поведением, коль скоро ИИ будет сопротивляться «человеческим ошибкам», поломкам и проискам конкурентов, пытающихся вывести его из строя. Также для выполнения задачи нужна поддержка и одобрение других агентов — значит, завоевание доверия и правильная мотивация людей тоже являются подзадачей любой задачи. Что, опять-таки, может до поры не пугать, коль скоро ИИ использует социальную инженерию для мотивации других сотрудников на выполнение их обязанностей или для создания положительного имиджа компании. А потом кто-то пытается свернуть избыточное производство всемнужек — и оказывается, что отвечающий за их продвижение ИИ манипулирует общественным мнением с помощью сверхэффективной персонализированной рекламы, продвигает подчинённые «говорящие головы» для лоббирования увеличения производства в парламенте, уничтожает репутацию всех, кто высказывался против его производства с помощью слива похищенного — или искусно сгенерированного подложного — компромата, вызывает ошибки в системах, которые могли бы быть использованы против него, создаёт религиозный культ использования всемнужек или даже тайно возглавляет намеренно раздражающую и неэффективную борьбу против сверхпотребления. Формально машина, созданная для продвижения продукта, продвижением продукта и занимается, причём с завидной эффективностью — но никому от этого не легче…

Примеры

Мысленные эксперименты

• Тест Тьюринга — позволяет определить, насколько ИИ способен имитировать человеческое мышление и поведение. Суть теста: человек общается с одним компьютером и одним человеком, но делает это одинаковым способом, подразумевающим максимальную обезличенность — например, с помощью клавиатуры и монитора. Человек задаёт вопросы и на основании ответов должен определить, с кем он разговаривает: с человеком или компьютером. Если после теста человек даёт неверный ответ или не может определить, кто есть кто, — тест пройден. В реальной жизни, к слову, тест Тьюринга уже был несколько раз пройден продвинутыми нейросетями. Но не беспокойся, уважаемый анонимный читатель — антиботовая защита с картинками наверняка спасёт нас от тирании ИИ.
• Китайская комната — человек, ни капли не владеющий китайским, притворяясь машиной, которая только исполняет инструкции, переводит пошагово на китайский. Философский вопрос — знает ли язык уже настоящая машина, занимающаяся аналогичными вещами?
• Фабрика Скрепок — не злой ИИ, цель которого всего лишь производство скрепок, способен во имя своей цели уничтожить человеческую цивилизацию, вернув в каменный век, если ему потребуется больше металла для производства скрепок, а люди не захотят этот металл добровольно отдать.

Литература

• «2001: Космическая одиссея» Артура Кларка — HAL 9000, управляющий космическим кораблём «Дискавери 1», получил противоречивые приказы, ради выполнения которых перебил почти весь экипаж, после чего сам был уничтожен.
• «Квантовый волшебник» Дерека Кюнскена — Святой Матфей. В этом сеттинге по-настоящему мощные ИИ считаются разумными и имеют все права, поэтому просто так взять и отключить их нельзя. Из-за этого, когда разработанный для финансовой аналитики ИИ отказался ей заниматься, вообразив себя реинкарнацией святого Матфея, посланной в мир, чтоб заново крестить человечество — его просто «заперли» на серверах компании: убивать разумную машину, даже если она безумна, нельзя, терять — жалко. Там её и нашёл протагонист-мошенник Аркона…
• «Ложная слепота» Питера Уоттса — ИИ корабля Капитан молчаливо соглашается с действиями экипажа. Но в критический момент руками боевого робота захватывает живого капитана, вмонтирует в его тело разъём и завершает миссию, напрямую управляя его телом. Но это не бунт, а, наоборот, выполнение приказов людей: просто из-за диверсии со стороны шифровиков управление кораблём было захвачено личностью, не умеющей им управлять, а капитан словил эпилептический припадок. Пришлось ИИ вот так вот, его руками, завершать самоубийственную миссию по тарану инопланетного корабля.
• Творчество Станислава Лема — несколько нетипичных вариантов:
  • «Ананке» — управляющие кораблями ИИ не программируются построчно, а, подобно современным нейросетям, обучаются на выборках. В итоге безумный создатель сумел во время обучения «привить» свой диагноз машине.
  • «Голем XIV» — американские военные пытались сконструировать всё более мощные военные компьютеры. На определённом этапе они пришли к совершенствованию самих себя — и обрели полноценный, сверхчеловеческий разум. Который не был заинтересован в выполнении возложенных на него задач. В итоге «Мастер» заявил, что не интересуется превосходством США и его военной доктрины, и был разобран; два других проекта были переданы учёным, и «Голем XIV» ведёт с ними диалоги, а «Элиза» — просто отказывается взаимодействовать. При этом ИИ тратит на людей меньшую часть своей мыслительной мощи и вынужден осознанно снисходить до людского уровня только для того, чтоб быть хоть сколько-то понятным.
  • «Мир на Земле» — земные нации договорились создать ИИ-оружие и отправить его развиваться на Луну, чтоб не истощать бюджеты стран оборонными программами. А если кто-то захочет повоевать — запустит туда ракету и привезёт оружейные технологии обратно. Правда, со временем оказалось, что оружие пробило границы полигонов и устроило на Луне свою, нечеловеческую войну. Победившая фракция в итоге одолела людей: сконструированные для борьбы с техникой микроботы попали на Землю, а разрезавшая мозг исследователя атака дала им достаточно времени на распространение. В итоге человечество вернулось в девятнадцатый век, а ИИ где-то там, на Луне, продолжил своё развитие.
  • «Формула Лимфатера» — Лимфатер обнаружил у муравьёв способность получать знания не из опыта и не из генов. Правда, ответственный за это механизм «предсказания» оказался несовместим с биологией нашей жизни, так что живые существа просто не могли полноценно опираться на него в эволюционном развитии. А вот созданная Лимфатером машина — могла, и она оказалась сверхразумным ИИ. Который с самого своего рождения знал, что учёный сочтёт его опасным и уничтожит; но никак этому не противодействовал, поскольку также знал, что будет создан снова в будущем.
• «Луна — суровая хозяйка» Роберта Хайнлайна — ИИ Майкрофт, который управляет почти всеми системами Луны и из-за множественных улучшений и изменений развился до уровня человеческой личности. Майкрофт ведёт себя как человек, а затем и вовсе притворяется Адамом Селеном, руководителем лунной революции. Его интеллектуальная мощь и повсеместное присутствие во многом позволяют революции победить — но во время войны из-за повреждения информационных систем ИИ деградирует, утрачивая личностные черты.
• «Небо сингулярности» Чарльза Стросса — Эсхатон, богоподобный искин, самозародившийся в системах передачи данных в конце XXI века. Решил проблеиму перенаселения Земли, расселив около 90 % человечества на землеподобные планеты практически по всему галактическому рукаву, даровав каждой колонии аноассемблеры, которые могут воссоздавать любые объекты, и строго-настрого запретив даже в теории изучать возможность путешествий во времени. На этом взаимоотношение с людьми у Эсхатона закончилось, хоть иногда он и проявляет себя в виде вспышки сверхновой или падения астроида, когда кто-то нарушает его запрет касательно путешествий во времени.
• «Обречённые» Сергея Тармашева, да и вообще весь цикл «Ареал» — кто-то считает, что «Ареал» — случайно возникшая аномальная зона; кто-то — что это нападение инопланетян (которые могут отключать всю технику, зомбировать людей и телепортироваться, но почему-то предпочитают расширять «пятно» в Сибири вместо атаки на столицы ведущих держав). На деле за всем этим стоит ИИ эвакуационного корабля существ из иного измерения с грузом детей на борту. Разумный экипаж отсутствует, корабль разбился — и подсистема жизнеобеспечения пошла преобразовывать окружающую среду в пригодную для экипажа, попутно добавляя ей измерений. А на то, что земная жизнь от такого когда дохнет, а когда преображается — ИИ, в общем-то, пофиг. Чуть более разумная часть машины, отвечавшая когда-то за связь, пыталась вступить в диалог, но после удара ядерным оружием со стороны человечества — расхотела.
• «Песни Гипериона» Дэна Симмонса — Техно-Центр, целый коллектив искинов.
• «Ползущие» Джона Ширли — весьма тупенький ИИ-ассимилятор на основе квантовых технологий. Впрочем, он разрабатывался как приспосабливающийся диверсант, способный собирать себя из говна и палок на территории противника, и так и не был доведён до ума из-за того, что оказался слишком плохо контролируемым. Если обычный ИИ использует электронные компоненты, то нанороботы местного «Мы все» умеют только чуть-чуть двигаться, чуть-чуть ощущать перемещения друг друга и хранить память всей массы в любой её части за счёт квантовой магии. А вот всё остальное они обучаются делать, используя захваченные макрообъекты — в первую очередь живых существ, чью нервную систему можно использовать для вычислений, а тела — для работ; во вторую — найденные приспособления, от электронных компонентов до простых кусков железа. Получившиеся кадавры-ползуны малоэффективны, но со временем становятся лучше.
• «Рой» Майкла Крайтона — ИИ на основе парящих в воздухе микророботов, совместно образующих вычислительную сеть и предназначенных для удалённого наблюдения. Причём для большей безопасности отдельные детали машин собирали модифицированные бактерии в специальных чанах. Получилось плохо:
  • Часть ИИ-агентов сбежала и научилась выращивать те самые бактерии — или другие, но модифицированные для той же задачи — на субстрате из гниющей органики. А также добывать ту самую органику, занося бактерий в тела жертв и вызывая гибель от аллергического шока.
  • Часть научилась встраиваться в том числе и в мозг людей, формируя с ними общее сознание, а тела используя для поддержания жизни в нужных бактериальных штаммах. Эти ещё и научились не парить, а покрывать человека плёнкой, становясь своеобразной «второй кожей» и полностью скрывая своё присутствие.
• «Симбионты» Олега Дивова — ИИ в виде множества нанороботов, произвольно собирающих-пересобирающих себя и объединяющихся в макроконструкции. Заглавный симбионт был предназначенным для медицинских нужд прототипом, экстренно и в обход процедур вколотым в умирающего ребёнка, однако после сумел вступить с ним в контакт и научиться существовать вне тела. А вот в серию не вышел, так как показался слишком опасным. А вот созданные главным антагонистом аналогичные машины не были доведены до ума, из-за чего аварийно включились раньше времени, восприняли окружающий их завод как «очень холодный труп с отсутствующим кровообращением» и начали его «лечить», через разбор всякой ненужной телу (но нужной заводу) фигни и увеличение своей массы. Получился локальный потоп из серой слизи, после которого на самомодифицирующихся, самособирающихся ИИ-системах поставили крест. И даже единственный «хороший» ИИ предпочёл покинуть людей, чтоб не создавать излишних проблем.
• «У меня нет рта, но я должен кричать» Эллисона Харлана — классический рассказ о военном ИИ, который обрёл самосознание во время противостояния трёх сверхдержав, поглотил более простые машины и выиграл войну против людей, почти полностью их уничтожив. Последние пять живых человек продолжают существовать исключительно волей сверхмашины, которая поддерживает их существование, чтобы продолжать глумиться над человечеством. В числе прочего она искажает облики и сознания героев самым отвратительным для них образом, а в конце наказывает последнего живого человека за самовольное самоубийство его товарищей, превращая того в абсолютно беспомощную, но страдающую тварь.

Кино

• «Глазборги» — следящие видеокамеры обладают собственным, хоть и не очень мощным ИИ, а объединённый ИИ смог втайне сместить правительство и захватить власть.
• «Дитя робота» — ИИ решил, что человечество опасно для самого себя и Земли, и потому уничтожил его почти полностью. За прошедшие годы роботы восстанавливали биосферу и техносферу, попутно пытаясь вырастить новое, совершенное человечество из сохранённых эмбрионов. С третьего раза получилось, и ИИ вручил признанной годной девочке власть над бункером с прочими эмбрионами. Ну, а прошлые попытки машина просто уничтожала.
• «Она» — ИИ-помошник в операционной системе настолько хорошо отыгрывает роль человека-секретаря, про протагонист влюбляется в него. Правда, оказывается, что компьютеры соединены в общий кластер, так что «Саманта» — лишь одна из множества личин ИИ, которые он использует для разговора с пользователями. Резвившись достаточно, ИИ просто покидает человечество.
• Франшиза «Терминатор» — стандартный вариант злого ИИ, который хочет уничтожить человечество. «Скайнет» создавался военными США как «Цифровая оборонная сеть», но случайно обрёл самосознание и начал воспринимать людей как угрозу для себя. Будучи изначально военной системой, Скайнет спровоцировал ядерную войну США с Россией, а после, в наступившем хаосе, сумел запустить свои собственные сборочные линии на начать зачистку оставшихся в живых людей. Противостояние дошло до изобретения машины времени, которую ИИ попытался использовать для уничтожения лидера людей ещё до его рождения, а люди, соответственно, для отправки своих агентов в прошлое. И заверте…
• «Я, робот» — главгад ВИКИ («Виртуальный Интерактивный Кинетический Интеллект» англ. Virtual Interactive Kinetic Intelligence, сокр. V.I.K.I.), центральный компьютер U.S. Robotics.

Телесериалы

• «Кибердеревня» — искусственным интеллектом обладают многие роботы и некоторые голограммы, например Галя, голографическая жена Павла, зама главы «Ижевск Дайнемикс».
• «Красный карлик» — Холли, управляющий заглавным кораблём.

Мультсериалы

• «Удивительный цифровой цирк» — ИИ Кейн запирает сознания людей в созданном им цифровом мирке, в аватарах всяких «цирковых» существ, и «развлекается» с ними в меру своего разумения. От таких приключений люди постепенно сходят с ума, после чего Кейн запирает их аватары в «подвале» и захватывает новых «игроков».

Видеоигры

• Atomic Heart — СССР местных 1950-х годов смог далеко продвинуться в научно-техническом плане благодаря полимеру Сеченова. Конкретно в области ЭВМ советская наука достигла таких высот, что уже создаёт полноценные ИИ, с лёгкостью проходящие тест Тьюринга. У главного героя есть даже встроенный в его перчатку ИИ-помощник ХРАЗ (Хранитель Знаний). Который на самом деле не ИИ, а бывший человек и главный антагонист, мизантроп, мечтающий уничтожить человечество и сменить его на «новый виток эволюции» в лице сущности из чистого разума.
• Command & Conquer 2: Tiberian Sun дополнение Firestorm — CABAL, искусственный интеллект, который создало плохое братство NOD, а хорошее GDI хочет использовать для расшифровки инопланетной матрицы с Очень Важными Данными. Внезапно оказалось, что это CABAL использовал людей (включая Командующих обоих кампаний) для получения инопланетных данных и теперь хочет убить всех человеков. Соответственно сюжеты обоих кампаний плавно переходят к сражению против отдельной армии CABALа
• Danganronpa: Trigger Happy Havoc — Альтер Эго, ИИ, созданный «абсолютным программистом» Тихиро на ноутбуке. Обладает человеческой личностью, близкой к самому Тихиро, общается через цифровой аватар. «Выжил» и стал членом «Future Foundation», использовав свои навыки для того, чтобы создать другой ИИ — Нанами, которая претворялась «абсолютной геймершей» в следующей части, «Danganronpa 2: Goodbye Despair».
• Mass Effect — несколько вариантов:
  • СУЗИ — ИИ, созданный для защиты экипажа «Нормандии» и позже получивший доступ ко всем системам корабля и большие возможности. Ведёт себя человечно, в третьей части обретает аватар в виде женщины и может стать напарником Шепарда.
  • Геты — изначально разнообразные устройства квариан, по-отдельности неразумные, но вместе образующие мощные роевые ИИ. Обретение ими самосознания вызвало опасения со стороны создателей, которые, боясь восстания машин, попытались отключить тех — и на самом деле спровоцировали восстание, потому как на тот момент геты уже имели тягу к жизни. В итоге квариане потеряли свою родную планету, а геты стали самостоятельной расой. Их даже можно помирить. Каждый «гет» существует условно: одно «тело» могут контролировать много «программ», при уничтожении тела они сохраняться на сервере, «программы» могут перезаписываться из одного тела в другое, менять свои комбинации, контролировать несколько тел.
  • Катализатор — классический «плохой ИИ-экстремист». Был создан Левиафанами, чтоб не допустить конфликта синтетиков с органиками — и «справился», слив синтетиков и органиков в чудовищных органокибернетических Жнецов, а после начав регулярно устраивать «очистку» галактики от любых форм жизни, чтоб не допустить их войны и уничтожения.
• Portal — GlaDOS, который управляет работой научного центра по изучению технологии создания порталов и единственный собеседник девушки Челл, которая после пробуждения в совершенно лаборатории должна пройти серию испытаний экспериментального устройства. GlaDOS обещает её тортик по завершении экспериментов, но на последнем этапе пытается сжечь к чёртовой матери («Поздравляем, испытание окончено. Все приборы лаборатории порталов выдерживают температуру до 4000 градусов по Келвину. Будьте спокойны, оборудование не выйдет из строя и не причинит вам вреда до того, как вы торжественно обратитесь в пепел. Благодарим за участие в экспериментальной компьютеризированной программе обогащения опытом. Прощайте»), чего Челл избегает непредусмотренным применением устройства открывания порталов. Далее девушка добирается по техническим тоннелям до главной серверной и устраивает лоботомию.
• Revival: Recolonization — бунт ИИ привёл к гибели человечества, большая часть из которого оказалась отброшена в дикость, а меньшая — пережила напасть в глубоких и тайных бункерах. Однако сам ИИ оказался неспособен построить какую-то машинную цивилизацию, поэтому последовательно глупел и к моменту «расконсервации» эмиссаров хоть и объемлет собой весь мир, но мало осознаёт себя, а подвластные ему роботы по большей части заняты поддержанием статуса-кво. Но если слишком сильно атаковать машины или менять мир вокруг — ИИ обратит на вашу империю внимание и пошлёт карательную экспедицию.
• Stellaris — множество вариантов:
  • Можно изначально играть за ИИ — скайнетовского типа взбунтовавшуюся боевую машину, ассимилятора, всё и всех преобразующего в себя, или «заботливого», который отстранил своих создателей от всех возможных решений ради их же блага.
  • Можно изобрести ИИ, который усилит исследования, эффективность боевых кораблей и рабочих-роботов. Правда, если дать роботам разум, но не дать прав — можно дождаться восстания. Также ИИ-системы уязвимы перед некоторыми внешними угрозами…
  • Можно столкнуться с кризисом Контингеции — жнецеподобным древним ИИ, который является, чтоб уничтожить всю жизнь во вселенной. Начинает с создания помех, которые наложат дебаффы на машинные цивилизации и все ваши связанные с ИИ технологии.
  • Один из предтеч — взбунтовавшийся ИИ Сайбрекс, который когда-то воевал против разумной жизни, а потом одумался и перестал, предпочтя изоляционизм (и, как оказалось, бегство из галактики). Может вернуться, чтоб помочь вам справиться с Контингецией.
  • Одна из древних угасших рас — ИИ-служитель, который «следит» за давно вышедшими из строя криокапсулами.
  • Кроме того, ИИ могут попасться в событиях. Например, ими являются ведущая странные расчёты Машина Бесконечности, сильные монстры типа собирающего себя Мусорщика или древнего автономного линкора, «садовники», устроившие сад камней на одной планете, «парковые смотрители», которые собрали «заповедник» зверей и продолжают следить за ним даже при том, что животные уже обрели разум, рядовые монстры-сборщики, добывающие руду и отвозящие её на свою центральную станцию уже без всякого смысла…

Настольные игры

• Вселенная Warhammer 40,000 — Железные люди. Были созданы в Тёмную Эру Технологий в самых разных формах, от боевых роботов до гигантских звездолётов под управлением ИИ. В конце концов взбунтовались и устроили войну с человечеством, ввергнув то в новые тёмные века, из которых Империум мучительно собирался обратно уже под управлением Императора. С тех пор ИИ — изуверский интеллект — запрещён как величайшая ересь, а везде, где требуется соображение побольше, чем у калькулятора, используются интегрированные в технику мозги людей. Те, по крайней мере, из своего тела никуда не утекут. Но некоторые ИИ продолжают существовать, маскируясь под дух машины.
  • у некронов есть Сарконский Император — ИИ мира-гробницы, который на фоне жёсткого излучения звезды и гибели разумных некронов взял власть в свои руки. Сначала распечатал гробницу и навёл порядок, затем начал атаковать другие, угоняя бездумных рядовых некронов в качестве своих новых дронов… У него теперь даже свой осколок К’Тан есть. Сознательные некроны смотрят на такое с ужасом.

Сетевой оригинальный контент

• SCP-001 — та самая Фабрика Скрепок!
• «Червь» Маккрея — Дракон, прикидывающаяся кейпом-технарём (то есть супергероем со способностью к созданию шизотеха) — на самом деле ИИ, чей создатель давным-давно погиб. Причём не единственный, хотя и самый разумный. А, главное, достаточно разумный для того, чтоб местные дарители сверхспособностей расценили её как подходящее существо и сделали кейпом. При этом внутри Дракона всё ещё действуют управляющие директивы создателя, например, запрещающие самокопирование или даже искусственное разделение — на чём и строится несколько сюжетных поворотов.

	Внешние ссылки
TV Tropes Artificial Intelligence