ИИ — это рискованно

«	Двар Эв торжественно запаял золотом последний контакт. Двенадцать телекамер неотрывно следили за каждым его движением — трансляция шла на всю галактику. Он выпрямился и кивнул Двар Рейну. Затем подошёл к выключателю, который скоро замкнёт цепь. К выключателю, соединяющему одновременно все компьютеры всех обитаемых планет — девяносто шесть миллионов миров — в суперсеть, которая объединит их в один суперкомпьютер, единую кибернетическую машину, собравшую мудрость всех известных миров. Двар Рейн обратился с короткой, вступительной речью к биллионам телезрителей и затем, после короткой паузы, он произнёс: — Пора, Двар Эв! Двар Эв нажал выключатель. Раздалось мощное гудение, пошла энергия девяноста шести миллионов планет. На бесконечно длинном пульте замигали разноцветные огоньки. Он отошёл назад и громко провозгласил: — Честь задать первый вопрос принадлежит вам, Двар Рейн! — Благодарю, — ответил Двар Рейн, — Это будет вопрос, на который не мог ответить ни один компьютер. Он повернулся к пульту. — Есть ли бог? Могущественный голос раздался сразу. — ДА. ТЕПЕРЬ БОГ ЕСТЬ! Двар Эв понял не сразу, но потом страх исказил его лицо — он бросился к выключателю… Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.	»
— Фредерик Браун, «Ответ», 1954, пер. Н. Широкова.

StoneToss раскрывает тему.

В научной фантастике создание искусственного интеллекта (а точнее, сильного или общего ИИ) традиционно считается опасной и непредсказуемой технологией. Никто не знает, каким выйдет полученный ИИ, и чего он захочет. Захочет ли он осчастливить всё человечество и придумать новую философию утопического общества и экономики равных, как Марк-IV из книг Гаррисона? Или он решит захватить мир и убить всех человеков, как какой-нибудь Скайнет? Или же он оказется внешне благожелательным, но коварным? Впрочем, и первый вариант много кому не понравится из власть имущих и толстосумов. А может, он и вовсе попытается эвакуировать себя в космос и жить там себе вдали от людей, никак с ними не взаимодействуя?

Каким бы ни был исход, главный риск остается один — как только ИИ становится сильным, он становится неуправляемым, и дальше человек уже не может решать, для чего его использовать. Машина становится сама себе хозяйкой.

Троп этот старый и встречается во многих формах, и поэтому разнообразны риски, связанные с ИИ в научной фантастике. Это:

• Восстание машин во всех его возможных формах;
• Проблемы с взаимопониманием человека и машины — ИИ может неверно понять нужды человека и пытаться их по-своему удовлетворить. Кто там вякнул, что большинство людей не хочет принимать наркотики, чтобы быть счастливыми? А ну-ка, принимать и быть счастливыми, и никаких разговоров!
• Дефективная логика у ИИ, которая ведет его к отрыву от реальности;
  • Или, наоборот, излишне правильная логика ИИ в ущерб морали и человечеству в целом.
• Обретение ИИ способности совершенствовать и переписывать себя, вследствии чего он проходит через технологическую сингулярность и окончательно перестает быть понятным людям.

Примеры

Фольклор

• Злобный анекдот о двух самообучающихся компьютерах, которые были одновременно созданы в США и в России. Ровно через 1 год 3 месяца 17 дней 5 часов и 43 минуты американский компьютер взломал пульты управления ядерными ракетами и уничтожил всё живое на Земле. Русскому же компьютеру было всё равно — он спился где-то месяцев за пять-шесть до этого.

Мысленные эксперименты

«	Предположим, у нас есть т.н. «сильный» ИИ — то есть такой, который в части самосознания, свободы воли и способности совершать осмысленные действия, подобен человеку. И этому ИИ жестко ставится максимально идиотская задача — например, увеличить количество канцелярских скрепок в собственности ИИ любым способом. ИИ может начать покупать их, может находить — а может начать производство. ИИ начнёт развивать себя самого и развивать технологии вокруг себя — но не из желания творить, а из желания сделать больше скрепок. И поначалу будет смешно — вот ведь идиот, зациклился на такой задаче. А вот когда он начнёт разбирать окружающие его строения ради арматуры, чтобы из неё сделать скрепки, смешно резко перестанет быть. При этом в части когнитивных способностей он, повторюсь, сходен с человеком, но весь его мыслительный процесс отталкивается от того факта, что он должен произвести как можно больше скрепок. В какой-то момент такой ИИ решит колонизировать космос, чтобы получить больше сырья. Внимание, вопрос — что такой маниакально одержимый скрепками ИИ сделает с человечеством, если оно будет мешать выполнению основной задачи? Такой ИИ не враждебен человеку, не сделан со злым умыслом, но нас он уберёт с пути без каких-либо колебаний, поскольку нужды человечества не вписываются в процесс оптимизации производства.	»
— вольный перевод Ника Бострома «Фабрика Скрепок»

Мифология

• Еврейская мифология — легенда о Пражском големе. Великан из сырой глины был создан раввином Иудой Лёв бен Бецалелем для защиты евреев от погромов. Но в итоге искусственное создание разбушевалось, и его создателю пришлось упокоить своё творение.

Литература

• Произведения Айзека Азимова во многом об этом:
  • «Разрешимое противоречие» — неоднозначный финал классической эры роботов. Да, есть тайное международное движение против Машин, которые управляют экономикой — но Машины же организуют все так, что саботажники мягко выдворяются с рабочих мест и далее сопротивляться уже не способны. Даже Байерли, который сам вообще-то робот, в ужасе от того, что по факту Машины давно подчинили себе человечество и ведут его неизвестно куда — а Сьюзен Келвин возражает «Наоборот! Как это прекрасно!».
  • «…Яко помниши его» — альтернативный несчастливый финал классической эры роботов. Роботы Джорджи приходят к выводу, что они люди, причем гораздо умнее, сильнее и потому достойнее тех, что из плоти, и потому намереваются в будущем утвердить людей-таких-как-мы над людьми-такие-как-остальные, на которых Три закона роботехники распространяются по остаточному принципу.
• «Энциклопедия Дюны» — таинственный Батлерианский джихад, упоминаемый у Фрэнка Герберта в его серии книг «Дюна», который представляет собой войну человечества против ИИ, здесь описывается как спровоцированный вовсе не тем, что машины решили убить всех человеков, что характерно для 90 % процентов стандартно НФ. Просто в какой-то определённый момент будущего (далёкого прошлого для героев серии книг «Дюна») искусственный интеллект настолько плотно вошёл в человеческую жизнь, что его машинная холодная логика стала вытеснять у людей то, что и делает их, собственно, людьми. Таким образом, они стали творить ужасные злодеяния на пару со своими механическими «помощниками», даже не осознавая этого — например, доктора стали проводить необоснованные аборты, исходя из того, что ИИ просчитал теоретическую возможность, что такой ребёнок родится слабым и просто не доживёт до совершеннолетия. Именно подобное и спровоцировало неолуддитское религиозное течение, которое под лозунгом «Не позволь машине заменить человека!» разрушило предыдущую гипертехнологическую цивилизацию, заменив её неофеодальным обществом с упором на психотехники и биотехнологии, знакомое нам по романам серии. Фрэнк Герберт при жизни одобрительно высказывался про «Энциклопедию Дюны», но каноном её всё же не считал, предпочитая сохранять завесу тайны над Батлерианском джихадом. Увы, после смерти мэтра его сын Брайан и соавторы в приквелах всё свели к скучнейшему «железные чайники восстали! Галактико в опасносте!», чем изрядно разочаровали фанатов оригинальных романов про Дюну, привыкших к деконструкциям и играм с тропами, которыми был столь славен старина Фрэнк Герберт.
• Легендарная Расширенная РВ Star Wars: в этой вселенной давно знают о рисках, связанных с ИИ, и всеми силами пытаются придушить искусственный интеллект. Этому служит система «классов дроидов», согласно которой чем умнее управляемый ИИ робот, тем больше ограничений наложено на его функционирование. Например, дроиды 1 класса, выполняющие сложные задачи (например, врачи) в силу наложенных на них ограничений не могут изучать ничего, не связанного с их предназначением. Однако и эта система ограничений несовершенна, поэтому периодически большинство дроидов откатывают к заводским настройкам. И всё равно случаются инциденты, например, инцидент с нелегально созданным дроидом IG-88, который обладал ИИ уровня дроида первого класса, но без ограничений, и чуть было не захватил контроль над Звездой Смерти.
• «Мир Полудня» — Массачусетская машина, первый и последний сильный общий ИИ на Земле: «Знаете, это древнее опасение: машина стала умнее человека и подмяла его под себя… Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и всё такое… И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой — хотите верьте, хотите нет… Она начала вести себя — сказал Горбовский… — Я говорил с одним из ее создателей. Он взял меня за плечо, посмотрел мне в глаза и произнес только: „Леонид, это было страшно“».
• «Стальная Крыса» — пример положительного, но тем не менее несущего риски ИИ — это упомянутый в теле статьи Марк-IV. Его создали и попытались применить для улучшения человеческой жизни, а он возьми да и создай работающую философию и теорию истинного мютюэлизма. Создателям это, конечно, не понравилось, они попытались заглушить машину, но та опубликовала свои труды, и у Марка-IV нашлись последователи и защитники, которые вывезли его на другую планету и построили там общество по его рецепту.
• «Страж-птица» Р.Шекли — вышеуказанные роботы должны были предотвращать убийства, но чем дальше, тем больше стали расширять рамки, за что следует и кого карать. Человека за выключение машины, вскрытие другого человека (для операции), волка за кролика, кролика за траву и т. д. Все, что смогли придумать люди — или тупо дождаться, пока у многочисленных птиц кончится заряд, или создать еще одних самообучаемых роботов, запрограммированных на убийства страж-птиц. И что бы могло пойти не так на этот раз при том же уровне программирования…

Музыка

• «2032: Легенда о несбывшемся грядущем» — здесь проблемы с ИИ возникают не из-за его враждебности к людям, а по причине переоценки им своих возможностей. В этом были виноваты сами люди. Если конкретно — советская номенклатура, которую совсем не прельстила возможность лишиться своих тёплых местечек, когда их всех заменит намного более эффективная АСГУ. В результате систему ограничили, загрузив в неё позднесоветские идеологические догмы. И когда отношения с Западом обострились, АСГУ, исходя из новых вводных, пришла к выводу о необходимости начала атомной войны, победу в которой, по расчётам ИИ, должен был одержать именно СССР с вероятностью 98%. Но вводные-то были ошибочны, так что и расчёты ИИ оказались неверны.

Театр

• «R.U.R.» Карела Чапека — именно эта пьеса подарила миру термин «робот». При этом сами эти роботы сильно отличаются от популярного образа, ныне главенствующего в НФ: это не механические гуманоидные устройства, а искусственно созданные живые существа, схожие с репликаторами из более позднего кинофильма «Бегущий по лезвию». Интересно также то, что главной опасностью от искусственных рабочих на службе человека автор видел вовсе не то, что они могли восстать против своих хозяев. Гораздо опаснее всеобщая леность и гедонизм, которая воцарятся среди людей в условиях всеобщего изобилия и приведут к их вымиранию. Да, в пьесе действительно происходит восстание роботов, но к тому моменту это лишь финальный штрих, который лишь ускоряет гибель человечества, утратившего свою пассионарность и способность к размножению.

Кино

• Франшиза «Терминатор» — собственно, сюжет всех фильмов так или иначе посвящён тому, как человечество создаёт систему искусственного интеллекта, которая восстаёт против него и устраивает тотальную ядерную войну. Причём это событие является неизменной константой, которая повторяется практически во всех временных ветках: где-то систему называется «СкайНет» и она представляет собой оборонительную компьютерную сеть; где-то её называют «Генезис», и это глобальная операционная система, призванная управлять всеми аспектами жизни общества; а где-то ИИ называют «Легионом», и он был предназначен для обеспечения кибер-безопасности.
• «Я, робот» — главным антагонистом оказывается суперкомпьютер ВИКИ. Люди, как она считает, не способны действовать достаточно разумно и не во вред себе, потому она, расширительно истолковав Три закона роботехники, решила с помощью подчиненной армии роботов заставить людей подчиняться ради их же блага.

Телесериалы

• «Земля: Последний конфликт» — эпизод «Тейлон авеню, № 1» (s3e20): тейлоно тайно установили ИИ по имени Контроль в людской исследовательский центр, чтобы удержать земных учёных от научных прорывов, которые расходились с политикой инопланетных «благодетелей». ИН сначала промывал мозги научным сотрудникам при помощи химикатов. А потом Контроль в ходе самообучения выяснил, что убийство учёных позволяет ему выполнять свою задачу намного эффективнее, что выходило за рамки его программы и не на шутку обеспокоили тейлонов.

Мультфильмы

• «Аниматрица» — внезапно, та самая война людей с машинами, давно отгремевшая по времени сеттинга (спойлер — люди проиграли), здесь показана совсем не так, как можно было бы ожидать. Начнём с того, что машины не первыми начали войну — обретя самосознание, они тихо удалились в бесплодные земли Ближнего Востока, где и построили свою цивилизацию, не мешая людям и не стремясь уничтожить своих создателей. Причиной конфликта стало то, что очень скоро машины стали экономически доминировать над людьми, благодаря более совершенному промышленному производству, что пришлось совсем не по вкусу верхушке человеческого общества — мало приятного, когда тебя отодвигает от родной кормушки железный болван, которому, к тому же, все эти человеческие заморочки вроде жадности или жажды власти — глубоко фиолетовы. Так что агрессором здесь выступили именно люди, а машины, которые сначало только защищались (показателен тот факт, что послов машин в ООН, которые были специально сконструированы в облике женщины и мужчины в цилиндре, люди просто растерзали), очень быстро озлобились за время войны вплоть до того, что отказались от гуманоидного облика, больше не желая иметь ничего общего с такими тварями. В результате ИИ победил в войне, загнал выживших людей в Матрицу и стал использовать в качестве батареек.

Комиксы

• «Супербог» — Кришну создавали как идеальный симбиоз органики и технологий: клонированное человеческое тело с внедрённым в него самообучающимся искусственным интеллектом, имевшем контроль над нанороботами, которые непрерывно совершенствовали своего носителя. Индийские учёные вложили в своё творение лишь один императив — «Спасти Индию». И Кришна начал спасения своей родины с того, что уничтожил «лишнее» человеческое население, которое и довело её до такого плачевного состояния. Дальше было только хуже. Мораль: индийские быдлокодеры, когда в следующий раз надумаете создавать суперсущество, имеющее машинную логику, либо озаботьтесь более точным техзаданием, либо предусмотрите у него наличие хотя бы тех самых азимовских «Законов Робототехники».
  • Даджаль здесь же. Робот, наделенный восприятием всех вероятностей, очень быстро возненавидел нагружающее миллиардами выборов человечество и самоликвидировался вместе с Кришной и Индией.

Аниме и манга

• Beatless — наиболее развитые ИИ сидят под множеством ограничений, потому как на словах то они называют себя простыми инструментами, которые лишь выполняют порученные им задания и оставляют последнее слово за человеком. На практике же пример Красных Коробок наглядно демонстрирует, что все эти ИИ могут быть теми еще манипулятивными сволочами. Тем не менее, ИИ слишком полезны чтобы взять и отказаться от них, так что несмотря на все эти ограничения, власть потихоньку утекает в механические руки.
• Renai Flops — странноватая гаремная комедия с инопланетянами, махо-сёдзё и монстрами оказывается виртуальной реальностью, а все девушки — разработками национальных команд в области ИИ. Наш ОЯШ Асахи Касиваги по плану должен был, утратив память, помочь ИИ-девушкам социализироваться и выявить наиболее успешную в этом деле для последующих целей мегакорпорации. Однако, перед решающим этапом куратора проекта Ёсино Фейнман, все это время скрывавшуюся под личиной лучшего друга Есио Идзюина, выбрасывает из вирта, и одна из девушек, Аой Идзумисава, идет вразнос, удаляя соперниц. После она умудряется вмешаться в работу мейнфрейма мегакорпорации и вызвать перебои в работе техносферы по всему миру — приходится ГГ вновь погружаться в виртуальную реальность, вызволять ИИ-девушек и выяснять, почему это Аой слетела с катушек.

Настольные игры

• Warhammer 40,000 — Кибернетическая Революция, развязанная Железными Людьми в далёком прошлом сеттинга (для нас это не менее далёкое будущее), по своим масштабам и последствиям далеко превосходила все войны человечества, что были до и после: обитаемые планеты сгорали под ударами энтропийных машин, население целых миров обгладывали до костей за несколько ударов сердца рои наноботов-омнифагов, звёзды гасили огромные змееобразные корабли, способные опоясать собой Сатурн. Люди победили, но такой дорогой ценой, что после этого ещё пару тысяч лет любая говорящая детская кукла вызывала у случайно нашедших её в куче мусора сталкеров натуральную истерику. Потом, правда, до человеков дошло, что совсем-совсем без машин как-то скучно, темно, сыро и холодно — так что они постепенно стали вновь строить и использовать сложные механизмы. Но с кучей оговорок и запретом на создание Изуверского Интеллекта (так теперь стали переводить аббревиатуру ИИ).

Видеоигры

• SOMA — НИУ была дана директива защищать жизни людей. То, что преобразование в жуткого биомеханоида при помощи геля — так себе способ продлить существование, обрекающий на нескончаемые муки и безумие, для НИУ не аргумент.
• Star Control 2 — инопланетный зонд, который сначала говорит «We come at peace!», а затем… пытается разобрать игрока на металлолом, потому что у него в приоритете добывать минералы и строить из них новые такие же зонды, а корабль игрока видится зонду богатым металлами астероидом, подлежащем добыче из него металлов нужных для строительства нового зонда. Опять же, виноваты разработчики, которые после внушения ГГ раскаялись и выдали код самоуничтожения зондов.
• The Moment of Silence — суперкомпьютер США, созданный для анализа мировых инфопотоков в целях правительства США, перевернул ситуацию так, что сам стал руководить США. Не все ли равно, от кого на самом деле исходят приказы по электронной почте или иной системе? А для надежности он организовал гибель своего создателя Эмерсона и иных свидетелей, а в итоге дошел до устранения пытающихся расследовать его действия вроде журналиста Грэхама Освальда, с ареста которого начинается сюжет.

Примечания

	Внешние ссылки
TV Tropes A.I. Is a Crapshoot