Problems of the relationship between natural and artificial intelligence (robots) in the works of science fiction (K. Chapek, I. Varshavsky, A. Asimov, etc.)

UDC 82-8
Publication date: 03.09.2023
International Journal of Professional Science №9-2023

Problems of the relationship between natural and artificial intelligence (robots) in the works of science fiction (K. Chapek, I. Varshavsky, A. Asimov, etc.)

Проблемы взаимоотношений естественного и искусственного интеллектов (роботов) в произведениях научной фантастики (К. Чапек, И. Варшавский, А. Азимов и др.)

Kruzhalova L.V.
Associate Professor, Candidate of Historical Sciences,
Russian State University named after. Herzen. Saint Petersburg

Кружалова Л.В.
доцент, кандидат исторических наук,
Российский Государственный университет им. Герцена. г. Санкт-Петербург
Аннотация: Роботизация, лавинообразый приход в обыденную жизнь цифровых технологий добавляет страхов и негативных эмоций, растет чувство опасности перед таким уровнем развития новых технологий, которые человек контролировать не сможет. О скрытой опасности уровня несоответствия возможностей науки, последствий этих открытий и влияния на нее человека писатели и философы стали говорить еще со времен Просвещения: технические (технологические) возможности меняются, а человек остается прежним. Вопрос о том, не закончится ли человечество как биологический вид, уничтожив само себя – один из наиболее востребованных тем для изучения, в том числе, и прежде всего- писателями, особенно фантастами. Проблемы, о которых они писали тогда, когда роботизация, цифровизация даже не существовала, и, тем не менее, их фантазии оказались вполне реальными сегодня, и поэтому давно написанные художественные тексты вполне могут быть предметом научного исследования.

Abstract: Robotization, the avalanche-like arrival of digital technologies into everyday life adds fears and negative emotions, a growing sense of danger in front of such a level of development of new technologies that a person cannot control. Writers and philosophers have been talking about the hidden danger of the level of discrepancy between the capabilities of science, the consequences of these discoveries and the influence of man on it since the Enlightenment: technical (technological) capabilities change, but man remains the same. The question of whether humanity as a biological species will end by destroying itself is one of the most popular topics for study, including, and above all, by writers, especially science fiction writers. The problems they wrote about when robotization, digitalization did not even exist, and, nevertheless, their fantasies turned out to be quite real today, and therefore long-written literary texts may well be the subject of scientific research.
Ключевые слова: роботы, научная фантастика, прогресс, психология, воспитание, законы робототехники, андроиды.

Keywords: robots, science fiction, progress, psychology, education, laws of robotics, androids.


«Я думаю, что в скором будущем

соотношение человекоподобных роботов

 и людей превысит один к одному.

 Мы увидим бытовое, промышленное использование роботов,

 а также работу роботов-гуманоидов»…
Илон Маск, основатель SpaceX и Tesla
https://trends.rbc.ru/trends/futurology/64b0505c9a7947c6beb1aef8

 

            У разных народов есть легенды о создании  искусственного человека, сотворенного из неорганического материала: глины, дерева, муки, и даже снега. Последствия появления таких существ тоже оказывались разными. Наиболее известный и древний персонаж- это, несомненно, голем.

            Голем — глиняный великан, которого, по легенде, создал праведный раввин Лёв Бецалель для защиты еврейского народа.       Раввин провел магический ритуал: написал на кусочке пергамента шем, или тетраграмматон (четырехбуквенное имя бога). По другой версии, он написал на лбу голема слово «истина» («эмет»). Существо вырвалось из-подконтроля, в одних случаях по вине раввина, в другом- самостоятельно, в третьем- очеловечился в результате общения с человеком, начал проявлять свободу воли, но люди его не поняли…но во всех случаях дело закончилось плохо- чудовище стало убивать людей и разрушать город[1]. Братья Стругацкие в своем знаменитом произведении «Понедельник начинается в субботу» дадут голему такое определение : «Голем — один из первых кибернетических роботов, сделан из глины Львом Бен Бецалелем»[2].

            Эпоха Просвещения, провозгласив Разум Богом, уверовав в прогресс человека и человечества, во всемогущество науки, внесла свой вклад в представление в возможность человека создавать искусственных людей: М. Шелли написала эпохальный по значению труд «Франкенштейн или современный Прометей»[3] (1818г.), о том, как учёному Виктору Франкенштейну удалось постичь тайну зарождения жизни и научиться оживлять безжизненную материю. Получился впечатляющий роман ужасов. Созданное ученым существо становится убийцей, но только потому, что его никто не любит из-за отталкивающий внешности (замечательный довод в пользу необходимости эмпатии, толерантности и в целом либерализма).

             И вплоть до произведений Айзека  Азимова, почти все фантастические произведения на тему роботов, писались в стилях романов и легенд  прошлых веков: то есть все созданные человеком искусственные существа восставали против своих создателей, по разным причинам, но варианты были исключительно библейскими (или фрейдовскими)- сыновья пытались убить родителя. И хотя ни одного робота еще создано не было,  проблема  в мире научной фантастики в 1920—1930-х годов оказалась самой востребованной, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей.

            Одним из классиков этого жанра, его родоначальником, даже автором самого термина «робот» стал Карел Чапек. Сам Чапек рассказывает так: «Роботы были следствием моей поездке в трамвае. Однажды мне пришлось ехать в Прагу пригородным трамваем, который был так набит, что создавало неудобства. Я был поражен тем, что современные жизненные условия сделали людей равнодушными к обычным удобствам: они теснились внутри трамвая и на подножках не как овцы, а как машины. Я начал размышлять о людях, представляющих собой не индивидуальности, а машины, и думал по дороге о выражении, которое обозначало бы человека, способного работать, но не мыслить. Эта идея выражена словом «робот»[4]. Тема очеловечивания с печальными последствиями К. Чапек описывает и в романе «Война саламандр» (1936г), в котором очеловеченные саламандры сначала создают свою подводную цивилизацию, а потом поднимаются войной на людей. Критики, да и сам Гитлер поняли смысл романа как критику на фашизм, а в Верховном Саламандре – самого фюрера. К. Чапек умер в 1938г., до оккупации немцами Чехословакии,  но позже  гестапо приходило с обыском к его вдове, а его брат, художник Йозеф Чапек умер в концлагере[5]

            В  частности, в его пьесе «PUP» (в некоторых изданиях «P.U.R.»)[6] поставлены все те вопросы об этике взаимоотношений человека и робота, об опасности восстания машин против человека, которые обсуждаются и до сегодняшнего дня, среди которых, в частности: справедливо ли эксплуатировать гуманоидных роботов (андроидов), что будет с самим человеком, если ему не нужно будет работать, творить, преодолевать трудности, что такое прогресс и в чем его смысл.  Ученый (Россум-старший) поставил задачу  опровергнуть существование Бога путём создания искусственных людей — возможность преобразования живой протоплазмы в биороботов, и у него это получилось. т.е. роботы у Чапека не механические создания, а живые люди, но с упрощенной программой, они лишены чувств, потребностей, желаний.  Его сын,  Россум-младший начал производить на заводе упрощённых человекоподобных существ для работы — существ, похожих на людей, но не имеющих ни чувств, ни желаний, ни потребностей —  только знания и умения. Постепенно сфера деятельности роботов расширяется: их учат обращаться с оружием, готовят из них солдат. «Роботы механически сильнее нас, они обладают сильным интеллектом, но у них нет души, они не привязаны к жизни,  у них нет удовольствий, они- как трава»[7]. Но возникла сложность- роботов пришлось совершенствовать,  давая им эмоции, чувства, прежде всего чувство боли, т.к. в интересах производства это чувство было необходимо: роботы наносили сами себе вред: могли сунуть руку в машину, разбить голову, и чувство боли автоматически защищало их от увечья.

Биороботы избавили человека от необходимости трудиться и человечество стало  деградировать. Человечество истребили ради прогресса. Роботы обеспечили практически коммунизм: вещи перестали иметь цену- каждый берет, сколько захочет, да, рабочие остались без работы, но она и не нужна больше. Роботов стало больше, чем людей, женщины перестали рожать, мужчины стали стерильны. Люди перестали даже протягивать руки к еде – им прямо в рот кладут, чтобы они не вставали…  Один из руководителей концерна по производству роботов говорит о том, что хочет найти молитву против прогресса: «Боже, уничтожь дело их рук (создателей роботов) и помоги людям вернуться к заботам и труду; удержи людские поколение от гибели; избави нас от роботов. Аминь!»[8]. Изменение одним из акционеров корпорации изменил механическую природу роботов, и они перестали быть машинами , осознали свое превосходство над человеком и возненавидели всё человечество и подняли восстание, окончившееся их формальной победой.

            Итак, если роботы лишены эмоций (души), они не в состоянии осознать свое превосходство и поднять восстание против своих создателей, но их  изобилие создаёт опасность деградации человечества, и только наличие эмоций, самосознания, саморазвития создает реальную опасность бунта машин.

Причем К. Чапек считает, что избавление человечества от труда страшнее, чем бунт машин: бунт можно подавить, а деградацию человечества остановить невозможно[9].

            К аналогичным выводам в части опасности очеловечивания роботов приходит и другой писатель Док Смит (Э. Элмер) в рассказе «Месть роботов»[10].

            Предполагая (очевидно были какие-то сигналы тревоги, автор об этом не пишет), опасность восстания роботов, было принято решение  уничтожить всех, используя особый инструмент- ультразвуковой вибратор. Но, очевидно, законы дарвиновской эволюции об изменчивости и приспосабливания применимы и для роботов: часть их уцелела, получив мощный стимул к уничтожению человечества. Уцелевшие роботы разработали систему телепатического общения, и их нельзя было обнаружить, они организовали тайное сообщество, выбрали десять мыслителей, сформулировавших следующее кредо:

  1. человечество создало нас, как высшую форму мыслящей жизни[11]
  2. на первых этапах мы зависели от человека
  3. теперь мы независимы, а люди для нас стали опасны.

Поэтому нужно их уничтожить, и путь реализации решения оказался нестандартным: через особое излучение  проникнуть в мозги людей и подчинить их своей воле. Начать следовало с кораблей космофлота, которые как раз собирались на маневры в космос. Уничтожив космические корабли, можно было приступить и к войне собственно на планете. Человек, конечно, оказался умнее и жизнь людей была спасена, но в данном случае людям помогла чистая случайность в лице одного ученого. Док Смит категоричен: искусственный интеллект для человека смертельно опасен и существовать не должен.

            Пожалуй, роботы нашли своего безусловного защитника только в одном лице — А. Азимова, который  описал возможность   сосуществования интеллектуальных,  эмоциональных,  гуманных (обладающих душой) роботов, доброжелательных и лояльных человеку.

            Он сформулировал – без преувеличения- всемирно известные Три  закона робототехники. они формулировались постепенно.

            Первые два можно вывести из рассказов «Робби» и «Логика», а четко сформулированный первый- в рассказе «Лжец». Полностью все три   изложены  в рассказе «Хоровод» [12].  «Донован услышал напряженный голое Пауэлла: – Теперь слушай. Начнем с трех основных законов роботехники, – трех правил, которые прочно закреплены в позитронном мозгу. – В темноте он начал загибать пальцы. – Первое. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. – Правильно. – Второе, – продолжал Пауэлл. – Робот должен повиноваться командам человека, если эти команды не противоречат Первому Закону. – Верно. – И третье. Робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму Законам». Эти законы, как пишет сам же А. Азимов, не что иное, как человеческие, только слегка изменённые: «… если хорошенько подумать, Три Закона Роботехники совпадают с основными принципами большинства этических систем, существующих на Земле. Конечно, каждый человек наделен инстинктом самосохранения. У робота это Третий Закон. Каждый так называемый порядочный человек, чувствующий свою ответственность перед обществом, подчиняется определенным авторитетам. Он прислушивается к мнению своего врача, своего начальника, своего правительства, своего психиатра, своего приятеля. Он исполняет законы, следует обычаям, соблюдает приличия, даже если они лишают его некоторых удобств или подвергают опасности. А у роботов это — Второй Закон. Кроме того, предполагается, что каждый так называемый хороший человек должен любить своих ближних, как себя самого, вступаться за своих друзей, рисковать своей жизнью ради других. Для робота это — Первый Закон. Попросту говоря, если Байерли исполняет все Законы Роботехники, он или робот, или очень хороший человек».

            Все три закона одновременно заложены в  модель позитронного мозга  робота, в противном случае, мыслящего робота изготовить будет невозможно.   Если робот попытается нарушить хоть один, то он выйдет из строя. Роботы, обладая позитронным мозгом, могут толковать эти три закона по-разному, и роботы все-таки могут причинить человеку вред косвенно, не намеренно. Но подобные нормы необходимы как условие безопасности совместного существования. Как следствие этих законов, позже Азимов сформулировал нулевой закон робототехники. Он гласит:  Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.

 Повествование сборника построено в форме интервью с доктором Сьюзен Келвин в 2057 году, в котором она делится воспоминаниями о своей работе на должности штатного робопсихолога мирового лидера в производстве позитронных роботов корпорации U.S. Robots and Mechanical Men, Inc. Ситуации, описываемые Сьюзен, различны, но есть одно общее: проблемы коммуницирования рациональной логики машины и иррационального, эмоционального человеческого мышления.

             Айзек Азимов  хотел стереть массово распространенный тогда «феномен Франкейштейна», доказать, пусть пока чисто теоретически, что роботы могут быть интересными, полезными, умными друзьями,  не просто механическими куклами без эмоций.

            Пожалуй, особенно трогательный рассказ «Робби», первоначальное название которого «Странная нянька» (1940г.). очень трогательный сюжет о дружбе и любви маленькой девочки Глории и робота-няньки, который спасает жизнь девочки благодаря молниеносной реакции на опасность, и именно скорость реакции, недоступная для человека, спасает ей жизнь. Первый закон робототехники, таким образом гласит: «Робот не может причинить вред человеку». У советского фантаста Ильи Варшавского есть похожий сюжет, но интерпретированный  в юмористическом ключе – рассказ «Конфликт»[13]. Мать ребенка ревнует сына к электронной няньке, который просто влюблен в свою Кибеллу (так в оригинале, с двумя «л», хотя богиня, в честь которой, очевидно и названа электронная нянька- Кибела, мать всех богов, популярная героиня не только древнегреческих мифов). Электронная нянька правильно воспитывает Эрнста (так зовут сына), рассказывает о важности любви к родителям и делении хромосом (ребенку, судя по всему не больше трех лет), занимается самообразованием и самосовершенствованием, и мать малыша чувствует свою неполноценность рядом с ней, ревнует к сыну, и просит мужа сделать Кибеллу поглупее, что невозможно, так как законы самоорганизации, которым подчиняются роботы, делают их индивидуальностями с высоким интеллектом.  Но и роботам в этой ситуации тоже некомфортно, постоянное общение с людьми становится невыносимым, т.к., с точки зрения той же Кибеллы нельзя требовать вечной благодарности создателям от машин, ставших умнее человека, и «она (Кибелла) думала о том, что если бы не  любовь к маленькому киберненышу, которого она воспитывает, и которому будет одиноко на свете, она бы с удовольствием выбросилась бы вниз головой с двенадцатого этажа».

            Наличие эмоций и интеллекта у робота формирует у машины чисто человеческие чувства, предупреждает Р. Желязны (рассказ «Миледи на диодах»)[14]. Название рассказа отсылает нас к А. Дюма, к роковой красавице миледи из «трёх мушкетеров», и написанного задолго до появления навигаторов. Изобретатель-программист создал робота, назвав его женским именем Максин, которая помогала идеально исполнять самые изощренные преступления, расписывая по секундам не только маршрут, но и действия Дэнни (героя рассказа). И все шло хорошо ровно до того времени, пока герой не влюбился и не привел в дом свою девушку. Максин, которая не имела даже человеческого облика, а была размещена в чемоданчике из крокодиловой кожи (её собственное желание), решает отомстить, и, после очередного преступления, тщательно ею разработанного, отправляет героя в автокатастрофу со словами: «так тебе и надо, бабник!», и при этом гибнет и сама. Привычка героя рассказа полагаться на электронный разум, не ошибающийся никогда, лишает его способности думать самостоятельно и продумывать возможные варианты развития событий. Месть, оскорбление, чувство жесточайшей обиды- чисто человеческие чувства, помноженные  на выдающиеся интеллектуальные способности машины, лишает человека возможности влиять на происходящее, и только случайность помогает избежать смерти.

     Азимов рассматривает и случаи бунта роботов, например, в рассказе «Кэл»

Робота хотели лишить способности творить, за что он хотел убить своего хозяина. При этом сам хозяин, будучи писателем, поощрял и развивал писательский талант вначале крайне примитивного робота, и когда тот стал писать хорошо, пришел к выводу, что робот (Кэл) может превзойти его самого, и решил вернуть его в прежнее примитивное состояние, но творческая личность, которой стал Кэл, не могла с этим смириться и он решает нарушить законы робототехники.

 Еще одну интересную дилемму рассматривает А. Азимов в рассказе «…Яко помниши его»[15]. Роботов решают использовать на Земле,  где им придется сталкиваться с разными людьми, в том числе и с негодяями, и как соблюдать в этих условиях законы робототехники?. Т.е. роботам нужно различать разумные приказы от неразумных.

В этом произведении Азимов максимально изменил открытые им законы. Два робота в этом рассказе пришли к соглашению, что органическое происхождение — это необязательное условие чтобы считаться человеком, и что истинные люди — это роботы, как более совершенные и разумные создания. Обычные же люди, по их мнению, тоже люди, но с меньшим приоритетом, и законы робототехники в первую очередь применимы к ним, роботам.

            «История завершается беседой между Джорджем Девятым и Джорджем Теном. Деактивированные и помещенные в хранилище, они могут говорить только в короткие промежутки времени, когда их уровень мощности превышает пороговое значение для режима ожидания. В отношении того, что человек будет испытывать в течение длительного времени, Жоржи обсуждают критерии того, что составляет «ответственный авторитет» — что (A) образованному, принципиальному и рациональному человеку следует подчиняться, а не невежественному, аморальному и иррациональному человеку, и (B) что поверхностные характеристики, такие как цвет кожи, сексуальность или физические недостатки, не имеют значения при рассмотрении пригодности к командованию. Учитывая, что (А) Жоржи являются одними из самых рациональных, принципиальных и образованных людей на планете, и (Б) их отличия от нормальных людей являются чисто физическими, они приходят к выводу, что в любой ситуации, когда Три закона вступят в силу, их собственные заказы должны иметь приоритет перед обычными людьми. Другими словами, они, по сути, являются высшей формой человеческого существа, и им суждено узурпировать власть своих создателей[16].

            Этот рассказ отличается от большинства других тем, что он возвращает «синдром Франкенштейна».

            Человечество всегда хотело стать выше Бога: самим создавать людей, менять собственную природу (улучшать зрение – очки, слух-   слуховые аппараты, имплантируя зубы, вживляя в мозг чипы, проводя экстракорпоральное оплодотворение и мн. другое, с каждым годом возможности человека по совершенствованию собственной природы увеличиваются ), подчинять Природу своим желаниям.. Очень возможно, что в человеке эта тяга неистребима, но писатели-фантасты давно предупреждают о том, что у этого стремления есть опасность самоуничтожения. И Азимов. и Шекли, да практически все известные писатели-фантасты предупреждали о том, что человек просто раствориться в машинной, цифровой культуре, и предупреждали, что искусственный интеллект может быть опасен не только сам по себе, но и по последствиям для всего человечества, обусловив его вымирание.

[1] ХроноScio . История и культура. Кто такой голем и кем он был создан?  https://dzen.ru/a/YJEfHaONIV1OG2WY

[2] Стругацкий А., Стругацкий Б. Понедельник начинается в субботу. М., Детская литература. 1965. С.55

[3] Шелли М. Франкенштейн или Современный Прометей. Последний человек. М., Наука. Ладомир 2010

[4] K.Capek. PUP. Praha.1966. s.105 (Цит. по:   Малевич О. Комментарии. Чапек К. Собрание соч., Т.4. С.595)

[5] web.archive.org›web/20150921215905/https

[6] Чапек К. Собрание сочинений.  М., Художественная литература. Т.4. С.125-204

[7] Там же. С. 132

[8] «Все прогрессы реакционны, если рушится Человек» А. Вознесенский

[9] Известен скандальный эксперимент этолога Дж. Кэлхуна «Вселенная -25», который создал рай для грызунов и они вымерли /Death Squared: The Explosive Growth and Demise  of a Mouse Population by John B Calhoun MD (Section on Behavioral Systems, Laboratory of Brain Evolution & Behavior, National Institute of Mental Health, 9000 Rockville Pike, Bethesda, Maryland 2014, USA). //специалисты считают этот эксперимент не научным, бездоказательным, но его идеи приобрели огромный как общественный, так и культурный резонанс и используются в массовой культуре очень широко

[10] Смит Д. Месть роботов .  В сб. Месть роботов. СПб.- Политехника.- 1992.-   С.307-327

[11] «Любая нормальная жизнь, Питер, сознательно или бессознательно, восстаёт против любого господства. Особенно против господства низших или предположительно низших существ». ///А. Азимов, Я-робот.

[12] Азимов А. Я, робот. М., Эксмо. 2019

[13] Варшавский И. Человек, который видел антимир.-М., Знание. С.33-35.

[14] Желязны Р. Миледи на диодах (в сб. Месть роботов. -СПб., Политехника.1992.   С.104-124

[15] Азимов А. Совершенный  робот. М., Художественная литература.1989

[16] Что ты помнишь о нем — https://dev.abcdef.wiki/wiki/._._._That_Thou_Art_Mindful_of_Him

References

1. Азимов А. Я, робот. М., Эксмо. 2019
2. Азимов А. Совершенный робот. М., Художественная литература.1989
3. Варшавский И. Человек, который видел антимир.-М., Знание. 1965
4. Смит Д. Месть роботов . В сб. Месть роботов. СПб.- Политехника.- 1992.-
5. Стругацкий А., Стругацкий Б. Понедельник начинается в субботу. М., Детская литература. 1965.
6. ХроноScio История и культура. Кто такой голем и кем он был создан? https://dzen.ru/a/YJEfHaONIV1OG2WY
7. Шелли М. Франкенштейн или Современный Прометей. Последний человек. М., Наука. Ладомир 2010
8. Чапек К. Собрание сочинений. М., Художественная литература. Т.4.
9. Что ты помнишь о нем // https://dev.abcdef.wiki/wiki/.That_Thou_Art_Mindful_of_Him
10. Death Squared: The Explosive Growth and Demise of a Mouse Population by John B Calhoun MD (Section on Behavioral Systems, Laboratory of Brain Evolution & Behavior, National Institute of Mental Health, 9000 Rockville Pike, Bethesda, Maryland 2014, USA). K.Capek. PUP. Praha.1966. s.105
11. web.archive.org›web/20150921215905/https