Homo Roboticus? Люди и машины в поисках взаимопонимания Маркофф Джон

Политехнический музей – национальный музей науки и техники, один из крупнейших научно-технических музеев мира. Миссия музея – просвещение и популяризация научных и технических знаний:

• Мы верим, что миром движут любопытство и созидание.

• Мы открываем людям прошлое, настоящее и будущее науки.

• Мы создаем территорию просвещения, свободной мысли и смелого эксперимента.

Среди просветительских проектов музея – многочисленные выставки, знаменитый Лекторий, Научные лаборатории для детей, Фестиваль актуального научного кино, а также Издательская программа, цель которой – поддержка самых качественных научно-популярных книг, отобранных экспертами музея и выпущенных в сотрудничестве с лучшими издательствами страны.

Вы держите в руках одну из этих книг.

Подробнее о музее и его проектах – на сайте www.polymus.ru

Мне нравится мечтать

о кибербудущем,

где мы, свободные от трудов,

вернемся к матушке-природе

и нашим братьям меньшим

и за всеми нами будут присматривать

машины благодати и любви.

Ричард Бротиган.За всем присматривают машины благодати и любви

Предисловие

Как-то весной 2014 г. я припарковался у небольшого кафе возле поля для гольфа в Стэнфорде. Рядом остановилась Tesla, и женщина, сидевшая за рулем, достала сумку для клюшек. Потом она повернулась и пошла к полю для гольфа, а сумка последовала за ней – сама. Я был поражен, но запрос «роботы – сумки для клюшек» в Google показал, что в таком помощнике нет ничего необычного. Робот – сумка для клюшек CaddyTrek стоимостью $1795 – всего лишь один из множества предметов роскоши, которые можно увидеть в наше время на поле для гольфа в Кремниевой долине.

Роботы все прочнее входят в нашу повседневную жизнь. Дешевые датчики, мощные компьютеры, программы искусственного интеллекта делают их все более самостоятельными. Они помогают нам, они заменяют нас. Они преобразуют здравоохранение и уход за пожилыми точно так же, как это произошло с характером боевых действий. Вместе с тем, хотя роботы не один десяток лет фигурируют в литературе и кинематографе, мы не готовы к появлению нового мира.

Идея этой книги зародилась в 1999–2001 гг., когда я брал интервью, превратившиеся в конце концов в книгу «Что сказал Соня: Как контркультура шестидесятых сформировала индустрию персональных компьютеров» (What the Dormouse Said: How the Sixties Counterculture Shaped the Personal Computer Industry). Мое первоначальное исследование походило на упражнение по изложению «автобиографии в обратном порядке». Я рос в Пало-Альто – городе, который стал впоследствии сердцем Кремниевой долины – в 1950-х гг. и первой половине 1960-х гг., но уехал в решающее десятилетие, когда соединение компьютерных и коммуникационных технологий заложило фундамент индустрии персональных компьютеров и современного интернета. Вернулся я в момент зарождения компьютерной эры, которая вскоре захватила мир, преобразуя все, что она затрагивала. Годы спустя, собирая материалы для «Сони», я обратил внимание на поразительное расхождение намерений разработчиков первых интерактивных компьютерных систем. В начале века информации будущее компьютерной индустрии находилось в руках двух независимых исследователей. Их лаборатории располагались примерно на одном расстоянии от кампуса Стэнфордского университета. В 1964 г. математик и специалист по информатике Джон Маккарти, придумавший термин «искусственный интеллект», начал разрабатывать технологии для воссоздания человеческих способностей. Он полагал, что этот проект можно завершить всего лишь за десятилетие. В это же время по другую сторону от кампуса Дуглас Энгельбарт, мечтавший усовершенствовать мир, считал, что компьютеры следует использовать для «усиления» или расширения способностей человека, а не для его копирования или замены. Он занялся созданием системы, которая позволяла бы небольшим группам работников умственного труда быстро увеличивать интеллектуальные возможности и трудиться совместно. Если один исследователь пытался заменить человека умными машинами, то другой стремился расширить возможности человека. Конечно, в целом такое расхождение характеризуется и двойственностью, и парадоксальностью. Парадокс заключается в том, что технологии, которые расширяют интеллектуальные возможности человека, могут и заменять его.

В этой книге я попытался показать подходы ученых, инженеров и программистов к решению вопросов углубления взаимосвязи человека и машины. Иногда разработчики стараются не задумываться о парадоксальности связи между искусственным интеллектом и усилением интеллекта. Нередко все сводится к экономическим аспектам. Сейчас быстро растет спрос на роботов с возможностями, значительно превосходящими возможности промышленных роботов прошедшего полувека. Даже в таких уже в высокой степени автоматизированных отраслях, как сельское хозяйство, новое поколение сельскохозяйственных роботов управляет тракторами и уборочными машинами, занимается орошением, уничтожением сорняков, ведет наблюдение с воздуха и в целом увеличивает продуктивность ферм.

Немало случаев, когда ученые всерьез задумываются об этом парадоксе, и многие из них решительно встают на сторону Энгельбарта. Например, исследователь из компании Microsoft Эрик Хорвиц, доктор медицины и в прошлом президент Ассоциации развития искусственного интеллекта, который не один десяток лет работает над системами для расширения возможностей человека при работе в офисе. Он создал роботов с функциями секретарей, выполняющих такие задачи, как отслеживание календарных графиков, встреча посетителей и контроль соблюдения режима работы. Он создает машины, которые одновременно расширяют возможности человека и заменяют его.

Другие, подобно уроженцу Германии Себастьяну Труну, исследователю искусственного интеллекта и специалисту в области робототехники (а также соучредителю компании дистанционного образования Udacity), выстраивают мир, наполненный автономными машинами. Как основатель проекта Google car, Трун возглавлял разработку технологии беспилотного транспорта, который когда-нибудь заменит миллионы водителей. В обоснование необходимости таких нововведений он указывает, сколько жизней будет спасено и как снизится травматизм.

Центральная тема этой книги – двойственность и парадоксальность, присущие деятельности разработчиков, которые то расширяют возможности человека, то заменяют людей с помощью создаваемых систем. Нагляднее всего это проявляется в контрастирующих философиях Энди Рубина и Тома Грубера. Рубин был первым архитектором империи роботов Google, а Грубер – ключевой разработчик Siri, интеллектуального помощника Apple. Оба они входят в число самых ярких представителей Кремниевой долины, и их проекты основываются на работе предшественников: Рубин – отражение Джона Маккарти – стремится к замене людей, а Грубер – последователь Дуга Энгельбарта, старающийся расширить возможности человека.

Сегодня и робототехника, и программы для искусственного интеллекта все более и более вызывают воспоминания о начале эры персональных компьютеров. Как и увлеченные своим делом люди, создавшие в свое время индустрию персональных компьютеров, разработчики искусственного интеллекта и робототехники одержимы техническим прогрессом, новыми продуктами и передовыми компаниями. Вместе с тем многие из разработчиков программного обеспечения и инженеров-робототехников чувствуют себя неловко, когда встает вопрос о потенциальных последствиях их изобретений, и нередко просто отшучиваются. Этот вопрос, однако, очень важен. Не существует «слепого часовщика»[1], определяющего эволюцию машин. Куда мы пойдем – в сторону расширения возможностей человека или замены его автоматами – зависит от решений конкретных разработчиков.

Легко, конечно, представить одну группу как героев, а другую – как злодеев, но последствия слишком многогранны, чтобы делить все на черное и белое. Это лишь два полярных видения перспектив искусственного интеллекта и робототехники, а между ними лежит будущее, которое может вести к утопии, антиутопии или еще бог знает куда. Стоит ли добиваться повышения уровня жизни и избавления от тяжелой работы, если это также означает отказ от свободы и неприкосновенности частной жизни? Существуют ли правильный и неправильный подходы к разработке этих систем? Я думаю, что ответ зависит от самих разработчиков. Одна группа создает мощные машины, которые позволяют людям выполнять то, что ранее казалось немыслимым, вроде роботов для исследования космоса, а другая пытается заменить людей машинами, как это делают создатели искусственного интеллекта, позволяющего роботам выполнять работу врачей и адвокатов. Важно, чтобы эти два лагеря не теряли контакта друг с другом. То, как мы разрабатываем все более автономные машины и взаимодействуем с ними, определяет характер нашего общества и экономики. От этого все в большей мере зависит каждый аспект современного мира, начиная с того, будем ли мы жить в более или менее стратифицированном обществе, и заканчивая тем, какой смысл мы будем вкладывать в понятие «человек».

Соединенные Штаты находятся в самом центре вновь вспыхнувшего спора о последствиях развития искусственного интеллекта и робототехники и их влиянии на занятость и качество жизни. Мы живем в удивительное время – автоматизация поражает ряды рабочих мест белых воротничков с такой же стремительностью, как она изменяла заводские цеха в начале 1950-х гг. Но возобновление «великого спора об автоматизации» спустя полвека после его начала напоминает сцены из фильма «Расёмон»: все видят одно и то же, но интерпретируют по-разному, кому как выгоднее. Несмотря на все более громкие предупреждения о страшных последствиях компьютеризации, количество работающих американцев продолжает расти. Аналитики на основании одних и тех же данных Бюро трудовой статистики предрекают одновременно и глобальное сокращение числа рабочих мест, и новый трудовой ренессанс. Независимо от того, что происходит с живым трудом, исчезает он или видоизменяется, ясно одно – новая эра автоматизации оказывает глубокое влияние на общество. Менее понятно, несмотря на огромное количество сказанного и написанного, куда в действительности идет технологическое общество.

У тех немногих, кто имел дело с огромными мейнфреймами выпуска 1950-х и 1960-х гг., нередко возникало ощущение зловещего контроля с их стороны. В 1970-х гг. появились персональные компьютеры, которые стали восприниматься как нечто более дружественное, – их можно было потрогать, а значит, и управлять ими. Сегодня мы являемся свидетелями рождения «интернета вещей», и компьютеры вновь начинают «исчезать», становясь частью предметов повседневного пользования, которые в результате приобретают магические свойства – детекторы дыма умеют говорить и слышать, телефоны, аудиоплееры и планшеты имеют более значительные возможности, чем суперкомпьютеры всего несколько десятилетий назад.

Со «сплошной компьютеризацией» мы вошли в век умных машин. В ближайшие годы искусственный интеллект и робототехника изменят мир сильнее, чем персональные компьютеры и интернет за прошлые три десятилетия. Автомобили будут ездить сами, а роботы возьмут на себя работу служащих FedEx и, конечно, врачей и адвокатов. Новая эра сулит нам огромные физические и вычислительные возможности, однако вновь ставит вопрос, впервые возникший больше 50 лет назад: кто кого будет контролировать, мы эти системы или они нас?

Джордж Оруэлл сформулировал этот вопрос предельно красноречиво. Его роман «1984» известен описанием государства тотального надзора, но там есть также идея о том, что государственный контроль можно осуществлять, сжимая письменную и устную речь, чтобы было труднее выражать и, соответственно, воспринимать альтернативные идеи. Оруэлл ввел в обращение вымышленный язык, «новояз», который эффективно ограничивал свободу мысли и самовыражения.

Имея интернет с его миллионами каналов, мы на первый взгляд сегодня как никогда далеки от оруэлловского кошмара, однако все чаще умные машины принимают решения за нас. Если бы такие системы просто давали советы, вряд ли это можно было бы считать «контролем» в оруэлловском смысле. Но так превозносимый в наши дни мир «больших данных» сделал интернет совсем не таким, каким он был всего десятилетие назад. Интернет расширил сферу использования компьютерной техники и начал трансформировать нашу культуру. Фактически мы получаем неооруэлловское общество с более мягкой формой контроля. Интернет несет с собой беспрецедентные свободы и одновременно, как это ни парадоксально, выводит контроль и надзор далеко за пределы того, что предполагал Оруэлл. Каждый шаг и каждое высказывание теперь отслеживаются и регистрируются если не Старшим братом, то растущей армией коммерческих «младших братьев». Интернет стал всепроникающей технологией, которая касается каждого аспекта нашей культуры. Сегодня смартфоны, ноутбуки и настольные компьютеры слушают нас вроде бы по нашему желанию, а их камеры наблюдают за нами, надо думать, с лучшими намерениями. Нарождающийся «интернет вещей» вводит в наши дома незаметных, всегда находящихся в состоянии готовности и, наверное, полезных роботов, подобных Echo компании Amazon и Jibo Синтии Бризил.

Будет ли мир, за которым присматривают те, кого поэт 1960-х Ричард Бротиган назвал «машинами благодати и любви», свободным? Свободным в смысле «свободы слова», а не «бесплатного пива»{1}. Лучший способ получить ответ на вопрос о контроле в мире, полном умных машин, – понять ценности тех, кто фактически создает эти системы.

В Кремниевой долине среди оптимистически настроенных специалистов популярно мнение, что сочетания силы инноваций и закона Мура – удвоения вычислительной мощности каждые два года – достаточно для объяснения технического прогресса. Мало кто задумывается о том, почему одна технология берет верх над другими или почему та или иная технология появляется в определенный момент. Это представление – полное отрицание того, что социологи называют «социальным конструированием технологии», т. е. понимания того, что мы формируем наши методы, а не они нас.

Мы уже не один век сосуществуем с машинами вроде экскаватора, которые заменяют работников физического труда, но умные машины, приходящие на смену белым воротничкам и работникам умственного труда, – явление новое. Информационные технологии не просто заменяют людей, они демократизируют определенные процессы. Использование персонального компьютера не только позволяет обходиться без секретаря. Интернет и сеть значительно уменьшили стоимость, например, новостных изданий, они не только полностью изменили издательский процесс, но и коренным образом трансформировали сбор информации и представление новостей. Аналогичным образом технологии коррекции тона позволяют петь любому, просто нажав на кнопку, без обучения, а множество компьютеризированных музыкальных систем дают возможность каждому желающему стать композитором и музыкантом. От того, какими будут эти системы, зависит, что нас ждет – невиданный ренессанс или нечто мрачное, мир, где профессии людей будут полностью переданы машинам. Идеи Маккарти и Энгельбарта привели к началу новой эры, в которой компьютеры должны преобразовать экономику и общество в такой же мере, в какой это сделала промышленная революция.

Недавние эксперименты с гарантированным «базовым доходом» для беднейшей части мира также могут пролить свет на будущее работы в условиях наступления блистательных машин. Результаты этих экспериментов оказались поразительными, поскольку они опровергли широко распространенную идею о том, что экономическая защищенность подавляет желание работать. Эксперимент в нищей индийской деревушке в 2013 г., гарантировавший удовлетворение базовых потребностей, дал противоположный результат. Бедные не расслабились, получив правительственные субсидии, а стали более ответственными и эффективными. Не исключено, что у нас скоро появится возможность провести такой же эксперимент в промышленно развитых странах. Идея обеспечения базового дохода уже включена в политическую повестку дня в Европе. Эта идея, родившаяся в 1969 г. в администрации Никсона в форме отрицательного подоходного налога, в настоящее время политически неприемлема в Соединенных Штатах. Однако ситуация быстро изменится, если технологическая безработица распространится достаточно широко.

Что произойдет, если наша рабочая сила больше не будет нужна? Что, если рабочие места складских рабочих, мусорщиков, врачей, адвокатов и журналистов займут роботы? Конечно, никто не знает, каким именно окажется будущее, но, на мой взгляд, общество увидит, что у людей внутренне заложено желание работать или иным образом производить что-то, имеющее ценность. Новая экономика создаст рабочие места, которые невозможно представить себе сегодня. Писатели-фантасты, впрочем, уже хорошо поработали в этой области. Почитайте «Мать штормов» (Mother of Storms) Джона Барнса или «Аччелерандо» (Accelerando) Чарли Стросса, чтобы представить, как может выглядеть экономика будущего. Простой ответ заключается в том, что творческий потенциал человека безграничен, и если о наших базовых потребностях будут заботиться роботы и искусственный интеллект, то мы найдем возможности развлекаться, учиться и заботиться друг о друге новыми способами. Ответы могут быть туманными, но вопросы становятся все более четкими. Кем будут эти взаимодействующие с нами и заботящиеся о нас интеллектуальные машины – нашими союзниками или поработителями?

В этой книге я представляю читателям разнородную группу специалистов по информатике, программистов, робототехников и нейробиологов. Все они считают, что мы подходим к переломному моменту, за которым нас ждет мир машин, заменяющих людей и даже превосходящих их по некоторым качествам. Они предлагают целый спектр мнений о нашем месте в этом новом мире.

В первой половине нынешнего столетия обществу придется принять трудные решения относительно умных машин, которые могут потенциально быть нашими слугами, партнерами или хозяевами. На заре компьютерной эры в середине прошлого столетия Норберт Винер предупреждал о потенциальных последствиях автоматизации. «Мы можем быть смиренными и спокойно жить в окружении машин-помощников, – писал он, – или проявить самонадеянность и погибнуть».

Это предупреждение по-прежнему актуально.

Джон МаркоффСан-Франциско, КалифорнияЯнварь 2015 г.

Глава 1

Выбор направления – человек или машина

К тому времени как Билл Дюваль бросил колледж, он уже был классным программистом. Довольно быстро Дюваль подключился к разработке Shakey, шестифутового робота на колесах. Звездный час Shakey наступил в 1970 г., когда журнал Life назвал его первой «электронной личностью». Если взять для сравнения персонажей саги «Звездные войны», то Shakey попадал скорее в категорию мобильных роботов R2-D2, чем человекоподобных C-3PO. В принципе это был электронный агрегат с датчиками и электроприводом на колесах, управляемый сначала по проводам, а позднее по радио расположенным неподалеку мейнфреймом.

Shakey не был первым в мире мобильным роботом, но его создавали как первого по-настоящему автономного робота. В рамках одного из первых экспериментов в области искусственного интеллекта Shakey должен был анализировать окружающую обстановку, планировать собственные действия и выполнять задания. Он мог находить и двигать предметы или перемещаться по заданному маршруту в своем очень структурированном мире. К тому же как предвестник будущего он играл роль прототипа гораздо более перспективных машин, которые должны были жить, выражаясь военным языком, во «враждебной обстановке».

Хотя этот проект сейчас почти забыт, создатели Shakey впервые применили компьютерные технологии, которыми сегодня пользуются более миллиарда человек. Навигационные программы, применяемые повсеместно – от автомобилей до смартфонов, строятся на принципах, разработанных создателями Shakey. Их алгоритм A* – самый известный способ нахождения кратчайшего пути между двумя пунктами. Ближе к концу проекта в числе исследовательских задач появилось управление речью, и сегодняшний сервис Siri компании Apple – отдаленный потомок машины, начавшей жизнь как совокупность исполнительных механизмов и датчиков.

Дюваль вырос на полуострове к югу от Сан-Франциско и был сыном физика, участвовавшего в разработках военного назначения в Стэнфордском исследовательском институте, где находился Shakey. Он прошел все курсы программирования, которые предлагал Калифорнийский университет в Беркли в середине 1960-х гг. Через два года Дюваль бросил учебу в университете, чтобы присоединиться к команде, где работал его отец, и оказался в нескольких милях от кампуса Стэнфорда в замкнутой группе избранных, для которых мейнфрейм был эквивалентом первобытного божества.

Для молодого человека, одержимого вычислительной техникой, Стэнфордский исследовательский институт, вскоре переименованный в SRI International, открывал ворота в мир, где высококвалифицированные программисты создавали изящные программы для машин. В 1950-х гг. в SRI разработали первые компьютеры для обработки чеков. Дювалю поручили автоматизацию операций одного из английских банков, но тот был поглощен другим банком, и проект заморозили на неопределенное время. Дюваль превратил неожиданный перерыв в свой первый отпуск в Европе, а затем направился в Менло-Парк, чтобы возобновить роман с компьютерами в команде исследователей искусственного интеллекта, занимавшихся Shakey.

Как и многие другие программисты, Дюваль был одиночкой. В средней школе за десятилетие до выхода в свет фильма «Уходя в отрыв» (Breaking Away) он вступил в местный велосипедный клуб и колесил на байке по холмам за Стэнфордом. В 1970-х гг. этот фильм изменил отношение американцев к велогонкам, но в 1960-е гг. они все еще были богемным спортом, привлекавшим разного рода индивидуалистов и белых ворон. Это вполне подходило Дювалю. До поступления в среднюю школу он учился на полуострове в альтернативном учебном заведении, где считали, что дети должны обучаться в процессе практической деятельности и в соответствии с собственным темпом. Одним из его учителей был Айра Сандперл, ученик Ганди, завсегдатай книжного магазина Кеплера возле кампуса Стэнфорда. Именно Сандперл, в число подопечных которого входила также Джоан Баэз[2], привил Дювалю независимый взгляд на знания, учебу и мир в целом.

Дюваль был представителем первого поколения асов в сфере программирования, небольшой группы со своей субкультурой, которая зародилась в Массачусетском технологическом институте, где работа на компьютере была самоцелью, где свободно распространялись знания и коды, необходимые для оживления машин. Эта культура быстро распространилась по Западному побережью, где она пустила корни в центрах компьютерных разработок вроде Стэнфорда и Калифорнийского университета в Беркли.

В ту эпоху компьютеры были невероятной редкостью – гигантскими машинами могли похвастаться лишь банки, университеты и финансируемые правительством исследовательские центры. В SRI Дюваль получил неограниченный доступ к машине размером с комнату, которую когда-то приобрели для элитного финансируемого военными проекта, а затем стали использовать для управления Shakey. В SRI и в расположенной рядом Стэнфордской лаборатории искусственного интеллекта (Stanford Artificial Intelligence Laboratory – SAIL), прятавшейся в холмах за Стэнфордским университетом, существовала тесно связанная группа исследователей, уже тогда веривших в возможность создания машины, обладающей способностями человека. Для членов этой группы Shakey был прообразом будущего, и они верили, что всего через несколько лет научный прорыв позволит машинам действовать подобно людям.

Тогда, в середине 1960-х гг., в небольшом сообществе исследователей искусственного интеллекта на обоих побережьях царил фактически безграничный оптимизм. В 1966 г., когда SRI и SAIL в Калифорнии уже работали над созданием роботов и программ искусственного интеллекта, на другом конце страны, в Массачусетском технологическом институте, еще один пионер в сфере искусственного интеллекта, Марвин Мински, дал студенту последнего курса задание решить проблему машинного зрения. По его представлениям, этот проект можно было выполнить за лето. Действительность оказалась обескураживающей. Хотя искусственный интеллект, возможно, и должен был изменить мир, Дюваль, который уже поучаствовал в нескольких проектах SRI до переключения на Shakey, сразу понял, что роботу еще невообразимо далеко до чего-то реального.

Shakey жил в большой пустой комнате с покрытым линолеумом полом и парой электронных блоков. Вокруг были разбросаны похожие на коробки объекты, чтобы робот мог с ними «играть». Вместилище интеллекта, мейнфрейм, располагалось поблизости. Датчики Shakey фиксировали окружающую картину, а затем он стоял и «думал» в течение нескольких минут, прежде чем возобновить движение в своем замкнутом и контролируемом мире. Это было сродни наблюдению за ростом травы. Помимо прочего, робот часто ломался или у него разряжался аккумулятор после нескольких минут работы.

За несколько месяцев Дюваль выжал максимум из своего положения. Ему было ясно, что расстояние до заявленной цели проекта – создание автоматического часового или разведчика – измеряется световыми годами. Он пытался утешиться программированием дальномера, громоздкого устройства с вращающимся зеркалом, но в нем постоянно подводила механика, что превращало разработку программного обеспечения в упражнение по предсказанию сбоев и их устранению. Один из руководителей сказал, что проекту нужно «вероятностное дерево решений» для усовершенствования системы зрения робота. Поэтому вместо того, чтобы работать над этим специальным механизмом, Дюваль стал заниматься созданием программы, которая могла бы генерировать подобные деревья. Система зрения Shakey работала лучше, чем дальномер. Даже при простейшей программе обработки видеоданных робот мог различать края и базовые формы – важнейшие элементы для ориентирования и перемещения в пространстве.

Руководитель Дюваля считал, что в его команде «наукой» должны заниматься только «ученые». Программистам отводилось место чернорабочих низкого ранга, которые воплощали идеи старших коллег. Хотя лидеры группы, наверное, имели представление о том, куда нужно двигаться, проект был организован по-военному, и это делало работу неинтересной для программистов низшего уровня вроде Дюваля, писавших драйверы устройств и другие интерфейсные программы. Такая ситуация не устраивала молодого человека, одержимого компьютерами.

Роботы казались ему модной идеей, но до выхода на экраны «Звездных войн» привлекательных образчиков было не так много. В 1950-х гг. существовал робот Robby из фильма «Запретная планета» (Forbidden Planet), но в остальном мало что вызывало вдохновение. Shakey просто работал не слишком хорошо. К счастью, Стэнфордский исследовательский институт был большой организацией, и вскоре внимание Дюваля привлек более интригующий проект.

В холле, куда выходила лаборатория Shakey, он часто сталкивался с представителями другой группы исследователей, которая занималась разработкой компьютера для реализации системы NLS (oN-Line System). Если управление в лаборатории Shakey было иерархическим, то группа под руководством ученого-компьютерщика Дуга Энгельбарта работала совершенно по-другому. Исследователи Энгельбарта, разношерстное собрание консервативных инженеров в белых рубашках и длинноволосых программистов, двигались в сфере вычислительной техники настолько в ином направлении, что оно находилось в другой системе координат. Проект Shakey был нацелен на имитирование умственной и физической деятельности человека. Энгельбарт ставил совсем другую цель. Во время Второй мировой войны он наткнулся на статью Ваннивара Буша, который предложил поисковую систему Memex для работы с информацией на микрофишах. Позже Энгельбарт решил, что такую систему можно воссоздать с использованием только что появившихся компьютеров. На его взгляд, наступило время для создания интерактивной системы сбора знаний и организации информации таким образом, чтобы позволить небольшой группе людей – ученых, инженеров, преподавателей – творить и сотрудничать более эффективно. К этому времени Энгельбарт уже изобрел компьютерную мышь, а также выдвинул идею гипертекстовых ссылок, которая десятилетия спустя станет основой Всемирной паутины. Как и Дюваль, он был чужим в изолированном мире компьютерной науки, где основой считали теорию и абстракцию.

Культурный разрыв между миром искусственного интеллекта и его антиподом – идеей Энгельбарта, получившей название «усиление интеллекта», – был очевидным. Когда Энгельбарт приехал в Массачусетский технологический институт в 1960-х гг. для демонстрации своего проекта, Марвин Мински посетовал, что это пустая трата выделенных на исследования денег, которая приведет к созданию всего лишь не в меру расхваленного текстового процессора.

Хотя Энгельбарт и не добился уважения влиятельных специалистов по информатике, его совершенно не смущал отход от мейнстрима академического мира. Участвуя в регулярных обзорных совещаниях Агентства перспективных оборонных исследований (DARPA) Пентагона, где ученые делились информацией о результатах своей работы, он всегда предварял презентации словами: «Это не теория вычислительных машин». Затем Энгельбарт излагал свои взгляды на использование компьютеров для «загрузки» в них проектов с целью обмена информацией, обучения и продвижения инноваций.

Несмотря на то что эти идеи не совпадали с мейнстримом компьютерной науки, они захватили Билла Дюваля. Вскоре он перебрался на другую сторону холла – в лабораторию Энгельбарта. Менее чем за год он прошел путь от попыток создать программы для первого полезного робота до работы над программным обеспечением для системы связи, которая, позволив соединить два компьютера, стала прообразом интернета. Поздно вечером 29 октября 1969 г. Дюваль подключил систему NLS Энгельбарта в Менло-Парке к компьютеру в Лос-Анджелесе, которым управлял другой молодой программист, по арендованной у телефонной компании линии передачи данных. Билл Дюваль стал первым, кто переключился с исследований в области замены человека компьютером на использование вычислительной техники для усиления интеллекта человека, и одним из первых, кому удалось побывать по обе стороны от невидимой линии, разделяющей и сегодня два соперничающих лагеря разработчиков.

Интересно отметить, что разработки, начатые в 1960-х гг., получили применение в 1970-е гг. в третьей лаборатории, также расположенной возле Стэнфорда. Исследовательский центр компании Xerox в Пало-Альто развил задумки, выпестованные в лабораториях Маккарти и Энгельбарта, и превратил их в идеи персонального компьютера и компьютерной сети, которые в свою очередь были успешно реализованы компаниями Apple и Microsoft. Среди прочего индустрия персональных компьютеров инициировала то, что венчурный инвестор Джон Дорр в 1990-х гг. назвал «самым крупным законным накоплением богатства в истории»{2}.

Большинству Дуг Энгельбарт известен как изобретатель мыши, однако его гораздо более грандиозная идея заключалась в использовании компьютерных технологий с тем, чтобы небольшие группы людей могли работать над «загруженными» проектами, используя мощные программные средства организации деятельности и создавая, как он выражался, «коллективный IQ», превосходящий возможности отдельного человека. Мышь была просто гаджетом, облегчавшим взаимодействие с компьютером.

Влияние на мир Маккарти, создавшего Стэнфордскую лабораторию искусственного интеллекта, было во многих отношениях не меньше влияния Энгельбарта. Его лаборатория дала компании Xerox, а затем и Apple Computer таких разработчиков, как Алан Кей и Ларри Теслер, внесших немалый вклад в создание современного персонального компьютера. Уитфилд Диффи вынес оттуда идеи, которые привели к появлению метода криптографии, обеспечивающего безопасность нынешней электронной торговли.

Впрочем, в SRI и SAIL тогда были еще два направления работ, которые только сейчас начинают оказывать значительное влияние на мир: роботы и искусственный интеллект. Они не только трансформируют экономику, они ведут к новой эре умных машин, фундаментально меняющих наш образ жизни.

Появление вычислительной техники и роботов было предсказано до организации этих лабораторий. Еще на заре компьютерной эры, в 1948 г., Норберт Винер сформулировал концепцию кибернетики. В своей книге «Кибернетика» (Cybernetics) он обозначил контуры новой прикладной науки, которая занималась вопросами управления и коммуникации и предвосхищала обе технологии. Винер также предвидел последствия этих новых направлений техники: через два года после «Кибернетики» вышла следующая книга – «Кибернетика и общество» (The Human Use of Human Beings), где автор рассуждал о ценности и опасности автоматизации.

Винер был одним из первых, кто задумался об оборотной стороне информационной технологии – возможности ее выхода из-под контроля людей и подчинения их себе. Еще важнее то, что он первым выступил с критикой машинного интеллекта, указав на опасность передачи принятия решений системам, которые в отсутствие способности мыслить абстрактно будут принимать решения с чисто утилитарной точки зрения, а не с учетом более широких человеческих ценностей.

Энгельбарт в 1950-х гг. работал электронщиком в Научно-исследовательском центре Эймса NASA и наблюдал, как инженеры-авиастроители сначала создают небольшие модели для аэродинамических испытаний, а затем масштабируют их до полноразмерных самолетов. Он быстро понял, что новые кремниевые компьютерные чипы можно масштабировать в обратную сторону – уменьшать вплоть до того, что будут называть «микросхемами». Миниатюризация позволит размещать больше схем в одном и том же пространстве при тех же затратах. А главное, увеличение плотности схем должно оказывать на производительность не аддитивный, а мультипликативный эффект. Для Энгельбарта это было решающим. Уже через год после появления первого современного компьютерного чипа в конце 1950-х гг. у него не осталось сомнений в том, что в конечном итоге появятся сравнительно дешевые вычислительные мощности, которые изменят лицо цивилизации.

Идея экспоненциального роста – закон Мура, в частности, – является одним из фундаментальных достижений Кремниевой долины. Энгельбарт и Мур понимали, что мощность компьютеров будет возрастать все быстрее. Аналогичным образом должна падать их стоимость так, что очень скоро мощные компьютеры окажутся доступными даже беднейшим нациям. За последнюю половину десятилетия это ускорение обеспечило быстрое развитие технологий, которые необходимы для создания искусственного интеллекта: машинное зрение, распознавание речи, контактное восприятие и манипуляторы. Машины уже умеют чувствовать вкус и запах, однако более существенные инновации приходят из сферы моделирования нейронов человека с помощью электронных схем, где наметился прогресс в распознавании образов.

Ускорение развития в области искусственного интеллекта позволило кое-кому – взять хотя бы специалиста по вычислительной технике Моше Варди из Университета Райса – провозгласить неминуемое вытеснение человека из очень многих сфер уже к 2045 г.{3} В соответствии с еще более радикальными представлениями компьютеры развиваются настолько быстро, что превзойдут по интеллекту человека через одно или самое большее через два поколения. Писатель-фантаст и специалист по вычислительной технике Вернор Виндж рассуждает о компьютерной «сингулярности» – таком быстром развитии машинного интеллекта, при котором он переходит некий порог, а потом в результате пока неопределенного скачка становится сверхчеловеческим.

Это очень интересное предположение, однако пока что рано рассматривать его всерьез. В связи с этим стоит вспомнить замечание, сделанное долгое время работавшим в Кремниевой долине обозревателем Полом Саффо по поводу комплексного воздействия вычислительной техники на мир. Он постоянно напоминал элите компьютерной индустрии Кремниевой долины: «Не путайте ясное видение с тем, что хорошо видно вблизи». Тем, кто верит, что за несколько десятилетий живой труд уйдет в прошлое, не следует забывать, что даже на фоне глобализации и автоматизации в 1980–2010 гг. численность работающих в США постоянно возрастала. Экономисты Фрэнк Леви и Ричард Мюрнейн недавно показали, что с 1964 г. в экономике было создано 74 млн рабочих мест{4}.

Экономист из Массачусетского технологического института Дэвид Отор предложил детальное объяснение последствий текущей волны автоматизации. По его словам, ликвидация рабочих мест происходит не повсеместно, а сфокусирована на рутинных задачах, выполняемых теми, кто находится в средней части структуры рабочих мест – белыми воротничками, появившимися после Второй мировой войны. Расширение продолжается в нижней и верхней частях пирамиды, страдает средняя часть, зато развиваются рынки неквалифицированного и высококвалифицированного труда.

Меня, однако, интересуют не дебаты, а совсем другой вопрос, тот, что впервые был поставлен Норбертом Винером, когда он высказывал свои опасения относительно последствий автоматизации. К чему приведут подходы Маккарти и Энгельбарта? Какими будут последствия решений, принятых сегодняшними исследователями в области искусственного интеллекта и робототехники, которым все легче выбирать между расширением возможностей и заменой «человека в контуре управления» в создаваемых системах и продуктах? Иначе говоря, какие социальные последствия повлечет за собой появление интеллектуальных систем, которые заменяют людей или взаимодействуют с ними в бизнесе, развлечениях и повседневной жизни?

В компьютерном мире сложились два технических сообщества со своими традициями, ценностями и приоритетами. Одно из них – сообщество искусственного интеллекта – стремится к автоматизации различных аспектов деятельности человека. Другое – сообщество человеко-машинного взаимодействия – в большей мере занято развитием идеи «человеко-машинного симбиоза», который предвидел психолог-новатор Джозеф Ликлайдер на заре современной компьютерной эры. Следует заметить, что Ликлайдер в качестве директора Технического офиса информационных проектов DARPA в середине 1960-х гг. финансировал и Маккарти, и Энгельбарта. Именно во времена Ликлайдера DARPA было в буквальном смысле организацией по финансированию «прожектов», в этот период, как считают многие, агентство оказало наибольшее влияние на развитие науки и техники.

Винер первым забил тревогу по поводу проблемы взаимоотношений человека и вычислительных машин. Десятилетие спустя Ликлайдер указал на принципиальное значение грядущего повсеместного использования вычислительной техники и на то, чем ее внедрение отличается от предыдущей эпохи индустриализации. В каком-то смысле Ликлайдер предсказал появление Борга из сериала «Звездный путь». Образ Борга вошел в массовую культуру в 1988 г. – это была раса киборгов, которая существовала как «коллективный разум», а новые индивидуумы присоединялись к нему путем принудительной ассимиляции.

В 1960 г. в одной из своих работ Ликлайдер рассуждал о разнице между «расширением возможностей человека» и «искусственным интеллектом» и предупреждал в отношении автоматизации: «Если взять человека-оператора в системе, то мы видим, что в некоторых областях техники за последние несколько лет произошли фантастические изменения. "Расширение возможностей" уступает место замене человека на автоматику, а люди, которые остаются, нужны, чтобы помогать, а не чтобы помогали им. В некоторых случаях, особенно в основанных на вычислительной технике больших информационных системах и системах управления, человек-оператор в основном отвечает за функции, которые не удалось автоматизировать»{5}. Это наблюдение показывает, насколько роковым является уклон в пользу автоматизации, а не усиления интеллекта.

Ликлайдер, как и Маккарти полдесятилетия спустя, был уверен, что создание «мощного» искусственного интеллекта – машины, обладающей разумом и самосознанием, по меньшей мере сопоставимыми с человеческими, – дело недалекого будущего. Он писал, что период человеко-машинного «симбиоза» вряд ли продлится более двух десятилетий, хотя и допускал, что появление по-настоящему умных машин, способных соперничать с человеком по умственным способностям, придется ждать более десятилетия, а может, даже и более 50 лет.

Хотя он и поставил вопрос о том, что принесет информационная эра – освобождение или порабощение людей, прямого ответа мы от него не получили. Вместо этого он нарисовал то, что стали называть «киборгами», – образ полулюдей-полумашин. С точки зрения Ликлайдера, человек-оператор и вычислительное оборудование гармонично соединятся и станут единой сущностью. С тех пор такое видение будущего многократно и превозносили, и поносили. Однако оно так и не дает ответа на вопрос – будем ли мы хозяевами, рабами или партнерами появляющихся сегодня умных машин?

Возьмем полный спектр человеко-машинного взаимодействия – от простых FAQbot до Google Now и Siri компании Apple. В недалеком будущем, показанном в фильме «Она» (Her), мы видим наделенный голосом Скарлетт Йоханссон искусственный интеллект, способный одновременно вести сотни задушевных разговоров с людьми. В настоящее время Google Now и Siri представляют два совершенно разных стиля взаимодействия человека с машиной. В то время как Siri намеренно и успешно имитирует человека, демонстрируя своеобразное чувство юмора, Google Now действует только как информационное средство, не имеющее личности или лишенное человекоподобия.

Так и подмывает взглянуть на личности руководителей двух конкурирующих компаний с точки зрения этих противоположных подходов. В компании Apple Стив Джобс видел потенциал Siri еще до того, как появилась возможность распознавать речь человека, и ориентировал разработчиков на естественный язык как лучший способ управления компьютером. В Google Ларри Пейдж, наоборот, был против представления компьютера в образе человека.

Как далеко зайдет эта тенденция? Сегодня нельзя сказать ничего определенного. Хотя мы уже можем разговаривать с автомобилями и другими устройствами, используя ограниченные словари, понимание речи и голосовой ввод все еще остаются частью мира «интерфейсов», управляющих компьютерами. Распознавание речи определенно облегчает взаимодействие со множеством сетевых сервисов и приложений для смартфонов, когда глаза и руки заняты. Возможно, прорывы в разработке интерфейса мозг – компьютер окажутся полезными для тех, кто не может говорить, или когда необходимы тишина или скрытность, например при подсчете очков в блек-джеке. Менее ясен вопрос, пройдут ли однажды эти кибернетические помощники тест Тьюринга – проверку, впервые предложенную математиком и ученым-компьютерщиком Аланом Тьюрингом для определения, является ли компьютер «интеллектуальным». Публикация статьи Тьюринга 1951 г. дала начало долгому философскому спору и даже ежегодным соревнованиям. В наши дни более интересна не интеллектуальность машин, а вопрос в том, что означает этот тест с точки зрения взаимоотношений людей и машин.

Тест Тьюринга предполагает, что человек садится перед терминалом и начинает взаимодействовать с неизвестной сущностью, вводя с клавиатуры вопросы и получая ответы. Если через какое-то время он не может определить, кто с ним общается – человек или машина, то машину считают «интеллектуальной». Хотя у теста несколько вариантов и его широко критикуют, с социологической точки зрения он ставит вопрос правильно. Другими словами, он уместен по отношению к человеку, а не к машине.

Осенью 1991 г. я освещал первый конкурс по тесту Тьюринга, спонсируемый филантропом из Нью-Йорка Хью Лёбнером. Это мероприятие состоялось в Компьютерном музее Бостона и привлекло толпу специалистов по вычислительной технике и кучку философов. В то время «боты» – программные роботы, предназначенные для участия в соревнованиях, – были ненамного сложнее легендарной программы Eliza, написанной ученым-компьютерщиком Джозефом Вейценбаумом в 1960-х гг. Эта программа имитировала роджерианский подход в психологии (сконцентрированный на личности человека метод, цель которого – помочь в понимании собственных чувств), и Вейценбаум пришел в ужас, увидев, как студенты начинают вести разговоры по душам с этим первым простым ботом.

Судьи первого конкурса Лёбнера в 1991 г. представляли две широкие категории людей: компьютерно грамотных и незнакомых с компьютером. С точки зрения судей, не имевших опыта работы с компьютером, в том году тест Тьюринга был пройден по всем пунктам. В своем репортаже я процитировал слова представительницы таких судей, которая объяснила, почему она обманулась: «Он печатал что-то, на мой взгляд, банальное, а когда я отвечала, реакция была очень убедительной»{6}. Это оказалось предвестником грядущего. Нынче мы повседневно взаимодействуем с машинами, имитирующими людей, и они все лучше убеждают нас в своей якобы человеческой природе.

Сегодня программы вроде Siri не только кажутся почти одушевленными, они начинают превращать взаимодействие человека с машиной на естественном языке в обыденное дело. Эволюции этих программных роботов, похоже, помогает наше желание верить, что мы взаимодействуем с людьми, даже когда говорим с машинами. Мы ориентированы на социальные взаимодействия. Если в физическом мире роботы помогают нам не так уж часто, то в киберпространстве они уже вокруг нас. Очевидно, что эти боты – искусственный интеллект, пусть даже с ограниченными возможностями, – будут все больше входить в нашу повседневную жизнь.

Интеллектуальные программные агенты, такие как Siri компании Apple, Cortana компании Microsoft и Google Now, взаимодействуют с сотнями миллионов людей и, таким образом, реализуют взаимосвязь робот – человек. Уже в начале своего существования приложение Siri отличалось явно человекоподобным стилем – первый шаг на пути к созданию поколения приятных и заслуживающих доверия советчиков. Не все ли равно, как мы будем взаимодействовать с этими системами – как с партнерами или как со слугами? Если отвлечься от все более оживленных дебатов о том, будут ли интеллектуальные агенты и роботы автономными и, если да, будут ли они обладать достаточным самосознанием, чтобы нам пришлось задуматься о «правах роботов», то нам ближе вопросы, как относиться к этим системам и как характер взаимодействий с ними будет определять смысл понятия «человек». До тех пор, пока мы относимся к таким системам как к партнерам, мы остаемся людьми. Как бы то ни было, вопрос о взаимоотношениях людей и машин игнорируется большой частью современного компьютерного мира.

Специалист по вычислительной технике из Microsoft Research Джонатан Грудин заметил, что такие области знания, как искусственный интеллект и человеко-машинное взаимодействие, редко пересекаются друг с другом{7}. Он ссылается на Джона Маккарти и его давнее объяснение направления исследований в области искусственного интеллекта: «[Цель] заключалась в том, чтобы уйти от изучения поведения человека и рассматривать компьютер как инструмент для решения определенного класса проблем. Таким образом, искусственный интеллект стал направлением компьютерной науки, а не психологии»{8}. Прагматичный подход Маккарти определенно можно оправдать успехами в этой области в последние пять лет. Исследователи искусственного интеллекта любят говорить, что самолету для полета не нужно махать крыльями, подчеркивая тем самым, что для воспроизведения мыслительного процесса или поведения человека не обязательно понимать их. Пропасть между искусственным интеллектом и усилением интеллекта, однако, лишь увеличивается по мере того, как системы искусственного интеллекта все успешнее берут на себя функции человека, будь то распознавание образов, поддержание разговора, перемещение ящиков, игра в шахматы, «Своя игра» или видеоигры Atari.

Терри Виноград одним из первых отчетливо увидел две крайности и задумался о последствиях. Его карьера – пример дрейфа от искусственного интеллекта к усилению интеллекта. Учась в аспирантуре Массачусетского технологического института в 1960-х гг., он сосредоточился на изучении естественного языка с целью создания программного эквивалента Shakey – программного робота, способного вести разговор с людьми. В 1980-е гг. в какой-то мере из-за изменившихся взглядов на пределы искусственного интеллекта он оставил эту область и постепенно стал заниматься усилением интеллекта. К отходу от сферы искусственного интеллекта Винограда подтолкнули споры с группой философов в Калифорнийском университете. В составе небольшой группы исследователей искусственного интеллекта он участвовал в еженедельных семинарах, где присутствовали философы из Беркли Хьюберт Дрейфус и Джон Сирл. Философы убедили его, что есть реальные пределы возможностей интеллектуальных машин. Обращение Винограда в другую веру совпало с коллапсом нарождающейся индустрии искусственного интеллекта, известным как «зима искусственного интеллекта». Спустя несколько десятилетий Виноград, который был куратором соучредителя Google Ларри Пейджа в Стэнфорде, посоветовал молодому аспиранту сосредоточиться на проблеме поиска в сети, а не на беспилотных автомобилях.

За прошедшие десятилетия Виноград ясно осознал важность точки зрения разработчика. Разделение областей искусственного интеллекта и человеко-машинного взаимодействия в определенной мере зависит от подхода, но это также и этическая позиция в вопросе о том, где должен находиться человек – в создаваемых нами системах или за их пределами. Не так давно Виноград помог создать в Стэнфорде академическую программу, ориентированную на «технологии освобождения», в рамках которой изучают конструирование компьютеризованных систем с учетом человеческих ценностей.

На протяжении всей истории человечества технологии замещали живой труд. Однако локомотивы и тракторы не принимают решений на уровне человека, а вот «думающие машины» делают это все чаще и чаще. Очевидно также, что технологии и человечество эволюционируют совместно, и это вновь ставит вопрос о том, кто будет стоять у руля. В Кремниевой долине стало модным прославлять возвышение машин – об этом ясно говорит появление организаций вроде Института сингулярности и книг типа «Чего хочет технология» (What Technology Wants) Кевина Келли (2010 г.). В более ранней книге 1994 г. «Неуправляемые» (Out of Control) Келли решительно встает на сторону машин. Он описывает встречу Марвина Мински и Дуга Энгельбарта:

Говорят, когда два гуру встретились в Массачусетском технологическом институте в 1950-е гг., между ними состоялся следующий диалог:

Мински: Мы собираемся наделить машины интеллектом. Мы собираемся дать им сознание!

Энгельбарт: Вы собираетесь сделать все это для машин? А что вы намерены сделать для людей?

Эту историю обычно рассказывают инженеры, работающие над тем, чтобы сделать компьютеры более дружественными, более человечными, более ориентированными на людей. Но я полностью на стороне Мински, на стороне дела. Люди выживут. Мы научим наши машины служить нам. Но что мы собираемся сделать для машин?{9}

Келли верно указывает, что есть «стороны» Мински и Энгельбарта. Но говорить, что люди «выживут», – значит недооценивать последствия. Он в основном вторит Мински, который, как известно, отвечал на вопрос о значении появления искусственного интеллекта так: «Если нам повезет, они будут держать нас как домашних животных».

Позиция Мински красноречиво демонстрирует пропасть между лагерями искусственного интеллекта и усиления интеллекта. Сообщество сторонников искусственного интеллекта до настоящего времени по большей части игнорирует последствия появления интеллектуальных систем, которые рассматриваются просто как мощные инструменты без дискуссий о морали. Как сказал мне один из разработчиков роботов следующего поколения в ответ на вопрос о влиянии автоматизации на людей: «Об этом не надо думать, нужно только решить, что ты хочешь сделать, и приложить все силы для улучшения мира людей в целом».

На протяжении последнего полувека философии Маккарти и Энгельбарта оставались несовместимыми и их основное противоречие все еще не разрешено. Один подход направлен на вытеснение людей и их замену все более мощным комплексом программных и аппаратных средств. Другой ориентирован на расширение наших интеллектуальных, экономических и социальных возможностей с помощью тех же средств. Хотя пропасть между этими подходами мало кому заметна, взрывное развитие новой технологии, которая уже влияет на каждый аспект современной жизни, неизбежно вынесет проблему на поверхность.

Будут ли машины вытеснять живых работников или усиливать их возможности? На определенном уровне они будут делать и то и другое. Еще раз подчеркну, что это неправильный вопрос и ответ на него неполный. И виртуальные, и физические роботы достаточно гибки, чтобы стать в конце концов теми, кем мы захотим. В нынешней экономике подход к тому, как разрабатываются и используются и машины, и интеллектуальные системы, определяется чаще всего себестоимостью и выгодой, а себестоимость падает все быстрее. В нашем обществе, если задачу дешевле поручить машине – виртуальной или физической, – в большинстве случаев будет использоваться машина. Реализация этого – вопрос лишь времени.

Решение встать на ту или иную сторону в споре вдвойне трудно, поскольку нет очевидных правильных ответов. Хотя автомобили без водителей приведут к потере миллионов рабочих мест, они также сохранят множество жизней. Сегодня решения о применении технологий принимаются в основном на основе выгодности и эффективности, но очевидно нужна и новая система оценки с точки зрения морали. Дьявол, однако, кроется в деталях. Как и в случае ядерного оружия и атомной энергии, искусственный интеллект, генная инженерия и робототехника будут иметь в следующем десятилетии широкие социальные последствия, как желательные, так и не очень.

Глава 2

Авария в пустыне

Осенним утром 2005 г. по пустынной дороге недалеко от города Флоренс, штат Аризона, поднимая облако пыли, двигался автомобиль Volkswagen Touareg с четырьмя пассажирами. Он ехал со скоростью 30–40 км/ч, и случайный зритель не увидел бы ничего необычного в его движении. Дорога была исключительно неровной, она шла то вверх, то вниз по усеянной кактусами и низкорослой пустынной растительностью местности. Автомобиль нещадно болтало, и шлемы автогонщиков на головах всех четырех пассажиров были совсем не лишними. Touareg украшали наклейки участника гонок по бездорожью Baja 1000. Спереди над крышей автомобиля возвышались пять непонятных датчиков, направленных на дорогу. Было там и другое оборудование, включая несколько радаров. За ветровым стеклом виднелась видеокамера. А сзади на автомобиле торчала длиннющая штыревая антенна, которая вместе с датчиками придавала ему постапокалиптический вид, напоминая фильм про Безумного Макса.

Датчики на крыше были в действительности хитроумными штучками, каждый из них быстро сканировал инфракрасным лучом местность впереди. Невидимые глазу лучи отражались от гравийного покрытия дороги и всего, что встречалось в пустыне. Возвращаясь к датчикам, излучение несло информацию о непрерывно меняющемся окружающем ландшафте с точностью до сантиметра. Даже небольшие камни на дороге за сотню метров впереди не могли скрыться от пристального взгляда датчиков, известных как лидары.

Внутри Touareg был еще удивительнее. Водитель, специалист по робототехнике и искусственному интеллекту Себастьян Трун, не управлял машиной, а жестикулировал, разговаривая с другими пассажирами. Его взгляд редко падал на дорогу, а главное, руки не прикасались к рулевому колесу, которое поворачивалось само, как будто его крутил кто-то невидимый.

Позади Труна сидел другой компьютерщик, Майк Монтемерло, который тоже не управлял автомобилем. Его глаза были прикованы к экрану ноутбука, куда выводились данные с лазеров, радаров и камер, дававшие вид сверху на мир вокруг автомобиля, где препятствия выглядели как разноцветные точки на экране радара. Это непрерывно меняющееся облако цветных точек и было картиной лежащей впереди дороги в пустыне.

Автомобилем, который получил имя Stanley, управлял комплекс программ в пяти установленных в багажнике компьютерах. Трун был создателем роботизированной навигационной технологии, известной как SLAM (simultaneous localization and mapping), что означает «одновременная навигация и построение карты». Она стала стандартным инструментом для роботов при прокладке пути на неизвестной местности. По мере того как автомобиль катился по изрезанной колеями, обрамленной кактусами и усыпанной валунами дороге, руль поворачивался то в одну, то в другую сторону. Справа от Труна между передними сиденьями находилась большая красная кнопка аварийного останова, позволяющая отключить автопилот в экстренном случае. После десятка километров езда в беспилотном автомобиле стала наскучивать. Stanley двигался не по магистрали, и на фоне проплывающего мимо, как во время воскресной загородной прогулки, пустынного пейзажа шлемы автогонщиков стали казаться лишними.

Автомобиль готовили к участию во втором проводимом Пентагоном соревновании Grand Challenge – амбициозном состязании беспилотных автомобилей, целью которого было ускорение развития технологий для будущих роботизированных военных автомобилей. В начале XXI в. конгресс дал военным США зеленый свет на разработку беспилотных транспортных средств. Конгресс даже поставил перед Пентагоном конкретную цель: сделать к 2015 г. треть транспортных средств армии способной перемещаться без людей. Директива не определяла четко, должны ли такие транспортные средства быть беспилотными или управляемыми дистанционно. В любом случае идея заключалась в сбережении и денег, и жизней солдат. К 2004 г., однако, мало что изменилось, и Тони Тетер, в то время директор DARPA, предложил организовать конкурс, чтобы привлечь внимание программистов, профессоров учебных заведений и стремящихся к известности компаний к инновациям, где военные не добились успеха. Тетер был олицетворением военно-промышленного комплекса, а сам конкурс – вынужденным признанием того, что мир традиционных исполнителей оборонных заказов не способен выполнить эту работу. Открыв дверь для разношерстных групп любителей, Тетер рисковал взорвать засекреченный мир, где доминировали «бандиты с кольцевой» – компании, расположенные вокруг Вашингтона и занимающиеся выполнением госзаказов.

Первые соревнования Grand Challenge, проведенные в 2004 г., были неудачными – автомобили опрокидывались, ездили кругами и позорно сбивали ограждения. Даже самый успешный участник застрял в десятке километров от стартовой линии в 200-километровой гонке – одно колесо автомобиля беспомощно вращалось, а сам он балансировал на краю дороги. Когда пыль, поднятая участниками, осела, репортер, облетавший район на легком самолете, увидел ярко раскрашенные автомобили, рассеянные по пустыне. В то время казалось очевидным, что беспилотные автомобили – дело далекого будущего, и Тетера критиковали за организацию пропагандистского трюка.

Однако чуть более чем через год Трун сидел за рулем робота для соревнований второго поколения. Казалось, что будущее наступило раньше, чем ожидалось. Увы, хватило всего 20 км, чтобы убедиться в преждевременности технического энтузиазма. Stanley преодолел подъем и попал во впадину. Потом, когда нос автомобиля задрался вверх, система лазерного наведения обнаружила нависающую ветку дерева. В тот же момент автомобиль резко взял влево, затем вправо и съехал с дороги. Все произошло быстрее, чем Трун смог дотянуться до большой красной аварийной кнопки и нажать ее.

К счастью, автомобиль совершил довольно мягкую посадку. Touareg врезался в огромный терновый куст возле дороги. Он смягчил удар, и автомобиль остановился так, что даже подушки безопасности не сработали. Когда пассажиры осмотрели дорогу на месте аварии, стало очевидно, что все могло закончиться гораздо хуже. Куст обрамляли две впечатляющие кучи валунов, но VW избежал столкновения с ними.

Пассажиры выбрались из машины, а Трун залез на крышу, чтобы выставить заново датчики, расположение которых сбилось из-за аварии. Затем все вновь забрались в Stanley, и Монтемерло удалил виновный в аварии блок программного кода, который должен был сделать путешествие более комфортным для пассажиров. Трун включил автопилот, и машина вновь направилась вглубь Аризонской пустыни. Были и другие происшествия. Контроллер системы искусственного интеллекта не учитывал последствия попадания в илистые лужи, и позже в тот же день Stanley застрял в одной из них посреди дороги. К счастью, неподалеку находилось несколько обычных автомобилей сопровождения, и, когда колеса беспилотника начали беспомощно вращаться, команда помощников вытолкнула его из вязкой жижи.

Но это были мелочи для команды Труна (нескольких преподавателей Стэнфордского университета, инженеров компании VW и студентов-программистов), которая состязалась более чем с десятком других команд за приз в несколько миллионов долларов. Этот день был самым неудачным, потом дела резко пошли в гору. Как ни крути, а соревнования DARPA оказались водоразделом между миром, где роботы рассматривались как игрушки или диковинки для исследователей, и миром, в котором люди начали допускать, что роботы могут действовать самостоятельно.

Тест-драйв Stanley был предвестником будущей технологии. В произведениях писателей-фантастов уже не одно десятилетие фигурирует машинный интеллект, но, когда технологии начали реально появляться, они показались разочаровывающими. В конце 1980-х гг. любой попавший на Центральный вокзал Нью-Йорка видел почти у трети утренних пассажиров наушники Sony Walkman. Сегодня, конечно, Walkman уступили место белым наушниками iPhone компании Apple, и некоторые считают, что технология «от-кутюр» неизбежно приведет к будущей версии Google Glass, первой попытке разработчика поисковой машины расширить реальность, или, может быть, к еще более амбициозным или создающим эффект присутствия системам. Подобно лягушке в кастрюле на плите, не замечающей повышения температуры, мы не видим изменений, вызываемых быстрым ростом возможностей и распространением информационных технологий.

Walkman, iPhone и Google Glass – все это прообразы мира, где граница между человеком и машиной начинает размываться. В книге Уильяма Гибсона «Нейромант» (Neuromancer), научно-фантастическом романе, популяризирующим идею киберпространства, нарисована картина новой кибернетической территории из компьютеров и сетей. В ней описано будущее, в котором компьютеры не отдельные ящики, а единая плотная ткань, которая все больше окутывает людей, «расширяя» их чувства.

От утренних пассажиров с наушниками Sony Walkman и пользователей iPhone, погрузившихся в персональное звуковое пространство, не так уж далеко до носящих Google Glass городских хипстеров, уткнувшихся в отображающие окружающий мир крохотные дисплеи. Они пока что не «включены в сеть», как предсказывал Гибсон, однако ясно, что компьютерные и коммуникационные технологии быстро движутся в этом направлении.

Гибсон одним из первых предложил научно-фантастический взгляд на то, что было названо «усилением интеллекта». Он описывал компьютеризованные элементы, названные им «майкрософтами» с маленькой буквы «м», которые можно вставлять в основание черепа человека, чтобы мгновенно добавлять ему какое-либо умение, например новый язык. В то время, несколько десятилетий назад, эта технология была всего лишь научной фантастикой. Сегодня его представление о киборгах уже не кажется таким экстравагантным.

В 2013 г. президент Обама раскрыл информацию об инициативе BRAIN – попытке одновременно записать активность одного миллиона нейронов человеческого мозга. Одним из основных спонсоров инициативы BRAIN является DARPA, а это агентство заинтересовано не только в чтении из мозга. Работающие над проектом BRAIN ученые терпеливо разъясняют, что одна из целей плана – создание двухстороннего интерфейса для мозга человека и компьютера. Внешне подобная идея кажется крайне зловещей, вызывая образы верховного Старшего Брата и контроля мыслей. В то же время это утопический подтекст, присущий технологии. Потенциальное будущее представляет собой неизбежную траекторию создания интерфейса взаимодействия человека с компьютером, подразумеваемого в манифесте Ликлайдера 1960 г. «Человеко-машинный симбиоз» (Man-Computer Symbiosis), где он предсказал более тесное взаимодействие людей и машин.

Если мир «Нейроманта» был прекрасной научной фантастикой, то реальное вхождение в изображенный Гибсоном мир представляется туманным. Появление киборгов ставит вопрос о том, что значит быть человеком. Сама по себе это не новая проблема. Хотя сегодня технологии развиваются быстрее, чем когда-либо, они трансформировали людей и прежде, еще во времена укрощения огня или изобретения колеса (и его использования для перевозок в XX в.). С начала индустриальной эры машины вытесняли физический труд человека. С появлением компьютеров и компьютерных сетей впервые машины вытесняют «интеллектуальный» труд. Изобретение компьютера с самого начала вызывало дебаты о последствиях создания обладающих интеллектом машин. Новая волна технологий искусственного интеллекта возродила споры с удвоенной силой.

Экономисты-традиционалисты утверждают, что со временем численность рабочей силы растет, несмотря на изменяющийся характер работы, обусловленный технологиями и инновациями. В XIX в. более половины работающих были заняты в сельскохозяйственном производстве. Сегодня их доля сократилась почти до 2 %, но в других сферах экономики количество работающих значительно выросло. В самом деле, несмотря на две рецессии, между 1990 и 2010 гг. общая численность занятых в Соединенных Штатах увеличилась на 21 %. Если эти экономисты правы, вследствие автоматизации в ближайшем будущем экономических катаклизмов на социальном уровне не будет.

Вместе с тем сейчас мы вступаем в эру, когда людей все легче включить в «контур управления» или исключить из него даже в высокооплачиваемых и статусных профессиональных областях. На одном конце спектра небольшие роботы могут заниматься погрузочно-разгрузочными работами, а на другом программные «роботы» могут заменять работников колл-центров и офисных клерков, а также видоизменять такие требующие высокой квалификации профессии, как врач-рентгенолог. Где в будущем будет проходить граница между человеком и машиной и кто проведет ее?

Несмотря на активизацию дискуссии о последствиях автоматизации следующего поколения, почти не слышно споров о разработчиках и их системе ценностей. Когда отвертеться не удается, специалисты по компьютерам, робототехнике и технологиям излагают противоречивые взгляды. Одни хотят заменить людей машинами, другие смиряются перед неизбежным (выражение «Что касается меня, я приветствую наших господ – насекомых», позднее «господ – роботов», было мемом, который получил популярность из-за сериала «Симпсоны»), а третьи столь же страстно хотят создавать машины, расширяющие возможности человека. Вопрос о том, появится ли настоящий искусственный интеллект (концепция, известная как сильный искусственный интеллект или универсальный искусственный интеллект) и смогут ли машины делать что-то большее, чем просто подражать людям, также обсуждается не одно десятилетие. Сегодня все громче раздаются голоса ученых и технологов, высказывающих новые опасения относительно возможности появления обладающих самосознанием машин. Дискуссии о текущем состоянии технологии искусственного интеллекта скатываются в царство научной фантастики, а то и религии. Однако автономия машин уже не философский или гипотетический вопрос. Мы достигли точки, когда машины способны выполнять множество функций человека, которые требуют и интеллекта, и силы: они могут работать на фабриках, водить автомобили, диагностировать болезни и понимать документы и совершенно определенно могут управлять оружием и убивать с беспощадной точностью.

Противостояние искусственный интеллект – усиление интеллекта нигде не проявляется более отчетливо, чем в новом поколении систем вооружений, уже появившемся на горизонте. Разработчики из DARPA близки к тому, чтобы пересечь новый технологический порог при замене нынешних крылатых ракет новой противокорабельной ракетой большого радиуса действия (LRASM). Она должна поступить в Военно-морские силы США в 2018 г. В отличие от предшественников, этот новый вид оружия способен автономно принимать решения о выборе цели. LRASM должна достигать противника без контакта с диспетчером, а затем самостоятельно принимать решение, какую цель поразить.

Возникает новая этическая дилемма – позволят ли люди этому оружию спускать крючок по своему усмотрению, без контроля со стороны человека? Вариант этой же проблемы присущ быстрой компьютеризации автомобиля. В самом деле, транспортная сфера в целом очень показательна с точки зрения последствий появления новой волны умных машин. Искусственный интеллект должен оказать более сильное воздействие на общество, чем персональные компьютеры и интернет в начале 1990-х гг. Символично, что направление этой трансформации определяет технологическая элита.

Несколько лет назад Джерри Каплан, ветеран Кремниевой долины, который начал карьеру как исследователь искусственного интеллекта в Стэнфорде, а затем в 1980-х гг. стал одним из тех, кто ушел из этой области, предупредил группу стэнфордских специалистов по вычислительной технике и аспирантов: «От ваших сегодняшних действий здесь, в Лаборатории искусственного интеллекта, воплощающихся в создаваемых вами системах, может зависеть, как общество будет справляться с этой проблемой». Он утверждал, что неизбежное появление искусственного интеллекта следующего поколения несет с собой критически важный этический вызов: «Есть опасность, что мы выращиваем живых роботов за счет нашей собственной жизни»{10}. Проблема двойственности, о которой он говорил исследователям, заключается в пропасти между обладающими интеллектом машинами, которые заменяют человека, и компьютерными системами, расширяющими возможности человека.

Подобно многим другим технологам в Кремниевой долине, Каплан считает, что мы на грани создания экономики, которая функционирует практически без участия человека. Это может звучать апокалиптически, но описываемое Капланом будущее почти определенно придет. Его более глубокая мысль заключается в том, что сегодняшнее ускорение развития технологии – не слепой процесс. Он зависит от личного выбора каждого из инженеров, которые создают облик нашего будущего.

Осенью 2007 г. на заброшенной военной базе в калифорнийской пустыне на импровизированную гоночную трассу вышел коренастый человек с клетчатым флагом и энергично взмахнул им, когда мимо него плавно проехал внедорожник Chevrolet Tahoe. Это был Тони Тетер, директор DARPA.