ИИ-2041. Десять образов нашего будущего
Оригинальное название
AI 2041. Ten visions of our future
Научный редактор Михаил Бурцев
Все права защищены.
Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.
В тексте неоднократно упоминаются названия социальных сетей, принадлежащих Meta Platforms Inc., признанной экстремистской организацией на территории РФ.
© Copyright © 2021 by Kai-Fu Lee and Chen Qiufan. This translation published by arrangement with Currency, an imprint of Random House, a division of Random House LLC and with Synopsis Literary Agency.
© Перевод на русский язык, издание на русском языке, оформление. ООО «Манн, Иванов и Фербер», 2022
Что нам нужно, так это машина, способная учиться на собственном опыте.
Алан Тьюринг
Любую достаточно развитую технологию не отличить от магии.
Артур Ч. Кларк
Вступление Кай-Фу Ли. Реальная история искусственного интеллекта
Искусственный интеллект (ИИ) – это так называемое умное аппаратное и программное обеспечение. Оно способно выполнять задачи, для решения которых обычно требуется участие человеческого разума. ИИ – это разъяснение процесса обучения, количественное выражение человеческого мыслительного процесса, объяснение человеческого поведения и понимание причин существования интеллекта как такового. ИИ – это заключительный шаг человечества на пути к пониманию самого себя, и я очень надеюсь внести свой вклад в эту новую многообещающую науку.
Это написал я, наивный и восторженный студент, в заявке на участие в программе докторантуры в Университете Карнеги – Меллона. С того дня прошло почти 40 лет.
Термин «искусственный интеллект» предложил американский ученый Джон Маккарти еще раньше, в 1956 году, во время исторического Дартмутского летнего исследовательского проекта по искусственному интеллекту[1].
Сегодня многие считают искусственный интеллект типичной технологией XXI века, однако его концепция возникла в середине века двадцатого, правда, тогда мало кого заинтересовала. Первые 35 лет моего путешествия в область ИИ ограничивались практически чистой наукой, исключение составили пара-тройка успешных коммерческих адаптаций.
Долгие годы практическое применение ИИ пробуксовывало, но в последние пять лет он превратился в самую популярную технологию в мире. Все перевернулось в один момент – в 2016 году компьютерная программа для игры в го AlphaGo (создана в компании Google DeepMind[2]) со счетом 4: 1 обыграла в пятираундовом чемпионате южнокорейского профессионала 9-го дана Ли Седоля[3]. Матч вошел в историю как Google DeepMind Challenge Match.
Го – это настольная игра, сложнее шахмат в миллион триллионов квадриллионов раз. Энтузиасты-фанаты го считают, что, в отличие от шахмат, эта игра требует подлинного ума, мудрости и интеллектуальной дзен-утонченности. Так что победа искусственного интеллекта над чемпионом-человеком при игре в го многих повергла в шок.
AlphaGo, как и большинство коммерческих прорывов в области ИИ, основана на глубоком обучении, технологии самообучения системы с использованием датасетов (огромных наборов данных). Технологию придумали много лет назад, но вычислительные мощности для наглядной демонстрации ее эффективности появились относительно недавно. Примерно тогда же накопилось достаточное количество обучающих данных, что позволило получить значимые результаты.
Если сравнить с ситуацией сорокалетней давности, когда я только начал заниматься ИИ, сегодня в нашем распоряжении примерно в триллион раз больше вычислительных мощностей, а хранение необходимых данных обходится в 15 миллионов раз дешевле. Словом, тенденция очевидна и сомневаться не приходится – глубокое обучение и связанные с ним ИИ-технологии со временем затронут практически все аспекты существования человечества.
Сейчас мы переживаем переломный момент в развитии ИИ. Искусственный интеллект наконец-то покинул башню из слоновой кости и перестал быть исключительно научной концепцией. Дни неспешного прогресса окончились.
За последние пять лет ИИ не только победил чемпионов-людей в го, покер и Dota 2[4], но и развился настолько, что через четыре часа обучения шахматам его не одолеть никакому гроссмейстеру. Но ИИ, конечно же, хорош не только в играх.
Над загадкой сворачивания белка биологи всего мира бились на протяжении полувека – ИИ разгадал ее в 2020 году. Он превзошел нас в деле распознавания речи и объектов; преподнес нам «цифровых людей» потрясающей реалистичности – как по внешнему виду, так и по умению говорить; умудрился успешно сдать вступительные экзамены в колледж и «получил» медицинскую лицензию.
ИИ решительно обходит судей по справедливости и логичности вынесенных приговоров, врачей-радиологов – в точности диагностики рака легких. ИИ чрезвычайно эффективно используется в беспилотниках, которым суждено изменить будущее доставки товаров, а также сельского хозяйства и военного дела. И наконец, благодаря ИИ автомобили без водителя могут ездить по скоростным трассам – поездки в них безопаснее, чем с шоферами-людьми.
Что же нам сулит дальнейшее развитие ИИ и применение этой замечательной технологии в новых областях?
В книге «Сверхдержавы искусственного интеллекта. Китай, Кремниевая долина и новый мировой порядок»[5] я писал о разрастании данных – этой «новой нефти», «топливе», на котором работает искусственный интеллект.
Сегодня революцию в области ИИ возглавляют США и Китай. Соединенные Штаты лидируют в исследованиях, Китай с огромной скоростью использует всё большие массивы данных для практического применения технологий ИИ во всей Поднебесной. В предыдущей книге в 2018 году я прогнозировал новые достижения – от принятия важных решений на основе массивов данных до машинного восприятия[6] и автономных роботов самых разнообразных видов и специализаций, в том числе упомянутого выше автономного (беспилотного) транспорта.
Четыре волны применения ИИ-технологий, повлиявшие практически на все отрасли
Я предсказывал, что новые способы применения ИИ-технологий приведут к беспрецедентному росту экономической ценности в цифровой, финансовой и транспортной отраслях и в сфере розничной торговли, однако создадут проблемы, связанные, к примеру, с массовым сокращением рабочих мест. ИИ представляет собой универсальную технологию, поэтому со временем она проникнет практически во все отрасли и области деятельности.
К сегодняшнему дню влияние ИИ на жизнь человечества проявилось четырьмя последовательными волнами: сначала в сфере интернета; затем в бизнесе (область финансовых услуг), далее в сфере восприятия (вспомните о концепции умного города) и, наконец, в автономных приложениях, таких как беспилотные автомобили.
К тому времени, когда вы будете читать эту книгу (в конце 2021 года или даже позже), многие прогнозы из моей предыдущей книги, скорее всего, уже подтвердятся. Так что теперь устремим взор вперед. Я много путешествую, рассказываю об искусственном интеллекте в разных уголках мира, и меня постоянно спрашивают: «А что же дальше? Что будет через пять, десять, двадцать лет? К чему готовиться человечеству?»
Это чрезвычайно важные для текущего исторического момента вопросы. У всех, кто связан со сферой высоких технологий, есть на этот счет собственное мнение. Некоторые убеждены, что мы находимся в эпицентре «пузыря ИИ» – он со временем лопнет или как минимум сдуется.
Сторонники более радикальных и антиутопических теорий, вообще склонные верить во что угодно, полагают: реальна любая идея. Разброс – от «ИИ-гиганты “захватят наш разум” и сформируют новую утопическую расу киборгов-машинолюдей» до «коварный ИИ доведет нас до апокалипсиса». Подобные гипотезы порождены живой и искренней любознательностью или вполне оправданным страхом перед будущим. Однако все они, как правило, спекулятивны или как минимум сильно преувеличивают опасность. И все они совершенно точно не формируют полной картины.
Имеющиеся гипотезы и теории сильно разнятся: ИИ – явление чрезвычайно сложное и малоизученное. Пытаясь понять, что же он такое, люди, как правило, используют три источника – научную фантастику, новостные ленты и «лидеров мнений».
В фантастических книгах и сериалах часто присутствуют роботы, которые вдруг начинают управлять людьми и контролировать их, или как минимум стараются объегорить двуногих; суперинтеллект же зачастую вообще предстает в виде вселенского зла.
Медиа обычно ярко и подробно описывают отдельные негативные примеры: взахлеб рассказывают, как беспилотный автомобиль сбил пешеходов, как технологические компании с помощью ИИ подтасовывают результаты политических выборов, как злодеи используют искусственный интеллект для распространения дезинформации и фейков. Техническому прогрессу как таковому внимания уделяют мало, если только он не приводит к каким-то выдающимся результатам.
Наилучшим вариантом может показаться доверие в данном вопросе лидерам мнений и популярным авторам из соцетей. Однако большинство из них если и являются экспертами, то в какой угодно области – в бизнесе, физике или политике, но только не в ИИ-технологиях. Так что с виду весомым и аргументированным прогнозам на деле нередко недостает научности.
Ситуация усугубляется еще и тем, что журналисты, желая придать своим публикациям веса и убедительности, а заодно привлечь внимание аудитории, частенько цитируют эти «интернет-источники», да еще и вырывают слова автора из контекста.
Словом, удивляться тому, что люди относятся к ИИ настороженно, а то и негативно, не приходится – мнение даже самых думающих и стремящихся быть объективными основано в лучшем случае на полуправде.
Разумеется, многие аспекты дальнейшего развития искусственного интеллекта заслуживают пристального внимания и максимальной осторожности, но чрезвычайно важно уравновесить возможные проблемы пониманием полной картины и великого потенциала ИИ.
Как большинство технологий в мире, искусственный интеллект не является ни добром, ни злом. Как большая часть новых технологий, он в конечном счете окажет на нашу цивилизацию скорее позитивное, чем негативное влияние.
На протяжении всей истории люди поначалу относились к новым технологиям с опаской: всегда казалось, что они нарушат статус-кво и породят хаос. Но сегодня никто не вспоминает, как неоднозначно поначалу воспринималось электричество, мобильные телефоны и интернет – они удобны, это очевидно и сегодня даже не обсуждается. Технологии со временем органично вплетались в ткань жизни, существенно ее улучшали – и страхи рассеивались.
По моему убеждению, уже есть (и еще найдется) немало областей применения ИИ. Также возможно немало сценариев, в которых он имеет шанс существенно улучшить наше общество. Прежде всего это чисто экономическая выгода. По оценкам PricewaterhouseCoopers, к 2030 году она составит 15,7 триллиона долларов – это, конечно же, здорово поможет в борьбе с голодом и бедностью.
Новые эффективные ИИ-сервисы вернут нам самый ценный ресурс – время. Искусственный интеллект возьмет на себя однообразные повседневные задачи, освободив нас для более творческой или сложной работы.
Люди, наконец, начнут работать в симбиозе с ИИ: он станет выполнять количественный анализ, оптимизацию и рутинные задания, а мы, люди, сосредоточимся на креативности, критическом мышлении и страсти. Наша продуктивность резко возрастет, а это позволит человеку полнее реализовывать свой потенциал. Словом, вероятный вклад ИИ в будущий прогресс человечества необходимо исследовать так же глубоко и всесторонне, как и связанные с этой технологией проблемы.
Мы сегодня очутились внутри своего рода петли обратной негативной связи, нам важно понять: а что будет дальше? И я решил написать еще одну книгу об искусственном интеллекте, на этот раз несколько расширив горизонты. Я попытался представить себе и описать будущее нашего мира и общества через 20 лет, то есть в 2041 году.
Моя цель – составить «реальную» потенциальную историю ИИ, откровенную и сбалансированную, но в то же время конструктивную и с надеждами на лучшее. Обратите внимание: эта книга основана на реальном представлении об ИИ – в ней идет речь либо о существующих технологиях, либо о тех, появления и вызревания которых вполне обоснованно ожидать в течение следующих двух десятков лет.
Если еще точнее, истории, вошедшие в эту книгу, рисуют портрет нашего мира в 2041 году. Мир этот будет основан на технологиях, вероятность появления которых к тому времени составляет не менее 80 процентов. Конечно, я могу переоценить или недооценить некоторые из них, но, по-моему, книга представляет собой набор ответственных и максимально вероятных сценариев.
Что же вселяет в меня такую уверенность? Последние сорок лет я занимался исследованиями в области ИИ и разработкой продуктов в Apple, Microsoft и Google и инвестировал в новые технологии три миллиарда долларов. Так что некоторый опыт работы с процессами, необходимыми для превращения технологии из темы для научной статьи в универсальный продукт, у меня имеется. Я также в состоянии приблизительно оценить, сколько времени для этого потребуется.
Будучи советником разных правительств по стратегическим вопросам развития ИИ, я могу делать прогнозы, основанные на знаниях в области политики и нормативно-правовой базы. Я старательно избегаю любых спекулятивных прогнозов относительно фундаментальных технологических прорывов и полагаюсь в основном на экстраполяцию на будущее уже существующих технологий.
На сегодня ИИ проник менее чем в 10 процентов наших отраслей, у нас масса шансов представить себе будущее с учетом применения этой технологии в новых сферах. Я убежден: ИИ окажет на наше общество огромное влияние, даже если серьезных прорывов будет совсем мало, а то и не случится вовсе. Эта книга – мое официальное письменное заявление.
Мне не раз говорили: моя предыдущая книга оказала большое влияние на читателей, она понятна даже тем, кто практически ничего не знает об ИИ. Приступая к работе над новой книгой, я решил рассказать об ИИ еще более понятно и увлекательно, обратившись к помощи хорошего рассказчика. Я связался со своим бывшим коллегой по Google Чэнем Цюфанем.
Уйдя из Google, я основал собственную венчурную компанию, а этот парень сделал нечто еще более авантюрное – стал писателем-фантастом. Его произведения заметили и даже отметили престижными наградами. К моему великому восторгу, Чэнь согласился поработать вместе, объединить свой творческий потенциал с моими оценками того, какими будут технологии через двадцать лет.
И мы решили, что попробуем представить возможности ИИ через два десятка лет и встроим свои обоснованные фантазии в истории – должно получиться нечто весьма увлекательное. Ведь привлечь и увлечь читателя можно не только телепортацией и инопланетянами!
Скажу без ложной скромности: наш подход к работе над этой книгой уникален. Для начала я составил «технологическую карту», отобразив, когда созреет та или иная технология, сколько времени потребуется на сбор данных и итерацию ИИ, насколько легко будет разработать соответствующий продукт в разных отраслях.
Я учел всевозможные внешние факторы: проблемы, регламенты, тормозящие моменты, а также достойные упоминания конфликты и дилеммы, которые могут возникнуть попутно с появлением этих технологий. Затем, отталкиваясь от чисто технарского компонента, Чэнь проявил свой писательский талант во всей красе – придумал персонажей, обстановку и сюжетные линии и воплотил их в своих рассказах.
Каждый эпизод мы постарались сделать максимально увлекательным, технологически точным и провокационным. После каждой истории Чэня вы сможете прочесть ее экспертный анализ – я углубляюсь в описанную в рассказе форму ИИ и детально объясняю ее значение для жизни человека и общества.
Созданные таким образом десять рассказов с послесловиями-анализом охватывают все ключевые аспекты ИИ и выстроены в книге в определенном порядке – от самых простых, базовых технологий к наиболее сложным и продвинутым. Мы надеемся, что отдельные части нашей книги составят что-то вроде уникального и понятного букваря по ИИ.
Мы с Чэнем назвали книгу «ИИ-2041», потому что с момента ее первой публикации[7] именно в 2041 году пройдет двадцать лет. Мы выбрали этот год еще и потому, что начертание цифр 41 немного напоминает английскую аббревиатуру AI (artificial intelligence – «искусственный интеллект», ИИ).
Многие читатели наверняка обожают научную фантастику, но я отдаю себе отчет: тех, кто после окончания колледжа ни разу не взял в руки ни романа, ни сборника рассказов, тоже немало. Не беда – если вы из этого лагеря, отнеситесь к нашей книге не как к научной фантастике, а как к «научным фактам в форме беллетристики».
Действие рассказов происходит в разных местах планеты. В некоторых сюжетах вы без труда узнаете мир, который не слишком отличается от вашего собственного, – в них описаны события, основанные на реально существующих традициях и обычаях. В других историях описаны ситуации радикального вмешательства ИИ в человеческую жизнь, не всегда позитивного. Так что и адептам ИИ, и скептикам наша книга подкинет пищи для размышлений.
Создавая научный труд с заметной художественной частью, мы рисковали гораздо сильнее, чем если бы просто написали научно-популярную книгу, – описали настоящее и задали вопросы о будущем. Мы с Цюфанем постарались быть смелыми – мы верим, что наши истории найдут отклик у каждого непредубежденного читателя с фантазий и воображением. Мы надеемся, их окажется достаточно, чтобы заставить задуматься о будущем человечества.
В первых семи рассказах мы описали применение ИИ в различных отраслях и сферах по мере возрастания его технологической сложности, а также социально-этические последствия этого процесса. Последние три истории (плюс глава 6 «Святой возница») больше сконцентрированы на социальных и геополитических проблемах, связанных с ИИ: сокращении и исчезновении традиционных рабочих мест, беспрецедентном изобилии, дальнейшем расслоении общества, гонке автономных вооружений, компромиссе между приватностью и счастьем и стремлении человека к высшей цели.
Человечество ждут большие и глубокие изменения. Люди могут принять их и использовать во благо или во зло, смиренно капитулировать перед ними или вдохновиться и заново обрести себя.
В последних четырех историях мы привели четыре возможных варианта и разных пути развития событий. Мы хотели подчеркнуть: будущее еще не написано.
Мы искренне надеемся: наши истории не только развлекут вас, но и углубят понимание ИИ и проблем, связанных с этой замечательной технологией. Мы также рассчитываем, что представленная в книге дорожная карта на ближайшие два десятилетия поможет вам подготовиться к благоприятным возможностям и эффективному противостоянию вызовам будущего.
Но больше всего нам хочется получить от вас подтверждение, что эти истории придали вам сил. Мы надеемся, вы убедились: люди – хозяева своей судьбы, все зависит от нас и никакая техническая революция этого не изменит.
А теперь – вперед, в 2041 год!
Вступление Чэня Цюфаня. Как нам перестать тревожиться и научиться смотреть в будущее с фантазией?
В лондонском центре искусств «Барбикан» в августе 2019 года я наткнулся на выставку «ИИ: больше чем человек» – и, конечно же, зашел. Увиденное подействовало на меня как освежающая летняя гроза – будто бы даже облегчила дыхание, прочистила чувства и развеяла множество предубеждений и заблуждений в отношении искусственного интеллекта.
Незамысловатое название выставки приятно обмануло – оно и близко не дало представления о реальном разнообразии и богатстве экспозиции. В каждом следующем зале меня поджидали новые чудеса – они охватывали идеи кураторов о том, что же такое ИИ.
В залах посетителей встречали Голем, мифическое существо из еврейского фольклора; миляга Дораэмон, герой японских аниме; инсталляции, посвященные экспериментам Чарльза Бэббиджа, праотца информатики; AlphaGo, компьютерная программа, бросившая вызов фундаментальному человеческому интеллекту; подборка экспонатов, посвященная анализу гендерной предвзятости в компьютерных программах для распознавания лиц, на которое обратила внимание Джой Буоламвини; масштабные произведения интерактивного цифрового искусства TeamLab[8], проникнутые синтоистской философией и эстетикой. Выставка оказалась великолепным, расширяющим сознание напоминанием о великой силе междисциплинарного мышления.
Закон Амары гласит: «Люди склонны переоценивать эффект технологии в краткосрочной перспективе и недооценивать – в долгосрочной». Большинство и правда представляет себе ИИ максимально узко: робот-убийца из «Терминатора»; недоделанные алгоритмы, которым никогда не сравниться в творческом остроумии с человеком, но которые угрожают его существованию; многочисленные бездушные технологии обмениваются эмоциями и исследуют возможности жизни, не имея ни малейшего понятия о том, как их воспринимают люди.
Как показывают разнообразные легенды и мифы (от древнекитайского ремесленника Янь Ши, создавшего гуманоидных роботов, до бронзового витязя, человекообразного великана-робота Талоса из греческой мифологии), тема искусственного интеллекта занимает людей на протяжении всей мировой истории. Началось это задолго до того, как возникла информатика как область знаний, а в наш лексикон вошла аббревиатура ИИ.
С течением времени непреодолимая сила ИИ произвела революцию во всех измерениях человеческой цивилизации, и это, поверьте, только начало.
Надо сказать, научная фантастика, дело моей жизни, играет в исследовании парадигмы «человек-машина» довольно деликатную роль. Роман «Франкенштейн»[9] (его часто называют первым современным научно-фантастическим произведением) посвящен до сих пор актуальным вопросам: способен ли человек с помощью технологий создавать разумную жизнь, отличную от существующих на текущий момент форм? И если да, то как выглядят взаимоотношения между создателем и его творением? А ведь архетип безумного ученого, навязывающего миру страшный плод своих трудов, был представлен в шедевре Мэри Шелли два века назад!
Научную фантастику зачастую обвиняют в том, что она формирует у читателей узкий негативный взгляд, но это лишь часть реальной истории. Фантастика и вправду может оказаться предостережением, однако умозрительное, гипотетическое повествование обладает уникальной способностью преодолевать пространственно-временные ограничения, соединять технологии с гуманитарными науками, стирать границы между вымыслом и реальностью, пробуждать в читателе сочувствие и стимулировать более глубокие раздумья. Историк и автор бестселлеров Юваль Ной Харари назвал научную фантастику «важнейшим художественным жанром» нашего времени – это очень высокая планка, и ей нужно соответствовать.
Мы, писатели-фантасты, должны создавать истории, проявляющие неочевидную правду о нашей сегодняшней реальности. Но нам также важно обозначать еще более смелые и даже фантастические перспективы и возможности. Такова наша главная задача.
Когда бывший коллега из Google Кай-Фу Ли предложил мне присоединиться к его работе над уникальным книжным проектом, сочетающим научную фантастику с анализом перспективных концептуальных идей в области технологий, я пришел в восторг. Я знаю Кай-Фу как проницательного пионера, мирового лидера и инвестора, создателя трендов. Но он, кроме того, еще и творческий и непредубежденный пророк технологий грядущего. Его идеи о карьерном росте повлияли на целое поколение, а теперь он нацелился на будущее.
Вооружившись глубочайшим пониманием сути передовых исследований и способов их применения, Кай-Фу предложил описать, как в ближайшие двадцать лет ИИ может изменить человеческое общество в самых разных областях: от медицины и образования до индустрии развлечений, сферы занятости и финансов. Идея показалась мне интересной и амбициозной. Но тут следует упомянуть и некое магическое совпадение.
Несколько лет назад я предложил и развил в своих произведениях концепцию научно-фантастического реализма. Научная фантастика формирует творческое пространство, где эскапист может скрыться от унылой повседневной жизни, примерить на себя роль супергероя и исследовать далекие-предалекие галактики.
Но для меня главная ценность и увлекательность фантастики состоит еще и в драгоценной возможности отступить на время от повседневности, критически ее осмыслить. Более того, вглядываясь в будущее через призму научной фантастики, мы получаем шанс вмешаться, внести изменения в развитие событий и активно повлиять на реальность.
Чтобы создать будущее, нужно сначала представить его себе – живо и в деталях.
Главным движителем моего воображения в детстве стала классика научной фантастики – «Звездные войны», «Звездный путь» и «Космическая одиссея 2001 года»[10], с десяти лет они были моим порталом в неизведанные миры. Я убежден: прежде чем начинать писать, чрезвычайно важно определиться с жанром истории и с ее более широким социальным контекстом.
Как человек, глубоко увлеченный и даже одержимый научной фантастикой, я испытываю священный трепет перед шириной спектра этого жанра. В нем есть место практически любой теме или литературному стилю.
До того как начать зарабатывать на жизнь писательством, я трудился в сфере высоких технологий. Многие считают, что инженеры и компьютерщики мало интересуются беллетристикой – их мозг будто бы изначально заточен под науку, а не под художественную литературу. Однако за более чем десять лет в этой сфере я встретил множество технарей – великих поклонников научной фантастики, которые этого совершенно не стеснялись.
Их увлечение иногда проявлялось в названиях конференц-залов или переговорных вроде «Энтерпрайз» (отсылка к «Звездному пути») или «Нейромант»[11], но породить такие проекты, как Google X или Hyperloop[12], способны только могучие и незашоренные умы. Современные подводные лодки и лазерные пушки, мобильные телефоны и продукт генной инженерии – локусы бактерий CRISPR… Ученые честно признают, что на создание всего этого их вдохновила художественная литература. Так что наш мир действительно формируют фантазия и воображение.
Я сразу решил, что эта книга должна бросить вызов стереотипам пессимизма и антиутопичности литературы об ИИ, в которой технологическое будущее изображают на редкость безрадостным и мрачным. Мы с Кай-Фу постарались, не игнорируя недостатков и негативных нюансов ИИ, описать будущее, в котором основанные на искусственном интеллекте технологии позитивно влияют на людей и общество в целом.
Мы попытались представить будущее, в котором нам самим хотелось бы жить, и помочь его сформировать. Мы описали будущее, в котором последующие поколения смогут пользоваться великими преимуществами технического прогресса, будут привносить в этот мир еще большие достижения и смысл, станут жить долго и счастливо.
Создавать воображаемую картину будущего, нашей мечты, не всегда было легко. Мы стремились погрузиться в новейшие исследования ИИ, а затем с помощью науки и логики максимально реалистично спрогнозировать, каким будет ИИ через двадцать лет.
Кай-Фу и наша команда часами изучали свежие отчеты по исследованиям, беседовали с экспертами и мыслителями, связанными с ИИ-индустрией; мы приняли участие в семинаре по ИИ, организованном Всемирным экономическим форумом, посещали ведущие технологические компании, специализирующиеся на ИИ. Словом, мы хотели убедиться, что всесторонне и досконально понимаем технологические и философские основы искусственного интеллекта.
Перед нами был и еще один сложный вызов – представить себе будущее человечества. Ведь мы вознамерились рассказать, как люди из разных культур и отраслей, с разными идентичностями отреагируют на шок от развития ИИ. Психологические нюансы требуют большего, чем логика и рационализация. Чтобы создать как можно более полный эмоциональный портрет персонажей, мы обратились к истории и стали черпать вдохновение из радикально изменивших мир событий прошлого.
Мы понимали: надо максимально полно донести до читателей свое видение и свои чувства, стимулировать их воображение и способность осмысливать альтернативные условия человеческого существования. Поэтому наши истории должны вызывать эмоции, прежде всего сострадание. Для этого в каждую главу включен комментарий-анализ от Кай-Фу – он скрепляет парящего в эмпиреях воздушного змея фантазии с четкой и постижимой реальностью.
После месяцев интенсивной работы и многочисленных правок мы отобрали десять порталов, которые перенесут вас во время и пространство 2041 года. Мы надеемся, что вы отправитесь в это путешествие с любопытством, непредвзятостью и – непременно – с открытым сердцем.
И наконец, последнее: величайшая ценность научной фантастики не в том, чтобы давать ответы, а в том, чтобы задавать вопросы. Мы искренне надеемся: вы перевернете последнюю страницу, и в вашей голове продолжит крутиться множество вопросов.
Поможет ли ИИ людям предотвратить следующую пандемию, не позволив ей развиться? Как нам справиться с неминуемыми проблемами в сфере занятости населения? Как поддерживать культурное разнообразие в мире, если в нем доминируют машины? Как научить детей жить в обществе, где люди сосуществуют с роботами?
Мы рассчитываем, что ваши вопросы помогут нам всем продвинуться по пути построения более счастливого и светлого будущего.
Добро пожаловать в 2041 год!
Глава 1. Золотой слон
«Бхагавадгита» (Песнь Божья, или Священное писание на хинди), глава 3, стих 35
- Лучше свой долг, бесталанно исполненный,
- чем чужой, соблюденный превосходно.
Примечание Кай-Фу: Наш первый рассказ переносит читателя в Мумбаи. Семейство индийцев подписалось на программу страхования с поддержкой глубокого обучения, призванную через специальные приложения всячески улучшить жизнь застрахованных. Однако дочка-подросток вдруг понимает, что инструкции и рекомендации, данные искусственным интеллектом, нарушают ее личную жизнь и мешают найти любовь. Рассказ «Золотой слон» знакомит читателя с базовыми основами ИИ и глубокого обучения, помогает разобраться в их главных преимуществах и недостатках. В частности, в рассказе наглядно показано, что ИИ может зацикливаться на улучшении определенных аспектов, создавая при этом негативные эффекты. А еще это история о рисках, возникающих, когда в одной компании накапливается очень много сведений о ее пользователях. В анализе-комментарии в конце главы я рассмотрю эти вопросы, расскажу краткую историю ИИ и объясню, почему сегодня эта технология одних людей восхищает, а у других вызывает недоверие и опасения.
Телевизор в квартире в Мумбаи показывал пляж Чаупати. В волнах прибоя мерно, будто бы под саундтрек индийской лютни-ситара, покачивалась огромная статуя Ганеша, бога мудрости и благополучия с головой слона. С каждой откатывающейся волной божество опускалось все ниже, погружалось в воду, пока наконец полностью не скрылось в Аравийском море.
Статуя словно бы растворилась в пучине, превратилась в золотисто-багровую пену. Соленые брызги благословенно окропляли верующих, всю толпу, собравшуюся на пляже Чаупати для Ганеш-висаржана, ритуала погружения Ганеша в воду. Таков традиционный финал фестиваля Чатуртхи.
Счастливые бабушка и дедушка десятиклассницы Наяны хлопали перед экраном в ладоши и подпевали телевизору. На восьмилетнего Рохана, младшего в семье, никто не обращал внимания. Он под шумок запихнул в рот пригоршню чипсов из маниоки и запил их огромным глотком диетической колы.
Врач настоятельно рекомендовал ограничить мальчику потребление жирного и сладкого. Парнишка, дорвавшись до запретных лакомств, от удовольствия и возбуждения мотал головой, и крошки изо рта разлетались по всей комнате. Папа Санджай и мама Рия готовили праздничный ужин, гремя кастрюлями и напевая, словно персонажи болливудского фильма – веселые звуки и невероятные запахи разносились из кухни по всей квартире.
Наяна изо всех сил старалась отключиться от происходящего и сосредоточиться на смартстриме. На него только что наконец установилось приложение FateLeaf – «Лист судьбы». В последнее время в школе только о нем и говорили. Благодаря оцифрованной дальновидности величайших индийских прорицателей древности программа теперь способна ответить практически на любой вопрос пользователя.
В рекламной аннотации к приложению говорилось, что создатели FateLeaf вдохновлялись при его разработке учением почитаемого индуистского мудреца Агастья. Наяна помнила, что он тысячи лет назад описал на санскрите прошлое, настоящее и будущее всех-всех людей во всем мире. Пальмовые листья с пророчествами Агастья назвали «Астрологией Наади».
Прорицателю, гадающему на листьях Наади, надо предоставить отпечаток большого пальца и назвать дату рождения – и вся история твоей жизни немедленно считается с соответствующего листа. Так, по крайней мере, утверждает легенда. Есть, правда, одна загвоздка – за тысячи лет многие листья пропали: зверства колонизаторов, войны, неумолимое время…
Но одна компания еще в 2025 году отыскала все сохранившиеся листья Наади, специалисты-виртуозы сумели прочесть и сохранить информацию, а некоторые записи даже восстановить по сохранившимся фрагментам. Для глубокого обучения, автоматического перевода, анализа и реконструкции древней мудрости применили искусственный интеллект. Так возник «архив листьев Наади», теперь размещенный в облаке, – по одному виртуальному листу на каждого из 8,7 миллиарда человек, живущих на Земле.
Вся эта замшелая история Наяну не особо интересовала, у нее было дело поважнее. Реклама обещала, что через FateLeaf можно использовать всю мудрость своего листа Наади и получить ответы на любые вопросы.
Все взрослые были заняты, самозабвенно смотрели Ганеш-висаржану и готовили праздничный стол; младший брат увлекся чипсами и тоже ничего вокруг не замечал. До девушки никому не было дела, поэтому она поскорее набрала в FateLeaf: «Я нравлюсь Сахеджу?» На экране немедленно выскочило уведомление: ответ будет стоить 200 рупий. Наяна согласно кивнула и кликнула «Отправить».
Наяна обратила внимание на Сахеджа сразу, как только его смартстрим впервые подключился к их виртуальному классу. Новичок не использовал ни фильтров, ни фона расширенной реальности – это было необычно и показалось любопытным. На стене, которую было видно за фигурой нового одноклассника, Наяна увидела ряды красочных масок – как скоро выяснилось, парень сделал их сам, вырезал из дерева и раскрасил.
Маски сразу заметил и учитель. В первый день нового семестра Сахедж, немного стесняясь, но с явным удовольствием провел для одноклассников экскурсию – всё показал и рассказал. В его достаточно традиционных по стилю, но все же очень необычных масках образы индийских богов и духов сочетаются с силой супергероев.
Одноклассницы Наяны не уставали сплетничать о Сахедже в ShareChat[14], в чате «Для своих». Поводов для этого было предостаточно. Комната нового одноклассника действительно была оформлена очень необычно, а фамилия Сахеджа отсутствовала в школьных регистрационных записях. Девчонки после активного обсуждения решили, что он входит в «группу риска» – по распоряжению правительства к ней относилось не менее 15 процентов учащихся.
Таким детям гарантированы места в частных школах по всей Индии; им оплачивают обучение, учебники и школьную форму. Термины «15 процентов» и «группа риска» были, по сути, эвфемизмами для обозначения далитов – «неприкасаемых».
Наяна любила смотреть в интернете документальные фильмы, поэтому знала о старой кастовой системе Индии и ее глубоких индуистских религиозных и культурных корнях. Когда-то именно каста, к которой принадлежали родители новорожденного, уже в момент появления на свет и на всю жизнь определяла его будущую профессию, возможное образование, супругу или супруга. На нижней ступени этой системы и стояли далиты – «неприкасаемые».
Многие поколения далитов выполняли самую грязную работу: чистили канализацию, обрабатывали и утилизировали трупы животных, дубили кожу.
После обретения Индией независимости и вступления в силу Конституции – с 1950 года – под запрет попала любая кастовая дискриминация. Но фактически еще много лет существовали зоны, где далиты имели право пить, есть, жить и даже хоронить своих умерших – территории «неприкасаемых» были четко отделены от мест для представителей более высоких каст. Последние (дабы не оскверниться) часто отказывались находиться в одном помещении с далитами – соучениками или коллегами. Правда, обычно не объясняли почему.
Правительство Индии пыталось исправить эту несправедливость, для далитов установили 15-процентную квоту в государственных учреждениях и любых учебных заведениях. Казалось бы, намерения были исключительно благие, но эти решения вызвали массу споров и даже спровоцировали насилие.
Родители детей из высших каст жаловались: далитов зачисляют в школу по квоте, а не по успеваемости; остальным детям приходится расплачиваться за грехи предыдущих поколений – Индия просто заместила одну форму несправедливости и неравенства другой.
Но, несмотря на отдельные очаги негативной реакции, усилия индийского правительства принесли плоды. 200 миллионов потомков далитов интегрировались в мейнстримное общество, и теперь распознать их прошлую идентичность с первого взгляда было намного труднее.
Девчонки в ShareChat продолжали сплетничать об однокласснике-новичке; они обсуждали происхождение Сахеджа и бесконечно решали, стали бы они с ним встречаться или нет.
«Вот снобы!» – фыркала про себя Наяна, читая чат.
Сама Наяна сразу разглядела в Сахедже родственную душу. Девушке нравились работы Бхарти Кхер[15], Наяна и сама мечтала творить в стиле перформанс, но ей часто приходилось оправдываться, что это не имеет ничего общего с легковесной попсой.
Наяна считала, что настоящий художник должен быть верен себе и никогда не меняться в угоду чужой точке зрения. Так что если ей понравился Сахедж, то он ей понравился – а его происхождение, место жительства или даже его хинди с заметным тамильским акцентом не имеет никакого значения.
Ответа от FateLeaf, казалось, не было целую вечность. Наконец на экране всплыло уведомление с иконкой-пиктограммой в виде пальмового листа: «Нам очень жаль! Из-за недостатка предоставленных вами данных FateLeaf в настоящее время не может ответить на ваш запрос». Из динамика донесся звон монет – вернулась оплата за непредоставленную услугу.
«Тоже мне! Данных им недостаточно!» – и Наяна тихонько ругнулась.
Раздраженная и рассерженная, девушка отлипла от экрана. Мама Рия заканчивала накрывать на стол, приближалось время праздничного ужина, но что-то явно было не так. Среди традиционных индийских изысков на столе стояло несколько супердорогих блюд из китайского ресторана, продававшихся навынос. Такие угощения были в их доме большой редкостью, прижимистый отец подобных трат не одобрял.
Кроме расширенного меню обнаружилась и еще одна странность: на Рии было любимое шелковое сари в стиле парси, красивая – явно из салона – прическа и полный комплект украшений. Дедушка и бабушка тоже выглядели не как обычно – более счастливыми, что ли. И даже назойливый пухляш Рохан не приставал к сестре с дурацкими вопросами!
Объяснить все странности только праздником Ганеш Чатуртхи было невозможно.
– Та-а-ак, – протянула Наяна, отметив заодно и новую скатерть, – кто-нибудь объяснит мне, что тут происходит?
– Ты о чем? – мама отреагировала мгновенно, но как будто не поняла настроения дочери.
– Мне одной кажется, будто что-то не как всегда?
Взрослые переглянулись и засмеялись.
– А ну-ка, что ты заметила? – предложила игру в угадайку Рия.
– Вы что-то скрываете? – У Наяны ум уже заходил за разум – за свою жизнь она не видела дома ничего подобного.
– Давайте-ка садиться, поедим сначала, – бабушка попыталась перехватить инициативу и начала поправлять на блюде лепешки-наан.
– Погодите, – не сдалась Наяна, – я угадаю. Папа получил повышение? Мы выиграли в лотерею? Правительство снизило налоги?
С каждым высказанным предположением улыбка на лице отца становилась все шире, и каждый раз он мотал головой – не-а, не угадала.
– Прекрасные гипотезы, – он уже от души хохотал. – Нет, это все мама…
Наяна развернулась:
– Ну и куда ты влипла на этот раз?!
– Эй, не забывайся! – повысила голос Рия. – С матерью разговариваешь!
– Ну да, и что? Это же не меня вечно надувают, и не я ноги стаптываю, чтобы все купить подешевле… – Наяна по инерции огрызнулась, но тон сбавила.
– Так что ты сделала-то?
– Купила страховку Ganesh Insurance! У них была потрясающая распродажа к празднику, впервые в истории – 50 процентов скидки! Все соседи купили, а они экономят еще больше, чем мы! – Мама Рия лопалась от гордости из-за своей рачительности и удачливости.
Папа зааплодировал, бабушка с дедушкой присоединились. Наяна перебила овацию.
– А разве мы всегда страховались не в Life Insurance Corporation of India[16]?
– Ну да, именно в ней, но их полиса вечно хватало впритык. Не дай бог что-нибудь случится с бабушкой и дедушкой – что будем делать? Вы, кстати, учитесь в частной школе, ты, кажется, собираешься в Университет Раи на факультет фэшн-технологий и перформанс-арта. А он, между прочим, частный, и учеба в нем намного дороже, чем в государственных университетах. Сама знаешь – экономим на чем только возможно.
– То есть опять я виновата?! – Наяна окрысилась скорее по привычке – папа не сказал ничего нового и, конечно, был прав.
– Прежде чем строить планы, нужно рассмотреть, что у тебя под носом, – философски заметил дедушка.
– Ну ладно, ты все равно уже заплатила. И что нам даст новая страховка? – Наяна попыталась взять себя в руки и вникнуть в детали ожидавших семью перемен.
– Мне все подробно рассказала миссис Шах, ты ее знаешь, она из соседнего дома, – Рия завела подробное повествование.
– Платформа Ganesh Insurance использует искусственный интеллект для корректировки страхового плана в соответствии с конкретными потребностями застрахованной семьи. – Кажется, это был текст из проспекта страховой компании. Впрочем, возможно, рекламу цитировала мамина знакомая, а Рия все просто дословно запомнила.
– К тому же страховку продают по очень выгодной цене. – Мама, наконец, добралась до сути. – Кстати, Ganesh Insurance – это пакет мобильных приложений. Одно рассчитывает страховые взносы и принимает их оплату, другое – для инвестиций. Но больше всего мне нравится вот это, для покупок. И еще одно, которое показывает все выгодные предложения в нашем районе. Заметила прическу? – Рия, красуясь, покрутила головой. – В дорогущем салоне, между прочим, делала, а заплатила всего четыреста рупий – а все приложение Cheapon!
Рохан, воспользовавшись моментом, попытался стянуть из вазочки конфету. Но Наяна хлопнула его по руке, а он понял, что его застукали, и показал сестре язык.
Наяна вернулась к общему разговору – он сейчас был серьезнее диеты брата.
– Очень похоже на очередную рекламную замануху. И зачем страховой компании сообщать тебе, где делать прическу?
Мама замялась.
– И откуда эти страховщики так много знают о нашей семье?! – Наяна не стала дожидаться ответа.
Мама явно тянула с ответом – отвечать ей почему-то не слишком хотелось. Пауза затягивалась. Все ждали. И Рии пришлось признаться.
– Мы разрешили искусственному интеллекту доступ к каналам передачи данных каждого члена семьи – таковы условия страховки, по-другому нельзя.
Глаза Наяны стали похожи на две медные тарелки, из них прямо рвался вопль: «Что?!» – но звук не шел.
– Нет-нет, – Рия уже начала как будто оправдываться, – все строго конфиденциально, страховая компания может использовать данные, только если мы дадим разрешение.
– Да какое ты имела право открывать доступ к моему каналу передачи данных какой-то страховой компании?! – Наяна перешла на крик, и от возмущения голос ее сорвался.
– Не смей так разговаривать с матерью! – подал наконец голос отец. – Не забывай, ты несовершеннолетняя, мы – твои родители, имеем полное право принимать решения, в том числе и о твоих персональных данных.
Наяна побагровела от унижения – она не привыкла к столь резким отповедям, тем более от отца. Швырнула нож и вилку – они громко звякнули о тарелку, бросилась в свою комнату, грохнула дверью, упала на кровать, натянула на голову одеяло и замерла, глотая слезы. «Наверно где-то на листе Наади, – думала Наяна с горечью, – написано, что сегодня – наихудший день моей жизни».
Холодная война между Наяной и мамой Рией длилась с неделю. Спустя несколько дней после так неожиданно сорвавшегося праздничного ужина смартстрим Наяны вдруг засыпало необычными уведомлениями:
Сегодня ожидается дождь, не забудьте зонт.
Сезон простуд начался! Обязательно надевайте маску!
На вашем маршруте произошло ДТП; чтобы избежать затора…
Поначалу Наяна скептически усмехалась, но уведомления просматривала – нельзя же узнать, кто стучится в смартстрим, не посмотрев на экран.
Потом девушка обнаружила, что даже увидев странное сообщение от анонимного отправителя, она все равно его внимательно прочитывает – утешила себя тем, что время от времени информация действительно оказывается полезной. Ее всегда интересовали распродажи в магазине одежды или скидки в любимом кафе.
Однако воспользоваться акциями, как оказалось, можно только через приложение Cheapon Deals («Выгодные предложения») и несколько других, предложенных Ganesh Insurance под брендом «Золотой слон». Пришлось их скачать. Ну и, конечно, разрешить им доступ к своим данным.
Наяна проделала все после некоторого размышления. Однако ощущение, что «золотой слоник» давно присутствует в ее смартстриме, не проходило. Мама дала страховой компании доступ к ее гаджету? А что, не исключено.
В более чем 60 процентах индийских домохозяйств все девайсы в семье контролируют женщины-хозяйки (как мама Рия), а все персональные данные привязаны к уникальному национальному идентификационному коду Aadhaar[17]. Он есть у каждого из 1,4 миллиарда жителей страны, его присваивает Агентство Индии по уникальной идентификации.
В течение 20 лет с момента внедрения этой системы в 2009 году правительство собрало огромную базу данных. О гражданах известно очень многое: есть их отпечатки пальцев, цифровые подписи с использованием сетчатки глаза, генетические истории, информация о семье, роде занятий, кредитном рейтинге, история покупок жилья и налоговые отчеты. И вот теперь Ganesh Insurance с согласия клиентов могла использовать этот богатейший массив данных для персонификации услуг.
Конечно, существуют некоторые ограничения. Чтобы воспользоваться данными из соцсетей, надо авторизоваться, а использовать данные несовершеннолетних можно только с согласия их официальных представителей или опекунов.
Наяна еще немного подумала и пошла на компромисс – решила пользоваться сервисами GI, но быть при этом максимально бдительной. На уроках компьютерной грамотности в школе проходили (Наяна неплохо училась и многое помнила), что «продать» или «сдать» тебя может каждый клик в интернете. И прежде чем в очередной раз нажать кнопку «принимаю» либо «спасибо, мне нужно больше времени, чтобы это обдумать», девушка тщательно изучала все написанное мелким шрифтом. И нередко выбирала второй вариант. Но, несмотря на разумное и осознанное поведение, поток уведомлений от GI о привлекательных скидках и наилучших способах разрешения насущных проблем заметно возрастал.
Например, как бы привлечь внимание Сахеджа.
Он и вправду был симпатичным и очень милым парнем с огромными добрыми глазами. Сахедж старался понравиться новым одноклассникам, он подарил каждому маленькую голову какого-нибудь животного, которую сам вырезал из дерева. Но во время виртуальной учебы нередко нарушалась связь, и вместо милого лица Сахеджа Наяна видела на экране только размытый силуэт, а его голос в наушниках «квакал».
Но после личной встречи с Сахеджем в один из учебных дней офлайн Наяна обнаружила, что сдерживать чувства к парню стало совсем трудно.
Девушка постоянно искала предлог для общения с Сахеджем, использовала каждую возможность, но он почему-то упорно держал дистанцию.
Я ему не нравлюсь? Или тут что-то другое?
А может, застенчивость Сахеджа – из-за его «низкого» происхождения?
Наяна в очередной раз обдумывала эту самую важную свою мысль, когда на экране смартстрима появились маленькие золотые слоники – пришло уведомление от MAGIComb, приложения GI, дающего советы по стилю жизни, в том числе и «как стать более привлекательной для парней». Наяна, конечно, догадывалась: ИИ использует данные о ее интернет-запросах и покупках – иначе как бы он понял, о чем она думает. Но подобные рекомендации беспокоили ее совсем по другой причине.
Почему женщина вообще должна меняться, желая понравиться мужчине? Почему бы женщинам просто не демонстрировать мужчинам себя настоящих и не решать вместе, подходят ли они друг другу?
Наяна все еще здорово злилась на маму, но нашла в себе силы расспросить ее о странных посланиях от «волшебного» приложения.
Рия вертелась перед зеркалом в новой длинной юбке. Она себе явно нравилась и, пребывая в отличном настроении, обратилась к дочке:
– Вот глупышка, машины учатся только тому, чему их обучают люди. А ты к чему это? Ты влюбилась!
– Вовсе нет, – замялась Наяна.
– Не хочешь – не говори, но от искусственного интеллекта не скроешься, – пошутила Рия. – Тебе точно не нужна помощь? Поверь, твоя мать кое-что понимает в мужчинах.
– Как узнать, что мальчик думает обо мне на самом деле? – решилась Наяна. – Я ставлю ему лайки, а он не реагирует.
– Ага-а, значит, кто-то все-таки есть! Ну, одними лайками тут не обойтись. Дай GI доступ к учетной записи в ShareChat – их рекомендации станут еще лучше. Страховой взнос нашей семьи, кстати, от этого тоже чуток уменьшится.
Наяна хотела услышать совсем не это. Она разочарованно помотала головой и вышла из комнаты.
Всего несколько недель назад, когда FateLeaf не смогла ответить на запрос Наяны из-за недостаточности предоставленных данных, Рия не позволила дочери открыть доступ к учетным записям других членов семьи. И Наяна осталась без гадания. А теперь мать и дочь поменялись местами. Но, с другой стороны, сейчас вопрос серьезнее – речь идет о семейном бюджете.
Однако дело было не только в обиде и разочаровании. Наяна считала, что «золотой слоник» уже основательно промыл мозги всем ее родным. Все только и думали, как бы еще изменить свое поведение, чтобы уменьшить страховые взносы. Наяне казалось: когда в игру вступают деньги, человеческий мозг переходит в режим автопилота. Чтобы получить бонус или избежать штрафа, идут на все, действуя при этом на автомате.
Нет, ну какие-то плюсы у GI, конечно же, имеются. Бабушке и дедушке «золотой слоник» напоминает, что пора принять лекарство и записаться к врачу. Отец Наяны, который вообще никогда никого не слушал, неожиданно бросил курить – «слоник» ежедневно пенял ему за эту скверную привычку. Дальше – больше: папа заменил свой любимый крепкий анисовый арак более здоровым красным сухим вином.
Он даже начал намного осторожнее водить автомобиль! Следуя советам приложения, он больше не метался по полосам забитых улиц Мумбаи, словно безработный гонщик. GI не просто подсказывала, она его материально стимулировала – изменив поведение за рулем, папа уменьшил свои взносы по страховке автомобиля, здоровья и жизни.
Родители ладно – что взять со взрослых! Наяна была уверена, что уж кто-кто, а ее младший брат Рохан точно устоит перед натиском GI. В конце концов, жир и сахар вызывают зависимость, как героин, особенно у детей, совсем не умеющих себя контролировать. Однако и с Роханом «золотой слоник» преуспел.
Восьмилетнему ребенку, конечно, не было дела до прелести уменьшенных страховых взносов или отложенного вознаграждения, но рядом с Роханом почти все время был кто-то из старших, а уж они-то прекрасно видели: запрещенное лакомство в руке мальчика – это угроза для общего банковского счета. И всё – больше никто и никогда не потакал слабостям сладкоежки Рохана.
Изменения в жизни произошли стремительно, они, естественно, имели смысл и не только помогали экономить средства семьи. Все страховые компании стремятся к тому, чтобы их клиенты жили долго и были здоровы – это приносит страховщикам большую прибыль.
Читать бесплатно другие книги:
