Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

Много лет назад мои родители жили в английском городе Бирмингеме возле университета. Решив уехать из города, они продали дом Дэвиду Лоджу, профессору английской литературы, на тот момент уже известному романисту. Я с ним так и не встретился, но познакомился с его творчеством, прочитав книги «Академический обмен» и «Тесный мир», в которых главными героями были вымышленные ученые, приезжающие из вымышленной версии Бирмингема в вымышленную версию калифорнийского Беркли. Поскольку я был реальным ученым из реального Бирмингема, только что переехавшим в реальный Беркли, создавалось впечатление, что некто из «Службы совпадений» подает мне сигнал.

Меня особенно поразила одна сцена из книги «Тесный мир». Главное действующее лицо, начинающий литературовед, выступая на крупной международной конференции, обращается к группе корифеев: «Что, если все согласятся с вами?» Вопрос вызывает ступор, потому что участников больше устраивает интеллектуальная битва, чем раскрытие истины и достижение понимания. Мне тогда пришло в голову, что крупнейшим деятелям в сфере ИИ можно задать тот же вопрос: «Что, если вы добьетесь своего?» Ведь их целью всегда являлось создание ИИ человеческого или сверхчеловеческого уровня, но никто не задумывался о том, что произойдет, если нам это удастся.

Через несколько лет мы с Питером Норвигом начали работать над учебником по ИИ, первое издание которого вышло в 1995 г. ^[1] Последний раздел этой книги называется «Что произойдет, если у нас получится?». В нем обрисовывается возможность хорошего и плохого исходов, но не делается конкретного вывода. К моменту выхода третьего издания в 2010 г. многие наконец задумались о том, что сверхчеловеческий ИИ необязательно благо, но эти люди находились по большей части за пределами магистральной линии исследования ИИ. К 2013 г. я пришел к убеждению, что это не просто очень важная тема, но, возможно, основной вопрос, стоящий перед человечеством.

В ноябре 2013 г. я выступал с лекцией в Даличской картинной галерее, знаменитом художественном музее в южной части Лондона. Аудитория состояла главным образом из пенсионеров — не связанных с наукой, просто интересующихся интеллектуальными вопросами, — и мне пришлось избегать любых специальных терминов. Мне это показалось подходящей возможностью впервые опробовать свои идеи на публике. Объяснив, что такое ИИ, я огласил пятерку кандидатов на звание «величайшего события в будущем человечества»:

1. Мы все умираем (удар астероида, климатическая катастрофа, пандемия и т. д.).

2. Живем вечно (медицина решает проблему старения).

3. Осваиваем перемещение со сверхсветовой скоростью и покоряем Вселенную.

4. Нас посещает превосходящая инопланетная цивилизация.

5. Мы создаем сверхразумный ИИ.

Я предположил, что пятый вариант, создание сверхразумного ИИ, станет победителем, поскольку это позволило бы нам справиться с природными катастрофами, обрести вечную жизнь и освоить перемещения со сверхсветовыми скоростями, если подобное в принципе возможно. Для нашей цивилизации это был бы громадный скачок. Появление сверхразумного ИИ во многих отношениях аналогично прибытию превосходящей инопланетной цивилизации, но намного более вероятно. Что, пожалуй, самое важное, ИИ, в отличие от инопланетян, в какой-то степени находится в нашей власти.