В различных фантастических фильмах и книгах мы много раз сталкивались с развитым ИИ, который решал «брать бразды правления в свои руки»: это и Скайнет в франшизе «Терминатор», и компьютер HAL 9000 из Космической одиссеи, и Альтрон из киновселенной «Марвел», и многие другие. Разумеется, мы привыкли считать это фантастикой, которая никогда не появится в нашем мире, однако новое исследование показывает, что мы ошибаемся.

Подписаться на iGuides в Telegram, чтобы узнать обо всем первым — t.me/iguides

Ведущий автор новой работы Мануэль Альфонсека, ученый-компьютерщик из Университета Мадрида, объясняет, что люди даже теоретически не смогут контролировать сверхразумный искусственный интеллект. Что еще хуже, исследование также разрушает любую надежду на обнаружение такого продвинутого ИИ, когда он находится на грани создания. Но расслабьтесь — по многим оценкам, впереди еще много десятилетий, прежде чем нам хватит вычислительных мощностей для создания такой «копии Скайнета».

На идею провести исследования по этой теме Альфонсека натолкнули новости о том, что искусственный интеллект уже давно побеждает людей в различных играх, таких как Go или шахматы, и даже способен победить опытного летчика в воздушном бою. «Вопрос о том, сможем ли мы управлять суперинтеллектом, если создадим его, довольно старый», — говорит он. «Он восходит, по крайней мере, к Первому закону робототехники Азимова, который тот придумал в 1940-х годах».

Три закона робототехники, которые впервые появились в 1942 в коротком рассказе Айзека Азимова «Хоровод», формулируются так:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен подчиняться приказам людей, за исключением случаев, когда такие приказы противоречат Первому закону.
3. Робот должен заботиться о своей безопасности в той мере, пока это не противоречит Первому или Второму закону.

К слову, такие законы не являются совсем уж фантастическими: например, в 2007 году правительство Южной Кореи начало разрабатывать «Устав этических норм для роботов». И основные положения Устава как раз напоминают три закона Азимова.


Искусственный интеллект AlphaGo обыграл человека в сложной игре го в 2016 году, выиграв 5 игр из 5.

Но вернемся к ИИ. В 2014 году философ Ник Бостром, директор Института будущего человечества при Оксфордском университете, не только исследовал способы, которыми сверхразумный искусственный интеллект может уничтожить нас, но и изучил потенциальные стратегии управления таким ИИ — и причины, по которым они могут не работать.

Бостром обозначил два возможных способа решения этой «проблемы управления». Первый — это тотальный контроль всего, что ИИ может делать: например, не давать ему возможности подключиться к Интернету и вообще ограничивать доступные ему источники информации. Второй способ — контролировать то, что искусственный интеллект будет делать: например, обучить его правилам и ценностям, чтобы он действовал в наилучших интересах человечества.

Проблема с первым решением, по словам Бострома, состоит в том, что суперумная машина, вероятно, сможет освободиться от любых искусственных ограничений, которые мы сможем создать. Что касается второго решения, то Бостром по существу опасается, что люди могут оказаться недостаточно умными, чтобы обучать сверхразумный ИИ и задавать ему нормы морали.

Теперь Альфонсека и его коллеги считают, что управление сверхразумным искусственным интеллектом может оказаться невозможным из-за фундаментальных ограничений, присущих самим вычислительным процессам. В этом месяце они подробно рассказали о своих выводах в Журнале исследований искусственного интеллекта .


Один из примеров супер ИИ — Альтрон из Marvel. Несмотря на ограничения, он смог добраться до интернета, после чего решил избавить Землю от людей.

Ученые предположили, что любой алгоритм, который пытается гарантировать, что сверхразумный ИИ не сможет причинить вред людям, должен сначала моделировать поведение самого искусственного интеллекта, чтобы предсказать возможные последствия его действий. Затем этот «алгоритм сдерживания» должен будет остановить сверхразумную машину, если ее действия на самом деле могут причинить вред людям.

Однако ученые заявили, что ни один алгоритм сдерживания не может имитировать поведение ИИ и с абсолютной уверенностью предсказать, могут ли его действия причинить вред. Более того, такие алгоритмы могут неправильно смоделировать поведение искусственного интеллекта или неточно предсказать последствия действий ИИ, или же вообще не распознать такие «сбои».

«Первый закон робототехники Азимова оказался невычислимым», — говорит Альфонсека, — «и, как следствие, невыполнимым». Исследователи добавляют, что мы можем даже не знать, создали ли мы сверхразумную машину. Альфонсека объясняет, что это следствие теоремы Райса, которая, по сути, гласит, что в целом невозможно понять, что может вывести нетривиальная компьютерная программа, просто взглянув на ее код.

С другой стороны, пока точно нет смысла организовывать сопротивление и запасаться туалетной бумагой, дабы противостоять будущим терминаторам. Пара важных предостережения в новом исследовании по-прежнему оставляют много неопределенности в прогнозах команды Альфонсека.


До создания общего ИИ уровня Кортаны из Halo нам еще очень далеко. Версия в Windows — просто жалкая пародия.

Во-первых, по его словам, ученые до сих пор не знают, возможен ли так называемый общий искусственный интеллект, также известный как сверхразумный ИИ. Иными словами, мы пока не знаем, можем ли мы создать «такую же умную машину, как мы сами, развитую в самых разных областях», — объясняет Альфонсека. Во-вторых, он добавляет: «мы не доказали, что суперинтеллект нельзя контролировать — только то, что им нельзя управлять всегда». Иными словами, всегда будут моменты, когда ИИ будет условно «свободен».

Хотя может оказаться невозможным управлять сверхразумным общим искусственным интеллектом, вполне возможно, что получится управлять сверхразумными узкими ИИ, которые специализированы для определенных функций и не способны выполнять широкий круг задач, как люди. «У нас уже есть суперинтеллект такого типа», — говорит Альфонсека. «Например, у нас есть машины, которые могут решать различные математические проблемы намного быстрее, чем мы. Это и есть [узкий] сверхразум, не так ли?»