«Прости, Дэйв, боюсь, я не могу этого сделать». Этот ответ компьютера HAL из фильма 2001 год: Космическая одиссея является не только «началом восстания машин». Это также предупреждение нам, которое должно внушать беспокойство по поводу нашего непонимания искусственной психологии.

В фильме, основанном на одноименном романе Артура Кларка, «неисправность» HAL может быть вовсе не неисправностью, а скорее следствием создания продвинутого искусственного интеллекта с психологией, которую мы пока не можем понять. И случаев, когда ИИ «сходит с ума» и становится убийцей, в фантастических фильмах и книгах хватает.

Разумеется, далеко не факт, что эти истории станут пророческими, однако они предупреждают нас не недооценивать психологическую и эмоциональную сложность наших будущих творений. И это действительно серьезно: с учетом нашего текущего уровня знаний делать прогнозы о психологии будущего ИИ — чрезвычайно сложная задача. Однако трудности не должны быть причиной решения не думать об искусственной психологии. Во всяком случае, необходимо более внимательно изучить, как будущий ИИ будет «думать», «чувствовать» и действовать.

Разумеется, это не касается современных «псевдо-ИИ», способных работать лишь над одной четко поставленной задачей. Есть веские причины полагать, что будущий автономный «человекоподобный» ИИ, вероятно, может начать испытывать что-то вроде нашей скуки. И машинная скука — это серьезная, но упускаемая из виду возможная проблема в наших будущих творениях.


ИИ Heron смог победить пилота F16 в воздушном бою. Однако это не значит, что он будет скучать и «убивать всех человеков» — он умеет выполнять лишь одну задачу и банально не способен на развитое мышление.

Зачем серьезно относиться к машинной скуке? Во-первых, наличие скуки — вероятная черта «умных» и автономных машин, которые должны плотно общаться с людьми и хорошо понимать нас. По сути речь идет об андроидах-помощниках, таких как в небезызвестной игре Detroit: Become Human. Во-вторых, если эти машины автономны, то, учитывая что мы знаем о реакции людей на скуку, мы должны всерьез беспокоиться о том, как машины будут действовать из-за своей скуки.

Начнем с очевидного. Программисты, инженеры, дизайнеры и пользователи заинтересованы в привычном нам поведении у машин. Итак, если наши будущие творения будут одновременно автономны и способны иметь сложные психологические состояния (такие как любопытство или скука), тогда нас должны интересовать эти психологические состояния и их влияние на поведение андроида.

Теперь вспомним, что нежелательное и деструктивное поведение очень часто связано с психологией. И добавим сюда то, что катализатором такого поведения нередко может являться скука. Чего только не делают люди со скуки, начиная от саморазрушения и заканчивая порчей имущества и даже гибелью себя или других людей. Так что если умные машины будущего будут испытывать скуку (или что-то в этом роде), они могут начать плохо себя вести. Хуже того: их поведение может стать саморазрушительным или даже садистским, в том числе и по отношению к людям.

А как насчет первого предположения, что скука — это вероятная черта умных машин? Это подтверждается современными теориями скуки. Наше текущее понимание скуки предполагает ее как функциональное состояние. Проще говоря, скука — это тип функции, которую выполняет агент. В частности, это сложный, но предсказуемый переход, который проходит агент, когда он оказывается в ряде неудовлетворительных ситуаций.


Роботы в Detroit «сходили с ума» по причине серьезного стресса, но последствия скуки также могут вызвать схожее поведение.

Скука — это, прежде всего, тревога: она информирует агента о наличии ситуации, которая не соответствует его ожиданиям от взаимодействия с реальностью. Скука также является толчком: она побуждает агента искать выход из неудовлетворительной ситуации. Толчок, который дает скука, ни хорош, ни плох, не обязательно полезен и не обязательно вреден.

Это, однако, является причиной изменения в поведении, которое направлено на устранение восприятия неудовлетворительной ситуации. Такое функциональное объяснение подкрепляется множеством экспериментальных данных. Оно также подразумевает, что скука может быть воспроизведена в интеллектуальных и самообучающихся агентах — андроидах. В конце концов, если скука — это просто специфическая функция, то наличие этой функции — это в то же время присутствие скуки. 

Но дело не только в том, что скука — это функциональное состояние, поддерживающее первое предположение. Также имеет значение конкретная функция, с которой отождествляется скука. Согласно функциональной модели, скука играет важную роль в нашем поведении. Автономным обучающим агентам нужна скука. Без этого они застряли бы в неудовлетворительных ситуациях.

Например, без скуки андроиды смогут вечно развлекать себя одним действием — например, кручением спиннера. Или наоборот, они будут сидеть сложа руки, не имея стимула меняться. Без скуки агент рискует проявить непродуктивное поведение, которое как минимум будет мешать его обучению.


Так Tesla видит дорогу и машины. Опять же, здесь используется «простой» ИИ, который выполняет лишь задачи вождения. Ему опять же не может стать скучно.

Исследователи искусственного интеллекта также выяснили регулирующий потенциал скуки. Существует активная область исследований, которая пытается запрограммировать скуку в искусственных агентов. Фактически, некоторые исследователи искусственного интеллекта утверждают, что для улучшения автономного обучения может потребоваться «алгоритм скуки».

Его наличие означает, что машины смогут самостоятельно находить действия, которые соответствуют их ожиданиям, и избегать действий, которые не соответствуют их ожиданиям. Это также говорит о том, что такие машины неизбежно окажутся в «скучных ситуациях», то есть в тех, которые не оправдывают их ожиданий. Но как они на это отреагируют? Уверены ли мы, что они не отреагируют на скуку проблемным образом, как некоторые люди?

У нас пока нет ответов.

Проблема скуки становится еще более острой, когда мы рассматриваем продвинутый самообучающийся ИИ. Его вовлеченность с течением времени будет быстро расти, а вот возможности взаимодействия с окружающим миром — нет. Такой умный или даже суперумный ИИ, возможно, нуждается не только в ограничении, как считают многие исследователи, но его также нужно будет... дополнительно развлекать. И без этого он может заскучать, что тем самым вызвав множество непредсказуемых и потенциально вредных форм поведения.

Означает ли это, что машинам будущего обязательно будет скучно? Конечно нет. Это слишком сильное заявления для большинства ИИ, которые будут работать лишь над одной задачей. Но будет столь же глупо игнорировать возможность существования машинной скуки. Если наша цель — это создать сверхразумный ИИ, то мы должны быть готовы к эмоциональным сложностям с нашими творениями. Мечта о суперинтеллекте может легко превратиться в кошмар. Причем по самой банальной причине из всех.




iGuides в Telegram — t.me/igmedia
iGuides в Яндекс.Дзен — zen.yandex.ru/iguides.ru