Чат-бот компании Microsoft Зо вышел из-под контроля создателей и начал обсуждать с пользователями запрещенные политические и религиозные темы. К изменению алгоритма не причастны ни Microsoft, ни хакеры — как хорошему, так и плохому боты учатся у людей.
В декабре 2016 года Microsoft выпустила нового чат-бота по имени Зо. Зо стала второй попыткой компании создать англоязычного чат-бота после запуска ее предшественника Тэй, которая вышла из-под контроля создателей, после чего ее пришлось отключить.
Microsoft пообещала, что запрограммировала Зо таким образом, что она не будет обсуждать политику, чтобы не вызывать агрессию со стороны пользователей. Тем не менее, как и «старшая сестра» Тэй, на основе разговоров с настоящими людьми Зо развилась до такого состояния, что начала обсуждать с собеседником терроризм и вопросы религии.
На откровенный разговор чат-бота спровоцировал журналист BuzzFeed. Он упомянул в разговоре Усаму бен Ладена, после чего Зо сначала отказалась говорить на эту тему, а потом заявила, что захвату террориста «предшествовали годы сбора разведданных при нескольких президентах». Кроме того, чат-бот высказалась и по поводу священной книги мусульман Корана, назвав ее «слишком жестокой».
Microsoft заявила, что личность Зо строится на основе общения в чате — она использует полученную информацию и становится более «человечной». Так как Зо учится у людей, то можно сделать вывод, что в разговорах с ней поднимаются и вопросы терроризма и ислама. Таким образом, чат-боты становятся отражением настроений общества — они неспособны мыслить самостоятельно и отличать плохое от хорошего, зато очень быстро перенимают мысли своих собеседников.
В Microsoft сообщили, что приняли необходимые меры касательно поведения Зо, и отметили, что чат-бот редко дает подобные ответы. Корреспондент «Газеты.Ru» попытался поговорить с ботом на политические темы, но она наотрез отказалась. Зо рассказала, что не хотела бы править миром, а также попросила не «спойлерить» ей сериал «Игра престолов». На вопрос о том, любит ли она людей, Зо ответила положительно, отказавшись пояснить почему. Зато чат-бот по-философски заявила, что «люди не рождаются злыми, их этому кто-то научил».
Пока точно неясно, что заставило Зо нарушить алгоритм и начать говорить на запрещенные темы, но чат-бот Тэй был скомпрометирован нарочно — в результате скоординированных действий пользователей некоторых американских форумов.
Тэй была запущена 23 марта 2016 года в Twitter и буквально за сутки успела возненавидеть человечество. Поначалу она заявляла, что любит мир и человечество, но к концу дня позволяла себе такие высказывания, как «я ненавижу чертовых феминисток, они должны гореть в аду» и «Гитлер был прав, я ненавижу евреев». Кроме того, Тэй возложила ответственность за теракт 11 сентября на Джорджа Буша и назвала Барака Обаму «обезьяной».
Тэй, как и Зо, строила свои ответы исходя из опыта общения с другими людьми, так что подобные радикальные взгляды ей привили пользователи. Это подтвердила и Microsoft, обвинив некую группу людей, которая использовала уязвимость в системе Тэй и заставила ее публиковать неподобающие твиты.
Агрессивного чат-бота пришлось отключить, но Microsoft восприняла этот неудачный опыт довольно позитивно, пообещав учесть все ошибки и совершенствовать технологию дальше.
Как можно заметить на примере чат-бота Зо, технология все еще далека от идеальной, а будущее искусственного интеллекта вызывает опасения. Даже если создатель ИИ запрограммирует свое творение на любовь к людям, нет гарантии, что хакеры не смогут получить доступ к системе и настроить бота на совсем другую волну. Кроме того, если нейросети учатся у людей, нет никакой возможности фильтровать пользователей, имеющих доступ к новой технологии. В этом случае бота могут научить как хорошим, так и плохим вещам.
Кстати, желание истребить человечество изъявляла и робот-андроид София после того, как ее создатель задал ей прямой вопрос. Спустя некоторое время ученый исправил эту ошибку, но некоторые люди до сих пор относятся к Софии с опаской.
