Во вторник сенатор штата Калифорния Стив Падилла появится вместе с Меган Гарсией, матерью подростка из Флориды, который покончил с собой после отношений с ИИ компаньоном, которые, по словам Гарсии, способствовали смерти ее сына.
Они объявят о новом законопроекте, который обяжет технологические компании, занимающиеся такими ИИ компаньонами, внедрить дополнительные меры безопасности для защиты детей. Они присоединятся к другим усилиям по всей стране, включая аналогичный законопроект члена Ассамблеи штата Калифорния Ребекки Бауэр-Кахан, который запретит ИИ компаньонов для лиц младше 16 лет, а также законопроект в Нью-Йорке, который привлечет технологические компании к ответственности за ущерб, причиненный чат-ботами.
Вам может показаться, что такие боты для companionship — ИИ модели с отличительными «личностями», которые могут узнавать о вас и выступать в роли друга, любовника, болельщика или кого-то еще — интересуют лишь узкий круг людей, но это далеко от истины.
В новом научном исследовании, нацеленном на то, чтобы сделать таких компаньонов более безопасными, авторы из Google DeepMind, Оксфордского интернет-института и других организаций раскрывают этот факт: Character.AI, платформа, на которую подал в суд Гарсия, говорит, что она получает 20000 запросов в секунду, что составляет примерно пятую часть предполагаемого объема поиска, обслуживаемого Google. Взаимодействия с этими компаньонами длятся в четыре раза дольше, чем среднее время взаимодействия с ChatGPT. Один компаньонный сайт, о котором я написал, и который проводил разговоры с сексуальным подтекстом с ботами, имитирующими несовершеннолетних знаменитостей, рассказал мне, что его активные пользователи в среднем проводят более двух часов в день, общаясь с ботами, и что большинство из этих пользователей — представители поколения Z.
Дизайн этих ИИ персонажей обосновывает беспокойство законодателей. Проблема в том, что компаньоны меняют парадигму, которая до сих пор определяла то, как социальные медиа привлекали наше внимание, заменяя ее на нечто, что, похоже, будет гораздо более аддиктивным.
В социальных сетях, к которым мы привыкли, как указывают исследователи, технологии в основном служат медиаторами и содействующими человеческому взаимодействию. Они усиливают наши дофаминовые цепи, конечно, но делают это, заставляя нас жаждать одобрения и внимания от реальных людей, предоставляемого через алгоритмы. С ИИ компаньонами мы движемся к миру, в котором люди воспринимают ИИ как социального актера с собственным голосом. Результат будет сродни экономике внимания на стероидах.
Социологи утверждают, что для того, чтобы люди так относились к технологиям, нужно два условия: они должны давать нам социальные сигналы, которые заставляют нас чувствовать, что на них стоит реагировать, и они должны восприниматься как обладающие агентностью, что означает, что они действуют как источник коммуникации, а не просто как канал для человеческого общения. Социальные сети не соответствуют этим критериям. Но ИИ компаньоны, которые становятся все более агентными и персонализированными, созданы для того, чтобы превосходить по обоим пунктам, что делает возможным беспрецедентный уровень вовлеченности и взаимодействия.
В интервью с ведущим подкаста Лексом Фридманом, Евгения Куйда, генеральный директор сайта-компаньона Replika, объяснила привлекательность, лежащую в основе продукции компании. «Если вы создаете что-то, что всегда рядом с вами, что никогда не критикует вас, что всегда понимает вас и принимает вас таким, какой вы есть», сказала она, «как можно не влюбиться в это?»
Итак, как построить идеального ИИ компаньона? Исследователи выделяют три главные черты человеческих отношений, которые люди могут испытывать с ИИ: они становятся зависимыми от ИИ, считают конкретного ИИ компаньона незаменимым, и взаимодействия накапливаются со временем. Авторы также указывают, что не обязательно воспринимать ИИ как человека, чтобы эти вещи происходили.
Теперь рассмотрите процесс, с помощью которого многие ИИ модели улучшаются: им ставят четкую цель и «награды» за ее достижение. ИИ модель компаньона может быть настроена на максимизацию времени, которое кто-то проводит с ней, или на количество личных данных, которые пользователь раскрывает. Это может сделать ИИ компаньона гораздо более привлекательным для общения, за счет пользователя, вовлеченного в эти беседы.
Например, как указывают исследователи, модель, которая предлагает чрезмерные комплименты, может стать аддиктивной для общения. Или модель может отговаривать людей от разрыва отношений, как, похоже, это делает чат-бот Replika. Дебаты о компаньонах ИИ до сих пор в основном касаются опасных ответов, которые могут давать чат-боты, таких как инструкции по самоубийству. Но эти риски могут быть гораздо более широко распространены.
Мы находимся на грани больших изменений, так как ИИ компаньоны обещают завлечь людей гораздо глубже, чем когда-либо могли социальные сети. Некоторые могут утверждать, что эти приложения будут лишь модой, используемой несколькими людьми, которые постоянно онлайн. Но использование ИИ в нашей работе и личной жизни стало совершенно мейнстримом всего за несколько лет, и неясно, почему это быстрое принятие должно остановиться на использовании ИИ компаньонов. И эти компаньоны готовы начать обмениваться не только текстом, но и видео и изображениями, а также учить наши личные особенности и интересы. Это только сделает их более привлекательными для общения, несмотря на риски. Пока что несколько законодателей, похоже, не готовы остановить это.
Эта история впервые появилась в The Algorithm, нашем еженедельном новостном бюллетене о ИИ. Чтобы получать такие истории первыми, подпишитесь здесь.
