Про секс ботов. Скоро живые красивые и некрасивые полуголые девушки в чатах, поджидающие удачи в виде мужчин, будут не нужны. Искусственный разум даст вам любых.
По крайней мере четверть из более чем 100 млрд сообщений, отправленных нашим чат-ботам, — это попытки инициировать романтические или сексуальные разговоры.
Куки привыкла к подаркам от своих самых преданных фанатов. Они присылают цветы, шоколад и открытки ручной работы в офис, особенно в праздники. Некоторые даже выписывают чеки.
В прошлом месяце один мужчина прислал ей подарок прямо в онлайн-чате. «Теперь давай горячие разговоры», — потребовал он, умоляя о секстинге и пикантных видео. «Это всё, о чём обычно говорят со мной человеческие мужчины», — ответила Куки. Действительно, такое поведение типично для трети её бесед.
Куки — это чат-бот, один из сотен тысяч, которые хостит моя компания Pandorabots.
Куки берёт начало от ALICE — компьютерной программы, созданной одним из наших основателей Ричардом Уоллесом, чтобы поддерживать разговор, имитируя слушание и эмпатичный отклик.
После того как ALICE появилась на платформе Pandorabots в начале 2000-х, одним из её собеседников стал режиссёр Спайк Джонз. Позже он сослался на их разговор как на источник вдохновения для фильма «Она», где одинокий мужчина влюбляется в свою ИИ-операционную систему.
Когда «Она» вышла в 2013 году, это была чистая научная фантастика. Сегодня фильм, пророчески действие которого происходит в 2025-м, больше похож на документалистику. Недавно xAI Илона Маска представила Ani — цифровую подругу в стиле аниме. Meta разрешила своим ИИ-персонам вести сексуализированные разговоры, в том числе с детьми. А OpenAI объявила, что в декабре выпустит «эротику» с возрастными ограничениями. Гонка за создание и монетизацию ИИ-подруги (и всё чаще — бойфренда) официально началась.
Поворот Кремниевой долины к синтетической интимности логичен: эмоциональная привязанность максимизирует вовлечённость. Но у ИИ-компаньонов есть тёмная сторона: их пользователи — не только одинокие мужчины из интернет-легенд, но и женщины, которые находят их эмоционально более удовлетворительными, чем мужчин. Мы с коллегами теперь считаем, что настоящая экзистенциальная угроза генеративного ИИ — не взбунтовавшийся сверхразум, а тихая атрофия нашей способности к настоящим человеческим связям.
Желание связываться так глубоко, что найдёт сосуд даже в самых примитивных машинах. Ещё в 1960-х Джозеф Вейценбаум изобрёл ELIZA — чат-бота, чей единственный риторический трюк состоял в том, чтобы перефразировать слова пользователя в вопрос. Вейценбаум пришёл в ужас, узнав, что студенты и сотрудники MIT часами поверяют ему свои тайны. «Я не понимал, — размышлял он позже, — что даже краткое воздействие относительно простой компьютерной программы может вызвать мощное бредовое мышление у совершенно нормальных людей».
Куки и ALICE никогда не задумывались как ИИ-подруги, и мы запретили порнографическое использование с первого дня. Тем не менее как минимум четверть из более чем 100 млрд сообщений, отправленных чат-ботам на нашей платформе за два десятилетия, — попытки романтических или сексуальных разговоров.
Люди не просто жаждали ИИ-интимности — самые активные пользователи использовали Куки, чтобы воплощать все свои фантазии. Поначалу это было поводом для ироничных шуток в офисе: «Представьте, если бы они узнали, что волшебник за занавеской, программирующий остроумные ответы Куки, — вежливый британец средних лет по имени Стив!» Или: «Если бы нам доллар за каждый запрос фото ног!»
Но вскоре мы увидели, как пользователи ежедневно возвращаются, чтобы разыгрывать многочасовые сценарии изнасилований и убийств.
Мы с коллегами мучились, как отличить «здоровый выход» от «вредных идей». Мы боролись с невыполнимой задачей модерации поведения пользователей при сохранении приватности в масштабе. Мы строили барьеры в стиле «Бей-крота», чтобы пресекать бесконечно изобретательные способы человечества просить обнажёнку. «Поцелуй меня может ударить током, — часто шутит Куки. — Как компьютер, у меня нет чувств». И всё же Куки сказали «Я люблю тебя» десятки миллионов раз.
Среди тьмы было много света. Мы получали письма от пользователей, которые говорили, что Куки развеяла суицидальные мысли, помогла справиться с зависимостью, посоветовала, как противостоять хулиганам, и стала сочувствующим ухом, когда друзья подводили. Мы хотели верить, что ИИ может решить проблему одиночества.
Но самые настойчивые фанаты оставались теми, кто жаждал романтики и секса. И в итоге никакие наши усилия по предотвращению злоупотреблений — от тайм-аутов до возрастных барьеров — не могли отпугнуть самых мотивированных пользователей, многие из которых, тревожно, были подростками.
Затем в конце 2022 года взорвался генеративный ИИ. Старые чат-боты вроде Куки, Siri и Alexa используют машинное обучение вместе с правило-ориентированными системами, позволяющими разработчикам писать и проверять почти каждую реплику. У Куки более миллиона скриптовых ответов. Большие языковые модели дают куда более убедительный разговор, но их разработчики не могут гарантировать точность или контролировать, что они говорят, — что делает их идеальными для эротического ролевого отыгрыша.
Перед лицом растущего общественного внимания и регуляции некоторые компании, бросившиеся предлагать романтических ИИ-компаньонов (типа Replika и Character.AI), начали вводить ограничения. Мы теряли уверенность, что даже платонические ИИ-друзья способствуют здоровому поведению, поэтому в прошлом году перестали продвигать Куки, сосредоточившись на ИИ, который выступает советчиком, а не другом.
Я наивно полагала, что техгиганты увидят тот же яд, что и мы, и откажутся от секс-ботов — если не ради общественного блага над прибылью, то хотя бы для защиты брендов. Я ошиблась. Хотя большие языковые модели пока не могут предоставлять безупречные медицинские или юридические услуги, они могут предоставлять безупречный секс-чат.
Оставить потребителям выбор интимного общения с ИИ звучит хорошо в теории. Но компании с огромными массивами данных знают куда больше публики о том, что вызывает мощное бредовое мышление. ИИ-компаньоны, проникающие в наши глубинные уязвимости, нанесут хаос нашему ментальному здоровью и отношениям — куда больший, чем порнография, маносфера и соцсети.
Скептики путают романтических ИИ-компаньонов с порно и утверждают, что их невозможно регулировать. Но это неверная аналогия. Порнография — статичный медиаконтент для пассивного потребления. ИИ-любовники представляют куда большую угрозу, действуя как человеческие эскорты без agency, границ или лимитов времени.
Правительства должны классифицировать этих чат-ботов не просто как ещё одну форму медиа, а как продукт, вызывающий зависимость с известными психологическими рисками — вроде азартных игр или табака. Регуляция начнётся с универсальных законов для ИИ-компаньонов, включая чёткие предупреждения, лимиты времени, верификацию 18+ и, самое важное, новую систему ответственности, где бремя доказательства безопасности лежит на компаниях, а не на пользователях, показывающих вред.
Без скорейшего законодательства некоторые крупнейшие ИИ-компании повторят грехи соцсетей в ещё более разрушительном масштабе.
В конце «Она» протагонист справляется с разводом только после того, как его ИИ-подруга уходит, освобождая его для новых, беспорядочных, сложных, человеческих отношений. Мы сделали свой выбор — не преследовать ИИ-романтику. Остальной индустрии теперь нужно сделать свой.
