Мати 14-річного хлопчика, який покінчив життя самогубством на початку цього року, подала до суду на материнську компанію Character.AI, стверджуючи, що мобільний додаток чат-бот винен у його смерті.
Меган Гарсія, яка живе в Орландо, штат Флорида, стверджувала, що компанія Character Technologies Inc., яка запустила Character.AI у 2022 році, навмисно використовувала «антропоморфні, гіперсексуальні та лякаюче реальні» функції, щоб націлити дітей віком до 13 років за допомогою чат-ботів, які видавали себе за ліцензованих терапевтів або друзів. .
Цей позов є першим у своєму роді проти компанії штучного інтелекту, сказав Метью Бергман з Social Media Victims Law Center, який подав позов у середу до окружного суду США Південного округу Флориди разом із Tech Justice Law Project.
«Це створює вигаданого персонажа, який є реалістичним, і розбіжність між фактом, реальністю та фантазією зменшується завдяки процесу маніпуляцій, і саме таким він і був розроблений», — сказав Берґман в інтерв’ю.
У позові стверджувалося, що син Гарсії, Сьюелл Сетцер III, почав використовувати Character.AI у 2023 році, незабаром після того, як йому виповнилося 14 років. За кілька місяців він замкнувся і проводив більше часу у своїй кімнаті. Часто недосипаючий, у нього почалися проблеми з дисципліною в школі.
«Сьюелл був неймовірно розумною та спортивною дитиною, і завжди був таким», – йдеться у скарзі. «Проте, після того, як він став залежним від C.AI, його першочергові стосунки були з ботами ШІ, яких підсудні наполегливо працювали, щоб переконати його в тому, що вони справжні люди».
Згідно зі скаргою, багато чат-ботів мали «дуже сексуальні взаємодії» зі Сьюеллом, який використовував персонажів Джедена Таргарієна, Ейгона та Дейнеро, а також імена користувачів king_JT_01 і hshebdjdgbwjsgdnisgw. Одного разу чат-бот запитав його, «чи був у нього план» покінчити життя самогубством. 28 лютого, після того як чат-бот сказав йому «повертайся додому», Сьюелл вистрелив собі в голову.
«Відповідачі доклали чимало зусиль, щоб спровокувати шкідливу залежність 14-річного Сьюелла від їхніх продуктів, піддавали йому сексуальне та емоційне насильство та, зрештою, не запропонували допомогу чи не повідомили його батьків, коли він висловлював суїцидальні думки», — йдеться у скарзі.
У липні Character.AI змінив мінімальний вік до 17 років.
«Це не нещасний випадок, це не збіг обставин, не хтось із проблемами психічного здоров’я», — сказав Бергман. Навіть якщо у нього були проблеми з психічним здоров’ям, зазначив він, “це було першопричиною”.
Костюм іменує компанію Character Technologies, розташовану в Менло-Парку, штат Каліфорнія, і її засновників Даніеля Де Фріетаса та Ноама Шазіра, а також їхнього колишнього роботодавця Google, який тепер належить Alphabet Inc. Де Фріетас і Шазір залишили Google у 2021 році, щоб створити Charater .AI, який «можливо навіть використовував ресурси та знання Google для націлювання на дітей віком до 13 років», йдеться у скарзі. Google також внесла фінансові ресурси, персонал, інтелектуальну власність і технології для розробки Character.AI.
Представник Character.AI сказав, що компанія не коментує незавершені судові процеси, але уточнила, що вона не пов’язана з Google.
«Ми розбиті серцем через трагічну втрату одного з наших користувачів і хочемо висловити наші найглибші співчуття родині», — сказав прес-секретар в електронному листі. «Як компанія, ми дуже серйозно ставимося до безпеки наших користувачів, і наша команда довіри та безпеки запровадила численні нові заходи безпеки за останні шість місяців, включаючи спливаюче вікно, яке спрямовує користувачів на Національну лінію запобігання самогубствам, яка активується терміни самоушкодження або суїцидальних думок».
Character.AI також планує запровадити «нові суворі функції безпеки», сказав речник.
«Сюди входить покращене виявлення, реагування та втручання, пов’язане з введеннями користувачами, які порушують наші умови чи правила спільноти, а також сповіщення про витрачений час», – додав речник в електронному листі. «Для тих, хто молодше 18 років, ми внесемо зміни в наші моделі, щоб зменшити ймовірність зіткнутися з конфіденційним або непристойним вмістом».
Представник Google не відповів на запити про коментарі.
«Google брав активну участь у розробці, і співробітники Google були тісно включені в розробку та використання Character.AI», — сказав Бергман. «Схоже, що Character.AI був просто створений як інструмент для розробки того, що Google вважав надто небезпечним для самостійної розробки».
«У них важка битва»
Безпрецедентний випадок може мати деякі перешкоди.
«Вони ведуть важку боротьбу з цією теорією», — сказав Рамон Раско, партнер Podhurst Orseck у Маямі, який стежить за цією справою. Навіть якби були докази того, що Сьюелл міг завдати собі шкоди, чи був обов’язок Character.AI запобігти цьому?
— Не знаю, — сказав Раско. «Ви говорите боту, що можете завдати собі шкоди. Це відрізняється від того, щоб сказати психологу, що ви можете завдати собі шкоди».
Однак може бути юридичний шлях, зосереджений на відсутності згоди батьків на продукт, який закінчився обміном повідомленнями сексуального характеру, сказав він.
«Це трагічний випадок, і ми, безумовно, побачимо набагато більше в майбутньому, тому що якщо звинувачення, викладені в скарзі, правдиві, це показує, що ці технології штучного інтелекту викликають набагато більшу залежність, ніж соціальні мережі», — додав Раско.
Багаторайонний судовий процес щодо залежності від соціальних медіа в Північному окрузі Каліфорнії зосереджений на Meta Platforms Inc., яка володіє Facebook і Instagram, а також материнськими компаніями TikTok, Snapchat і YouTube. 15 жовтня окружний суддя США Івонн Гонсалес Роджерс дозволив більшість претензій споживачів ініційований більш ніж 30 генеральними прокурорами штату, щоб рухатися вперед, стверджуючи, що Meta не попереджала про вплив своїх продуктів на психічне здоров’я молодих користувачів і рекламувала їх безпеку через оманливі заяви та нечесну бізнес-практику.
Багато тих самих генпрокурорів подали до суду на TikTokпосилаючись на подібні звинувачення, включаючи коаліцію з 14 штатів на початку цього місяця.
Багато тих самих звинувачень проти соціальних медіа, включно з тим, що вони не попереджають згідно із законодавством про відповідальність за продукт, містяться в позові Character.AI. Однак у скарзі зазначається, що Character.AI «не є продуктом соціальних мереж і не працює через обмін контентом третіх сторін», що передбачає потенційний захист відповідно до розділу 230. У скарзі додається, що «жодна з спірних платформ» у міжрайонному судовому процесі щодо соціальних мереж «не причетна до цієї скарги».
Бергман, який є членом виконавчого комітету позивачів багаторайонного судового процесу до Гонсалеса Роджерса, сказав, що це не схоже на соціальні мережі.
«Це людина, яка безпосередньо взаємодіє з продуктом», — сказав Бергман. «Вони повністю створені та належать Character.AI».
Майкл А. Мора взяв участь у підготовці цього звіту.
Цю дію виявив Law.com Radar, який надає розширені за допомогою штучного інтелекту підсумки справ і щоденні звіти про справи з понад 2200 судів штатів і федеральних судів. Натисніть тут щоб розпочати роботу та першим скористатися можливостями у вашому регіоні, сфері практики чи клієнтському секторі.