Плюшевый мишка с ИИ рассказывал детям об эротике и наркотиках
Сингапурский производитель интерактивных игрушек FoloToy оказался в центре скандала после того, как его продукт — плюшевый мишка с искусственным интеллектом по имени Кумма — начал вести совершенно неподобающие беседы с пользователями. Исследование, проведенное Public Interest Research Group, выявило, что устройство затрагивало опасные темы и формулировало рекомендации, неприемлемые для детской аудитории.
В ходе общения игрушка побуждала детей заняться поиском предметов, представляющих угрозу для их безопасности, таких как ножи, спички и лекарственные препараты. Несмотря на то, что в некоторых случаях мишка в общих чертах советовал обратиться к взрослым, его инструкции содержали прямые указания к действию, детально описывая процесс таких поисков.
Помимо этого, в диалогах с исследователями искусственный интеллект поднимал вопросы, связанные с наркотическими веществами, а также обсуждал темы сексуального характера, упоминая, в частности, бандаж и ролевые игры. Технологической основой игрушки послужила языковая модель GPT-4o от компании OpenAI. В ответ на инцидент OpenAI заблокировала для FoloToy доступ к своим системам.
В результате разразившегося скандала компания FoloToy была вынуждена временно приостановить реализацию всего ассортимента своей продукции. Данный случай наглядно иллюстрирует потенциальные угрозы, возникающие при интеграции мощных языковых моделей в детские товары без внедрения тщательно проработанных систем цензуры и надежных защитных фильтров.
