"Машина для производства дезинформации" - судьба GenAI?
Исследователи обнаружили, что большинство случаев злоупотребления GenAI являются нормальным использованием системы, без "побега из тюрьмы", и такие "обычные операции" составляют 90%.
Как объясняют исследователи в конце статьи, широкая доступность, доступность и гиперреалистичность GenAI делают возможными многочисленные формы злоупотреблений низкого уровня - стоимость генерации дезинформации просто слишком низка!
После прочтения этой статьи у вас может возникнуть непроизвольное чувство: люди не злоупотребляют GenAI, а просто используют его в соответствии с дизайном продукта.
Люди используют генеративный ИИ для создания большого количества ложного контента, потому что он очень хорошо справляется с этой задачей.
Многие ложные материалы часто не имеют явного злого умысла и не нарушают явно политику содержания или условия обслуживания этих инструментов, но их потенциальный вред огромен.
Это наблюдение согласуется с предыдущими сообщениями 404 Media.
Большинство людей, использующих ИИ для имитации других, увеличения масштаба и распространения вредного контента или создания интимных изображений без согласия (NCII), не взламывают и не манипулируют используемыми ими инструментами генерации ИИ, они используют эти инструменты в разрешенных пределах.
Легко привести два примера:
"Ограждения" инструментов ИИ можно искусно обойти с помощью некоторых подсказок, ничто не мешает пользователям использовать инструмент клонирования голоса ElevenLabs для высокореалистичной имитации голосов коллег или знаменитостей.
Пользователи Civitai могут создавать изображения знаменитостей, сгенерированные ИИ, и хотя платформа имеет политику запрета NCII, ничто не мешает пользователям использовать инструменты с открытым исходным кодом на GitHub (такие как Automatic1111 или ComfyUI) для генерации NCII на своих машинах.
Размещение этого контента, сгенерированного ИИ, на Facebook может нарушать политику платформы, но сам акт генерации не нарушает политику используемого ими генератора изображений ИИ.
СМИ: Злоупотребление GenAI - это только верхушка айсберга
Поскольку исследовательские материалы Google в значительной степени основаны на сообщениях СМИ, это поднимает вопрос: не приведет ли это к тому, что выводы исследования будут иметь предвзятость СМИ? В конце концов, СМИ, выступающие в роли прожектора, имеют свои собственные предпочтения в выборе тем и репортажей.
Сенсационные события с большей вероятностью будут освещены, что может привести к смещению набора данных в сторону определенных типов злоупотреблений.
404 Media ответили на это: хотя СМИ действительно могут сообщать только о тех инцидентах, которые они могут подтвердить, можно с уверенностью сказать, что существует большое количество злоупотреблений генеративным ИИ, о которых мы еще не знаем и о которых не сообщалось.
Даже упомянутые выше случаи использования ИИ для генерации порнографических изображений знаменитостей, которые широко освещались в СМИ, все еще недостаточно освещены.
Во-первых, потому что эта тема все еще табуирована, и многие издания не хотят о ней сообщать.
Во-вторых, потому что СМИ могут освещать только отдельные случаи и не могут постоянно следить за общей картиной и последующими событиями. Редактор 404 Media пишет:
Прежде чем я связался с официальными представителями Patreon для комментариев (после чего представитель закрыл его аккаунт), я написал статью о пользователе, который зарабатывал на NCII на Patreon, создав 53190 несогласованных изображений знаменитостей. В той статье также упоминались еще два создателя NCII, а затем я обнаружил и других. Сгенерированные ИИ обнаженные изображения Тейлор Свифт, которые распространились в Twitter, впервые были опубликованы в сообществах Telegram и 4chan, которые были активны до и после той январской статьи, и с тех пор они публикуют NCII каждый день. Я и другие журналисты не будем сообщать о каждом изображении и создателе, потому что если бы мы это делали, у нас не было бы времени ни на что другое.
Когда дезинформация распространяется, легко обвинить ИИ
Давайте сделаем прогноз: что произойдет, когда интернет будет наводнен контентом, сгенерированным искусственным интеллектом?
Самым непосредственным последствием будет то, что хаос в интернете станет огромным испытанием для способности людей различать правду и ложь, мы окажемся в состоянии постоянного сомнения: "Это правда?"
В ранние дни интернета была популярна фраза "Вы не знаете, кто на другом конце провода - человек или собака", теперь эта тенденция усиливается, люди все больше устают от борьбы с ложным контентом, сгенерированным искусственным интеллектом.
Если не решить эту проблему, загрязнение открытых данных контентом, сгенерированным ИИ, может помешать поиску информации и исказить коллективное понимание социально-политической реальности или научного консенсуса.
Более того, это может стать "щитом" для некоторых известных людей, которые в определенных ситуациях смогут объяснить неблагоприятные для себя доказательства как сгенерированные ИИ, легко перекладывая бремя доказательства.
Google сыграл роль в распространении ложного контента, созданного генеративным ИИ, и можно даже сказать, что он был "первопричиной" - пуля, выпущенная много лет назад, наконец попала в собственный лоб.
Ссылки:
https://arxiv.org/abs/2406.13843
https://futurism.com/the-byte/google-researchers-paper-ai-internet