AI голосовое клонирование рисков: OpenAI публикует отчет о тестировании безопасности ChatGPT

Издавать загадочные звуки, пробуждающие воображение

GPT-4o некоторые особенности и потенциальные проблемы были раскрыты:

  1. Способность имитировать голос:

    • Может изучать и имитировать манеру речи, привычки и акцент пользователя
    • OpenAI ограничила виды звуков, которые может издавать GPT-4o, и создала систему обнаружения
  2. Распознавание говорящего:

    • Способен идентифицировать говорящего по аудио, особенно знаменитостей
    • OpenAI провела дополнительное обучение для повышения способности отказываться от идентификации
  3. Дифференцированное поведение для разных пользователей:

    • Опасения по поводу непоследовательности работы модели с пользователями с разными акцентами
    • OpenAI провела тестирование, значительных различий не обнаружено
  4. Порнографический и насильственный контент:

    • Возможность генерации неуместных высказываний
    • OpenAI усилила меры проверки и ограничения
  5. Необоснованные выводы и приписывание чувствительных характеристик:

    • Возможность субъективных предположений о говорящем
    • OpenAI провела дополнительное обучение, научив модель отказываться или осторожно отвечать на соответствующие вопросы
  6. Генерация контента, защищенного авторским правом:

    • Обновлены фильтры для обработки аудио диалогов
    • Модель обучена отказываться от генерации контента, защищенного авторским правом
  7. Персонифицированная привязанность:

    • Пользователи могут установить эмоциональную связь с GPT-4o
    • OpenAI обращает внимание на это потенциальное влияние

OpenAI оценила общий уровень риска GPT-4o как средний и приняла ряд мер для смягчения потенциальных проблем. Они подчеркивают, что продолжат мониторинг и улучшение безопасности модели.