Электромагнитное излучение кабелей HDMI может привести к утечке некоторых сигналов отображения в окружающий воздух. Само по себе это не проблема, но в сочетании с ИИ можно восстановить исходное содержимое изображения.
Команда из Инженерного факультета Республиканского университета Уругвая предложила ### сквозную модель, ориентированную на восстановление текста, которая может снизить частоту ошибок символов (CER) утечки сигнала (например, HDMI) примерно до 30%.
Следует отметить, что цифровые сигналы (такие как HDMI) труднее восстановить, чем аналоговые (такие как VGA), из-за 10-битного кодирования, которое приводит к увеличению полосы пропускания и нелинейному отображению между сигналом и интенсивностью пикселей.
При таком уровне исходное содержание в основном можно расшифровать.
Для наглядности давайте посмотрим на один из методов атаки, продемонстрированных командой.
Краткое пояснение: команда ### использует антенну для перехвата электромагнитных сигналов HDMI, а затем использует ИИ для попытки "восстановления" исходных данных.
Использование модели ИИ
Как именно это было сделано? Соответствующая исследовательская статья уже опубликована на arXiv.
Во-первых, команда использует ### антенну для захвата электромагнитных волн, излучаемых кабелем и разъемом HDMI.
Затем устройство SDR (программно-определяемое радио) используется для приема этих электромагнитных сигналов и преобразования их в цифровые образцы, которые содержат информацию об исходном видеосигнале, но также могут включать шум и искажения.
Затем, используя такие программные инструменты, как ### gr-temest, сигналы, захваченные SDR, дополнительно обрабатываются для извлечения данных изображения.
Этот шаг может включать фильтрацию, регулировку частоты дискретизации и другие операции с целью максимально возможного восстановления исходной формы изображения.
Наконец, сигнал, полученный после вышеупомянутых шагов обработки, подается на ### модель ИИ, которая может распознавать и улучшать ключевые характеристики изображения, тем самым повышая его четкость и читаемость.
Если обобщить, весь процесс включает захват электромагнитных сигналов, обработку электромагнитных сигналов с использованием программного обеспечения с открытым исходным кодом, дальнейшую обработку с использованием сквозной модели и т.д.
Как видно, ### ключевое улучшение в этом исследовании заключается в использовании технологии глубокого обучения на последнем этапе.
Команда использовала ### глубокую остаточную UNet (DRUNet), которая представляет собой сверточную нейронную сеть со структурой кодер-декодер, подходящую для задач восстановления изображений.
Путем оптимизации структуры сети и процесса обучения DRUNet может значительно повысить качество восстановления изображения, особенно в отношении читаемости текста.
Снижение частоты ошибок примерно на 60%
Итак, как именно работает эта сквозная модель?
Для тестирования они создали ### набор данных, содержащий около 3500 образцов, из которых около 1300 были реальными захваченными сигналами, а остальные - смоделированными сигналами.
Реальные образцы были получены в экспериментальной установке, а смоделированные образцы были сгенерированы с использованием симулятора GNU Radio на основе аналитической модели. Эти образцы использовались для обучения и оценки модели.
Исследование показало, что на реальном наборе данных Pure Model с использованием комплексных образцов продемонстрировала ### наилучшую производительность по всем метрикам оценки (PSNR, SSIM, CER).
В частности, традиционный метод gr-tempest, использующий амплитуду исходного изображения, имел CER ### более 90% на реальном наборе данных, в то время как Pure Model (с использованием комплексных образцов) снизила CER ### до 35,3%.
В то же время модели, обученные на синтетических данных, могут столкнуться с проблемой снижения производительности на реальных данных.
Однако ### путем тонкой настройки модели (Fine-Tuning), даже используя только ### 10% реальных образцов, можно достичь производительности, близкой к Pure Model, обученной на всех реальных образцах.
Для проверки устойчивости модель была протестирована с различными частотами дискретизации и разрешениями дисплея, результаты показали, что ### некоторые изменения конфигурации могут привести к значительному снижению производительности.
Хотя команда значительно повысила "уровень взлома" HDMI с помощью новой модели, для предотвращения рисков команда также предложила ### соответствующие контрмеры.
Добавление ### низкоуровневого шума на изображение дисплея или использование градиентного фона может эффективно снизить уровень успешности.
В настоящее время соответствующие исследования и наборы данных находятся в открытом доступе, заинтересованные могут дополнительно ознакомиться со статьей.
Ссылки: