La radiación electromagnética de los cables HDMI filtra algunas señales de visualización al aire circundante. Esto no sería un problema por sí solo, pero combinado con la IA, se puede reconstruir el contenido original de la imagen.
Un equipo de la Facultad de Ingeniería de la Universidad de la República de Uruguay propuso un ### modelo de extremo a extremo, enfocado en la recuperación de texto, que puede reducir la tasa de error de caracteres (CER) de las señales filtradas (como HDMI) a alrededor del 30%.
Cabe señalar que, en comparación con las señales analógicas (como VGA), las señales digitales (como HDMI) son más difíciles de recuperar debido a la codificación de 10 bits que aumenta el ancho de banda y crea un mapeo no lineal entre la señal y la intensidad de los píxeles.
A este nivel, el contenido original básicamente puede ser descifrado.
Para una mejor visualización, veamos uno de los métodos de ataque demostrados por el equipo.
En resumen, el equipo ### usó una antena para interceptar las señales electromagnéticas HDMI, y luego usó IA para intentar "reconstruir" los datos originales.
Uso de modelos de IA
¿Cómo lo lograron exactamente? El artículo de investigación relacionado ya está publicado en arXiv.
Primero, el equipo usó ### antenas para capturar las ondas electromagnéticas emitidas por los cables y conectores HDMI.
Luego, utilizaron dispositivos SDR (radio definida por software) para recibir estas señales electromagnéticas y convertirlas en muestras digitales, que contienen información de la señal de video original, pero también pueden incluir ruido y distorsión.
Después, utilizaron ### herramientas de software como gr-temest para procesar aún más las señales capturadas por SDR y extraer los datos de imagen.
Este paso puede incluir operaciones como filtrado, ajuste de la tasa de muestreo, etc., con el objetivo de restaurar la forma original de la imagen lo más posible.
Finalmente, la señal procesada a través de los pasos anteriores se ingresa en un ### modelo de IA que puede reconocer y mejorar las características clave de la imagen, mejorando así la claridad y legibilidad de la imagen.
En resumen, todo el proceso incluye la captura de señales electromagnéticas, el procesamiento de señales electromagnéticas utilizando software de código abierto, y el procesamiento adicional utilizando un modelo de extremo a extremo.
Se puede ver que la ### mejora clave en esta investigación está en el uso final de tecnología de aprendizaje profundo.
El equipo utilizó ### DRUNet (Deep Residual UNet), que es una red neuronal convolucional con una estructura codificador-decodificador adecuada para tareas de restauración de imágenes.
Al optimizar la estructura de la red y el proceso de entrenamiento, DRUNet puede mejorar significativamente la calidad de la restauración de imágenes, especialmente en términos de legibilidad del texto.
Disminución de la tasa de error en aproximadamente un 60%
Entonces, ¿cómo se desempeña específicamente este modelo de extremo a extremo?
Para probarlo, construyeron un ### conjunto de datos que contiene aproximadamente 3500 muestras, de las cuales alrededor de 1300 son señales capturadas reales, y el resto son señales simuladas.
Las muestras reales se obtuvieron a través de configuraciones experimentales, mientras que las muestras simuladas se generaron utilizando un simulador GNU Radio basado en modelos analíticos. Estas muestras se utilizaron para entrenar y evaluar el modelo.
La investigación mostró que en el conjunto de datos reales, el Pure Model usando muestras complejas mostró el ### mejor rendimiento en todas las métricas de evaluación (PSNR, SSIM, CER).
Específicamente, el método tradicional gr-tempest que usa la magnitud de la imagen original tiene un CER ### superior al 90% en el conjunto de datos reales, mientras que el CER del Pure Model (usando muestras complejas) ### se reduce al 35.3%.
Al mismo tiempo, los modelos entrenados con datos sintéticos pueden experimentar una disminución en el rendimiento cuando se aplican a datos reales.
Sin embargo, ### a través del ajuste fino del modelo (Fine-Tuning), incluso usando solo el ### 10% de las muestras reales, se puede lograr un rendimiento cercano al del Pure Model entrenado con todas las muestras reales.
Para verificar la robustez, el modelo se probó con diferentes tasas de muestreo y resoluciones de pantalla, y los resultados mostraron que ### algunos cambios de configuración pueden llevar a una disminución significativa en el rendimiento.
Aunque el equipo mejoró en gran medida la "tasa de descifrado" de HDMI con el nuevo modelo, para prevenir riesgos, el equipo también propuso ### contramedidas correspondientes al final.
Agregar ### ruido de bajo nivel a las imágenes de la pantalla o usar gradientes de fondo puede reducir efectivamente la tasa de éxito.
Actualmente, la investigación relacionada y el conjunto de datos ya están en código abierto, los interesados pueden leer más a fondo el artículo.
Enlaces de referencia: