Le rayonnement électromagnétique des câbles HDMI peut faire fuir certains signaux d'affichage dans l'air environnant. Ce n'est pas grand-chose en soi, mais combiné à l'IA, il est possible de reconstituer le contenu de l'image d'origine.
Une équipe de la Faculté d'ingénierie de l'Université de la République d'Uruguay a proposé un ### modèle de bout en bout, axé sur la récupération de texte, capable de réduire le taux d'erreur de caractères (CER) des signaux de fuite (comme HDMI) à environ 30%.
Il faut savoir que par rapport aux signaux analogiques (comme VGA), les signaux numériques (comme HDMI) sont plus difficiles à récupérer en raison de l'augmentation de la bande passante et de la cartographie non linéaire entre le signal et l'intensité des pixels causée par le codage 10 bits.
À ce niveau, le contenu original peut essentiellement être déchiffré.
Pour une meilleure visualisation, examinons l'une des méthodes d'attaque démontrées par l'équipe.
En bref, l'équipe ### utilise une antenne pour intercepter les signaux électromagnétiques HDMI, puis utilise l'IA pour tenter de "reconstituer" les données originales.
Utilisation d'un modèle d'IA
Comment ont-ils fait exactement ? L'article de recherche associé a été publié sur arXiv.
Tout d'abord, l'équipe utilise ### une antenne pour capturer les ondes électromagnétiques émises par le câble et le connecteur HDMI.
Ensuite, un dispositif SDR (radio définie par logiciel) est utilisé pour recevoir ces signaux électromagnétiques et les convertir en échantillons numériques, qui contiennent des informations sur le signal vidéo original, mais peuvent également inclure du bruit et de la distorsion.
Puis, en utilisant des outils logiciels comme ### gr-temest, les signaux capturés par le SDR sont traités davantage pour extraire les données d'image.
Cette étape peut inclure le filtrage, l'ajustement du taux d'échantillonnage, etc., dans le but de restaurer autant que possible la forme originale de l'image.
Enfin, le signal traité par les étapes ci-dessus est introduit dans un ### modèle d'IA qui peut identifier et améliorer les caractéristiques clés de l'image, améliorant ainsi la clarté et la lisibilité de l'image.
En résumé, l'ensemble du processus comprend la capture des signaux électromagnétiques, l'utilisation de logiciels open source pour traiter les signaux électromagnétiques, et l'utilisation d'un modèle de bout en bout pour un traitement ultérieur.
On peut voir que ### l'amélioration clé de cette recherche réside dans l'utilisation finale de techniques d'apprentissage profond.
L'équipe a utilisé ### DRUNet (Deep Residual UNet), un réseau neuronal convolutif avec une structure encodeur-décodeur adaptée aux tâches de restauration d'images.
En optimisant la structure du réseau et le processus d'entraînement, DRUNet peut améliorer significativement la qualité de la restauration d'image, en particulier en termes de lisibilité du texte.
Réduction du taux d'erreur d'environ 60%
Alors, comment ce modèle de bout en bout se comporte-t-il spécifiquement ?
Pour le tester, ils ont construit un ### ensemble de données contenant environ 3500 échantillons, dont environ 1300 sont des signaux capturés réels, le reste étant des signaux simulés.
Les échantillons réels ont été obtenus par une configuration expérimentale, tandis que les échantillons simulés ont été générés à l'aide d'un simulateur GNU Radio basé sur un modèle analytique. Ces échantillons ont été utilisés pour entraîner et évaluer le modèle.
La recherche montre que sur l'ensemble de données réelles, le Pure Model utilisant des échantillons complexes a démontré ### les meilleures performances sur toutes les métriques d'évaluation (PSNR, SSIM, CER).
Plus précisément, la méthode gr-tempest traditionnelle utilisant l'amplitude de l'image originale a un CER ### supérieur à 90% sur l'ensemble de données réelles, tandis que le Pure Model (utilisant des échantillons complexes) a réduit le CER ### à 35,3%.
En même temps, les modèles entraînés sur des données synthétiques peuvent rencontrer des problèmes de baisse de performance sur des données réelles.
Cependant, ### grâce à l'ajustement fin du modèle (Fine-Tuning), même en utilisant seulement ### 10% des échantillons réels, il est possible d'atteindre des performances proches de celles du Pure Model entraîné sur l'ensemble complet d'échantillons réels.
Pour vérifier la robustesse, le modèle a été testé avec différents taux d'échantillonnage et résolutions d'affichage, les résultats montrant que ### certains changements de configuration peuvent entraîner une baisse significative des performances.
Bien que l'équipe ait considérablement amélioré le "taux de piratage" HDMI avec le nouveau modèle, pour prévenir les risques, l'équipe a également proposé ### des contre-mesures correspondantes à la fin.
En ### ajoutant du bruit de bas niveau ou en utilisant des dégradés de fond sur l'image de l'écran, le taux de réussite peut être efficacement réduit.
Actuellement, la recherche associée et l'ensemble de données sont open source, les personnes intéressées peuvent lire davantage le document.
Liens de référence :