HDMI數據線的電磁輻射，會把一些顯示信號洩露到周圍空氣中。本來也沒什麼，但是結合AI就可逆向得到原始畫面內容。
來自烏拉圭共和國大學工程學院的團隊提出了一種### 端到端模型，專注於文本恢復，能將洩露信號（如HDMI）的字符錯誤率（CER）降至30%左右。
要知道，與類比信號（如VGA）相比，數位信號（如HDMI）更難恢復，因為10位編碼導致頻寬增大和信號與像素強度之間的非線性映射。
而降至這一水平，原文內容基本也能解密了。
為了更直觀，咱們來看團隊演示的其中一種攻擊方法。
簡單提示，團隊### 用天線攔截HDMI電磁信號，然後用AI嘗試"復原"原始數據。
用上了AI模型
具體怎麼做到的呢？相關研究論文已發在arXiv上。
首先，團隊使用### 天線來捕捉由HDMI電纜和連接器發出的電磁波。
接下來，使用SDR（軟體定義無線電）設備接收這些電磁信號，並將它們轉換成數位形式的樣本，這些樣本包含了原始視頻信號的信息，但同時也可能包含噪聲和失真。
然後，利用### gr-temest這樣的軟體工具，對SDR捕獲的信號進行進一步的處理，以提取出圖像數據。
這個步驟可能會包括濾波、採樣率調整等操作，目的是盡可能地恢復圖像的原始形態。
最後，將經過上述步驟處理得到的信號輸入到一個### AI模型中，這個模型可以識別和增強圖像中的關鍵特徵，從而提高圖像的清晰度和可讀性。
概括而言，整個過程包括捕獲電磁信號、使用開源軟體處理電磁信號，使用端到端模型進一步處理等。
可以看到，這項研究的### 關鍵提升在於最後利用了深度學習技術。
團隊使用了### 深度殘差UNet（DRUNet），這是一種具有編碼器-解碼器結構的卷積神經網絡，適用於圖像恢復任務。
通過優化網絡結構和訓練過程，DRUNet能夠顯著提高圖像恢復的質量，特別是在文本的可讀性方面。
錯誤率下降約60%
那麼，這一端到端模型具體表現如何呢？
為了測試，他們構建了一個包含約3500個樣本的### 數據集，其中大約1300個是真實捕獲的信號，其餘為模擬信號。
真實樣本是通過實驗設置獲得的，模擬樣本則是使用基於分析模型的GNU Radio模擬器生成的，這些樣本被用來訓練和評估模型。
研究顯示，在真實數據集上，使用複數樣本的Pure Model在所有評估指標（PSNR、SSIM、CER）上均展現出### 最佳性能。
具體而言，使用原始圖像幅度的傳統gr-tempest方法在真實數據集上的CER### 超過90%，而Pure Model（使用複數樣本）的CER### 降至35.3%。
同時，在合成數據上訓練的模型在真實數據上可能會遇到性能下降的問題。
不過，### 通過模型微調（Fine-Tuning），即使只用### 10%的真實樣本，也能達到與使用全部真實樣本訓練的Pure Model相近的性能。
為了驗證魯棒性，模型採用了不同採樣率和顯示器解析度，結果表明### 部分配置變化可能導致性能顯著下降。
雖然團隊用新模型大大提高了HDMI"破解率"，但為了預防風險，團隊最後也提出了### 相應對策。
通過在顯示器圖像上### 添加低級噪聲或使用背景漸變，可以有效降低成功率。
目前相關研究和數據集已開源，感興趣可以進一步閱讀論文。
參考連結：