AIエアギャップ・スクリーンピーキング：HDMIケーブルからの信号漏洩がプライバシーの懸念を引き起こす

ウルグアイ共和国大学工学部のチームは、### エンドツーエンドモデルを提案しました。このモデルはテキスト復元に特化し、漏洩信号（HDMIなど）の文字誤り率（CER）を約30%まで低下させることができます。

アナログ信号（VGAなど）と比較して、デジタル信号（HDMIなど）は復元が難しいことに注意してください。これは、10ビットエンコーディングが帯域幅の増加と信号とピクセル強度間の非線形マッピングを引き起こすためです。

この水準まで低下すると、元のコンテンツはほぼ解読可能になります。

より直感的に理解するために、チームが実演した攻撃方法の1つを見てみましょう。

簡単に説明すると、チームは### アンテナを使用してHDMIの電磁信号を傍受し、AIを使用して元のデータを「復元」しようとしています。

AIモデルの使用

具体的にどのように行ったのでしょうか？関連する研究論文はarXivで公開されています。

まず、チームは### アンテナを使用してHDMIケーブルとコネクタから放出される電磁波を捕捉します。

次に、SDR（ソフトウェア定義無線）デバイスを使用してこれらの電磁信号を受信し、デジタル形式のサンプルに変換します。これらのサンプルには元のビデオ信号の情報が含まれていますが、同時にノイズや歪みも含まれている可能性があります。

その後、### gr-temestなどのソフトウェアツールを使用して、SDRで捕捉した信号をさらに処理し、画像データを抽出します。

このステップには、フィルタリングやサンプリングレートの調整などの操作が含まれる可能性があり、目的は可能な限り画像の元の形態を復元することです。

最後に、上記のステップで処理された信号を### AIモデルに入力します。このモデルは画像内の重要な特徴を認識し強化することができ、それにより画像の鮮明さと可読性を向上させます。

この研究の### 主要な改善点は、最後にディープラーニング技術を活用したことです。

チームは### ディープ残差UNet（DRUNet）を使用しました。これはエンコーダー-デコーダー構造を持つ畳み込みニューラルネットワークで、画像復元タスクに適しています。

ネットワーク構造とトレーニングプロセスを最適化することで、DRUNetは画像復元の品質を大幅に向上させることができ、特にテキストの可読性の面で効果的です。

では、このエンドツーエンドモデルの具体的なパフォーマンスはどうでしょうか？

テストのために、彼らは約3500のサンプルを含む### データセットを構築しました。そのうち約1300は実際に捕捉された信号で、残りはシミュレーションされた信号です。

実際のサンプルは実験設定を通じて得られ、シミュレーションされたサンプルは分析モデルに基づくGNU Radioシミュレータを使用して生成されました。これらのサンプルはモデルのトレーニングと評価に使用されました。

研究によると、実際のデータセットにおいて、複素数サンプルを使用したPure Modelが全ての評価指標（PSNR、SSIM、CER）で### 最高のパフォーマンスを示しました。

具体的には、元の画像振幅を使用する従来のgr-tempest方法は実際のデータセットで### 90%を超えるCERを示しましたが、Pure Model（複素数サンプルを使用）のCERは### 35.3%まで低下しました。

同時に、合成データでトレーニングされたモデルは実際のデータで性能低下の問題に直面する可能性があります。

しかし、### モデルの微調整（Fine-Tuning）を通じて、### わずか10%の実際のサンプルを使用しても、全ての実際のサンプルでトレーニングされたPure Modelに近い性能を達成できます。

堅牢性を検証するために、モデルは異なるサンプリングレートとディスプレイ解像度を採用しました。結果は### 一部の設定変更が性能の著しい低下をもたらす可能性があることを示しています。

チームは新しいモデルでHDMIの「クラック率」を大幅に向上させましたが、リスクを予防するために、チームは最後に### 対応策も提案しました。

ディスプレイ画像に### 低レベルのノイズを追加したり、背景グラデーションを使用したりすることで、成功率を効果的に低下させることができます。

現在、関連する研究とデータセットはオープンソース化されており、興味がある方はさらに論文を読むことができます。

参考リンク：