本物のデータに微小なノイズを加えることで、AIに誤認識させてしまう改変されたデータのこと。

画像に少量のピクセルの乱れを入れたり、音声波形にほんの少し別の波形を合成したりするなど本物のデータにわずかなノイズを加えることで、本物と同一分類のデータであるにもかかわらずAIシステムは別分類のデータと判断する場合がある。逆に、まったく別分類であるにもかかわらずノイズを加えたことでAIが同一分類と誤認する場合がある。このような事態を引き起こす改変データは敵対的サンプルと呼ばれ、このデータを用いてAIに不正な判断や誤作動を引き起こす攻撃を敵対的サンプル攻撃と呼ぶ。

データ中にわずかなノイズが存在しても、多くの場合AIシステムは正しく分類を行うがその線引きは明確なものではなく、人間の目では明らかに判断できる些細な違いであってもAIにとっては大きな差異につながる場合が存在する。例えば、次のような場合、セキュリティシステムや安全性確保に対する脅威となる。

• 異なる二人の人物に対し、通常は二人を同一人物とAIが判断することはないが、一方が特殊なメガネを装着した状態の画像をAIに与えると同一人物である誤認識する
• 本来異常と判断すべきセンサーデータが、微小なノイズの干渉によって正常と判断される

敵対的サンプルへの対象方法としては、GANモデルなどを利用して敵対的サンプルを生成しAIモデルの学習を行い識別精度を向上させたり、注目すべき要素は保持しつつノイズを除去する平滑化フィルタを利用して敵対的サンプルを検出したりするなどが検討されている。