AIによって予測・認識された事例に対して、人間がそれを理解するための根拠となる特徴量（処理対象のデータの特徴を定量的に表したもの）などを利用して、AIを信頼できるようにするための技術の総称である。

高い精度の予測・認識を可能とするAI技術であるが、AIを利用したサービスの利用者にとっては、根拠の提示がなければその結果を信頼し納得することはできない。またAIの判断と人間の判断が食い違った場合、その原因を理解できなければどちらの判断を優先すべきか決定できないし、今後に向けての改良を行うこともできない。人間の意思決定や提案・思考の補助として使うAIを信頼できるものとする一連のプロセスが「説明可能なAI」である。

AIの学習対象となるデータが、構造化された表形式のデータであれば列単位に示される値、構造化されていない画像・音声・テキストデータなどであればピクセルや波形、テキストの文脈や語彙などを数値変換したのが特徴量となり、根拠説明のベースとなる。この特徴量を適切に設定できれば予測・認識の精度を向上させることができ、信頼できる根拠として提示することが可能となる。現在、根拠説明の方法として、❶結果を導くのに重要な役割をした特徴量を提示する、❷重要な学習データを提示する、❸複雑なAIの処理過程を可読な表現（簡易的なモデルに変換など）で記述する、など様々な方法の研究が進められている。