ITパスポート 試験情報＆徹底解説

学習データとしてテキスト、音声、画像、動画など様々な形態のデータを組み合わせ利用することで、より精度の高い予測や認識を可能とするAIのこと。

マルチモーダル（Multimodal）とは、multi（複数／種々）のmodal（様式／方式／形態）を意味する。マルチモーダルAIでは、テキストや画像だけでなくIoT機器から収集したデータやセンサー情報など、種類の異なる情報間で同時に現れる特徴（これを共起関係という）をAI自らが見つけ学習することで、より複雑な情報処理を行うことが可能である。一方でテキストだけ、画像だけのように1種類の情報だけを扱うシングルモーダルAIと比べて扱う情報量が増大するため、大量のデータを効率的に処理する技術や、大規模シミュレーションやデータ処理を行うための高性能計算機システムを整える必要がある。また複数の情報の共起関係がどのように導かれ、そこからどのように判断したのかが利用者には理解しづらいため、説明可能なAI（XAI：Explainable AI）についての技術が求められている。

マルチモーダルAIの活用例として、体組織や検査画像、電子カルテの情報などを利用した効率的で精度の高い医療技術、対象物までの距離・形状などを測定するレーザーや車載カメラの画像、ジャイロセンサ（物体の回転や向きの変化を測定）などの複数のセンサデータを利用した自動運転技術などがある。