画像・音声も扱うAIで広がる使い方

自社の「ユースケースと効果」の準備度は？10問・約3分で確かめる（無料・登録不要）

生成AIというと、文章で質問して文章で答えてもらう使い方を思い浮かべる方が多いかもしれません。しかし、いまのAIの多くは、写真や図、音声、動画も入力として受け取れるようになっています。このように、複数の種類の情報を組み合わせて扱えるAIをマルチモーダルAIと呼びます。この記事では、マルチモーダルAIで業務の使い方がどう広がるのか、そして使うときに気をつけたい点を整理します。

マルチモーダルAIで、何が変わるのですか？

これまでの業務のAI活用は、主に文字の情報が対象でした。メールの下書き、資料の要約、文章の翻訳などです。ところが、会社の中には、文字になっていない情報がたくさんあります。現場で撮った写真、手書きのメモ、ホワイトボード、図面、会議や電話の音声、作業の動画などです。

マルチモーダルAIは、こうした情報をそのまま受け取り、文章や表に変えたり、内容を説明したりできます。たとえば、Google が開発者向けに公開している Gemini Live API の案内では、音声・動画・テキストの連続した入力を受け取り、人のような音声ですぐに応答できる仕組みが説明されています（この機能はプレビュー版とされています）。

政府の動きを見ても、2026年7月14日に閣議決定された人工知能基本計画の概要に、マルチモーダルの基盤モデルの開発の推進が挙げられています。画像や音声を扱うAIは、これから業務の道具として身近になっていくと考えられます。

現場の仕事では、どんな使い方ができますか？

マルチモーダルAIは、パソコンの前に座らない仕事にこそ、使い道があります。試しやすい場面には、次のようなものがあります。

• 点検や作業の記録： 現場で撮った写真をもとに、点検の記録や報告書の下書きを作る
• 手書きの情報の整理： ホワイトボードや手書きのメモの写真から、文字を読み取って議事メモにまとめる
• 図や表の読み取り： 紙の資料のグラフや表の写真から、数値を表に起こす下書きを作る
• 会議や打ち合わせの記録： 音声から文字起こしをし、要点と決まったことを整理する
• 作業手順の資料づくり： 作業の様子を撮った写真や動画から、手順書のたたき台を作る

いずれも、AIに任せきりにするのではなく、AIが作った下書きを人が確かめて仕上げる使い方です。それでも、写真を見ながら一から文章を書く手間に比べると、時間を短くできる場合があります。始めるときは、記録づくりに時間がかかっている業務を一つ選び、実際の写真や音声で試してみるのがよいでしょう。

画像や音声を扱うときは、何に気をつければよいですか？

画像や音声は、文字よりも多くの情報を含んでいます。写真の隅に別の書類が写り込んだり、会議の音声に社外の人の発言が含まれたりすることもあります。使い始める前に、次の点を決めておきます。

① 人が写る・映る情報の扱い
総務省・経済産業省などがまとめた「カメラ画像利活用ガイドブック ver3.0」では、カメラ画像や、顔の特徴から取り出したデータは、特定の個人を識別できる場合に個人情報に当たると整理されています。また、撮影の前に利用目的などを知らせることや、撮影中であることを分かりやすく伝えることが配慮事項として挙げられています。社員や顧客が写る写真や動画をAIで扱う場合は、利用目的を決め、本人に知らせる方法を考えておきます。判断に迷うときは、専門家に確かめてください。

② 入力してよい情報の範囲
文字の情報と同じように、会社が契約したサービスを使い、社内の利用ルールで入力してよい情報を決めます。写真を撮る前に、写り込んではいけない物（顧客の書類、画面の表示など）を写さないようにする決まりも役に立ちます。

③ 人が確かめる場面
写真の明るさや角度によって、読み取りの誤りが出ることがあります。数値の読み取りや、品質・安全に関わる判断は、人が確かめてから使います。

マルチモーダルAIは、会社の中に眠っている文字以外の情報を、仕事に生かすきっかけになります。配慮すべき点を押さえたうえで、記録づくりの手間を減らすところから試してみてください。