第10回｜画像・音声・ファイルもおまかせ！マルチモーダル完全活用法
10-1. マルチモーダルってなに？最新GPTのすごさを知ろう
10-1-1. 「マルチモーダル対応」とはどういう意味？
最近よく耳にする「マルチモーダル」。これは、画像や音声、ファイルなど複数の形式（モード）を一つのAIが扱えることを指します。
従来のAIは「文字だけ」の入力・出力が中心でしたが、GPT-4 Turboでは画像を読み取ったり、音声で話しかけたり、PDFやExcelを解析したりと、幅広いやりとりが可能になりました。
10-1-2. GPT-4 Turboでできること一覧（画像・音声・ファイル）
現在のChatGPT（GPT-4 Turbo）では、以下のようなマルチモーダル機能が使えます。
- 画像を読み取る：手書きメモや写真をアップロードし、内容を要約・分析
- 音声で話す・聞く：スマホマイクで話しかけたり、AIに読み上げてもらったり
- ファイルを読み込む：PDF、Word、Excelなどをアップロードして要約・比較・変換
以下に、マルチモーダル機能を体験できるプロンプト例を紹介します。
📌 すぐに試せる！マルチモーダル入門プロンプト3選
- 画像アップロード後：「この写真に写っているメモの内容をテキスト化してくれますか？」
- 音声対話で：「これから話す内容を要約して、ToDoリストにしてくれる？」
- PDFアップ後：「この資料のポイントを5行でまとめてください。」
10-2. 画像を使いこなす！目で見て伝えるChatGPT活用術
10-2-1. 手書きメモ・写真・図表を読み取らせるコツ
ChatGPT（GPT-4 Turbo）は、画像をアップロードするだけで、その中の文字や構造、意味を読み取ってくれます。たとえば手書きのメモ、授業の板書、プレゼン資料のグラフなども対象です。
コツは「ピントが合っていて、光の反射が少ない画像を選ぶこと」。スマホで撮るときは斜めから撮影せず、正面かつ明るい場所で撮影しましょう。
🗣 プロンプト例：画像を読み取らせる指示
- 「この写真のメモを文字に起こしてください。」
- 「この図の内容をわかりやすく説明してください。」
- 「このグラフから読み取れるポイントを3つ教えてください。」
10-2-2. 実例：買い物メモ・ホワイトボード・地図を解析させる
どんな画像がAIに役立つか？身近な実例をいくつか見てみましょう。
- 買い物メモ：手書きのリストを撮って、「この内容を買い物リストにして」と依頼
- 会議のホワイトボード：議事録風にまとめ直してもらう
- 地図やフローチャート：経路や流れをテキスト化し、別資料に再利用
10-2-3. 画像生成AI（DALL·E）との連携方法と活用アイデア
画像を読み取るだけでなく、ChatGPTでは画像を“生成する”ことも可能です。これを実現するのが「DALL·E（ダリ）」というAI機能です。
DALL·Eは、プロンプトに従ってイラストや図解を描いてくれるので、資料やSNS投稿、絵本づくりにも活用できます。
画像を生成したいときは、以下のように話しかけてみましょう。
🎨 プロンプト例：画像を生成してもらう指示
- 「手書き風の買い物メモ風イラストを描いてください。」
- 「3ステップで説明する図を描いてください（タイトル：〇〇）。」
- 「この文章に合うアイキャッチ画像を生成してください。」
10-3. 音声入力・読み上げで“話す”AI体験をしよう
10-3-1. スマホでの音声入力の始め方と注意点
ChatGPTアプリでは、スマホのマイク機能を使って話しかけるだけで入力が可能です。タイピングが苦手な方や、移動中・手が離せないときに便利な使い方です。
音声入力は「ヘッドフォンアイコン（またはマイクアイコン）」をタップするだけで開始できます。
🎙 プロンプト例：音声で話しかけるときの言い方
- 「今日の予定を整理してくれる？」
- 「このあとやるべきことをリストにして」
- 「ちょっとした日記を書いてほしいんだけど…」
10-3-2. ChatGPTの読み上げ機能（Text to Speech）の使い方
ChatGPTでは、返答を音声で読み上げてくれる機能（Text to Speech）も利用できます。読みにくい長文や、耳で聞きたいときに便利です。
回答後に「スピーカーのアイコン」をタップすれば、AIが自然な声で読み上げを開始します。声の種類やスピードも選択可能です。
🧏♂️ プロンプト例：読み上げに適した使い方
- 「この文章を、読みやすいように整えて音読してほしい。」
- 「英語で挨拶フレーズを言って、そのあと日本語訳も話して。」
- 「今日のニュースを3つ、読み上げ形式でまとめて。」
10-3-3. 会話型で使える場面別アイデア（散歩・作業中・学習）
音声でのやりとりを「ちょっとした会話」として使えば、ChatGPTはまるでポケットの中の相談役に。以下のような日常シーンで効果を発揮します。
- 散歩中：「話し相手」として一緒に雑談やアイデア出し
- 作業中：「やることリスト」や「休憩タイマー」のアシスタントに
- 学習中：暗記・復習を音読してもらう「口頭チェック」ツールとして
10-4. ファイル活用が一気に進化！PDFやExcelも“会話”できる
10-4-1. ChatGPTに読み込ませられるファイル形式と制限
ChatGPTでは、PDF・Word・Excel・テキストファイルなどを直接アップロードして、内容を読み取らせることができます（GPT-4 Turbo・有料プラン限定）。
アップロードは、チャット画面の「＋」ボタンから「ファイルをアップロード」を選ぶだけ。1回の会話で複数のファイルも扱えます。
- 対応形式：PDF、.docx、.xlsx、.csv、.txtなど
- 制限サイズ：最大で約20MB／ファイル（※時期やプランによって変動）
📎 プロンプト例：ファイルをアップした直後の言い方
- 「このファイルの要点を3つにまとめてください。」
- 「この資料の中から、○○に関する記述だけを抜き出して。」
- 「このExcelのデータを表で比較して、傾向を教えてください。」
10-4-2. 実例：PDF資料から要約・Excelから分析
ここでは実際に、どのようにファイルを活用できるか、具体的な例を紹介します。
- PDF会議資料：議題ごとに要点整理 → 次回会議の準備にも便利
- 商品一覧のExcel：価格・在庫・売上を条件別でソート＆分析
- アンケート結果のCSV：傾向分析とグラフ化（必要なら画像化も依頼可）
📊 プロンプト例：ファイル内の内容を深掘りする指示
- 「この資料から得られる結論を、根拠つきで説明して。」
- 「このデータに基づいて、改善案を3つ提案して。」
- 「このデータをもとに、社内報向けの文章を作ってください。」
10-4-3. ファイル連携時に気をつけたいプライバシーと安全性
ファイルをアップロードする際には、個人情報や機密情報の取り扱いに注意が必要です。ChatGPTは基本的に内容を学習には使いませんが、「社外秘」などのデータは避けましょう。
- アップ前に「個人名・連絡先」を削除・マスキングする
- 「開示しても問題ない範囲」で限定的に使う
- 企業・組織利用の場合は、利用規約やガイドラインを確認
10-5. 使いこなすためのヒント＆よくある質問
10-5-1. 読み取りミス・誤認識の防ぎ方と対処法
マルチモーダル機能はとても便利ですが、画像の文字を正しく認識しない、ファイルの内容を一部しか反映しないなど、精度に限界がある場面もあります。
以下のような工夫で、認識精度をぐっと高めることができます。
- 画像は明るく・正面から撮影し、文字がはっきり読めるように
- ファイルはなるべく最新形式（.xlsxや.docxなど）でアップロード
- 入力後すぐに「この解釈で合ってますか？」と確認プロンプトを追加
🛠 プロンプト例：ミスや誤認を防ぐ使い方
- 「この解釈に間違いがないか確認してください。」
- 「この画像の文字が読みづらい場合は、どこが問題か教えてください。」
- 「このPDFの中で読み取れなかった部分があれば教えてください。」
10-5-2. 無料プランと有料プランでできることの違い
マルチモーダル機能の多くは有料プラン（ChatGPT Plus）で提供されています。無料ユーザーでもできることはありますが、主に文字ベースのやりとりに限られます。
以下に主な違いをまとめます。
- 無料プラン：テキスト入力・旧モデル（GPT-3.5）での応答
- 有料プラン：GPT-4 Turbo、画像・音声・ファイル対応、カスタムGPT利用 など
💬 プロンプト例：今のプランでできることを確認したいとき
- 「現在のプランで画像アップロードは使えますか？」
- 「音声対話を試したいのですが、私のアカウントで使えますか？」
- 「有料プランと無料プランの違いを簡単にまとめて。」
10-5-3. 複数モーダルを組み合わせる活用パターン例
画像＋ファイル、音声＋テキストなど、モーダルを組み合わせるとChatGPTの真価が発揮されます。以下はおすすめの複合活用例です。
- 画像＋テキスト：ホワイトボード写真 → 要点抽出 → 議事録作成
- PDF＋音声：資料を読み上げてもらいながら要点だけをメモ
- Excel＋チャット：数値分析＋そのまま社内報文案の作成まで一括対応
