【速報】GoogleがマウスポインターをAIで再発明｜指差すだけでタスク完了する「Magic Pointer」

「これ、箇条書きにして」「この表をグラフにして」——マウスで指差しながら一言だけ。それだけで、AIが作業を完了してくれる。

そんな未来が、もう実験段階に入りました。2026年5月12日、Google DeepMindが「AIマウスポインター（Magic Pointer）」を発表。50年以上変わらなかった「マウス」の概念をAIで作り変えるという、インターフェースの転換点です。

従来のマウスは「画面上のどこを指しているか」しか分かりませんでした。Magic Pointerは「何を指しているか」をGeminiが理解します。長いプロンプトを書かなくても、カーソルで対象を指して短い一言で指示が通る——この直感的な操作感は、AIの使い方そのものを変えるインパクトがあります。

この記事では、Magic Pointerの仕組みと具体的な使い方、今すぐ試せるデモの情報、そして5月19日のGoogle I/O 2026で何が発表されるのかまで、まとめて解説します。

---

法人向けAI研修の導入社数No.1（東京商工リサーチ調べ）の弊社デジライズが、500社以上の支援から得たノウハウを1冊にまとめた「企業のための生成AI活用ガイド」を無料で配布中です。

Magic Pointerとは——50年ぶりに変わる「マウス」の役割

マウスは1968年にダグラス・エンゲルバートが発明して以来、基本的な役割は変わっていません。「カーソルを動かして、クリックする」——位置を指定する道具です。

Magic Pointer（正式名称：AI-enabled pointer）は、この前提を根本から変えます。カーソルが重なっている内容を、Geminiがリアルタイムに「見て」理解するのです。

具体的にいうと、カーソルの下にある文書の段落、画像、表、コードブロックといった視覚的・意味的コンテキストをGeminiが自動的にキャプチャ。あなたは「まとめて」「グラフにして」と短い一言を添えるだけで、AIが状況を把握した上で作業を実行してくれます。

従来のAI利用との違い

今のAIツールの使い方を思い出してください。ブラウザで情報を見つけたら、まずコピーして、ChatGPTやGeminiのウィンドウに切り替えて、ペーストして、「これを要約して」と指示を書いて……。

Google DeepMindはこの手間を「AI迂回（AI detour）」と呼んでいます。AIを使うために、今やっている作業を中断して別のウィンドウに寄り道する。便利なはずのAIが、実は作業の流れを断ち切っている。

Magic Pointerのアプローチはシンプルです。AIがあなたの作業場所に来る。別ウィンドウへの切り替えも、長いプロンプトも不要。画面上のどこにいても、指差すだけでGeminiが文脈を理解してくれる。

4つの設計原則——「プロンプトを書く」からの解放

Google DeepMindは、Magic Pointerの設計を4つの原則で説明しています。それぞれが「なぜプロンプトを書かなくてもいいのか」の根拠になっています。

原則1：フローを維持する（Maintain the flow）

AI機能はすべてのアプリで動くべきで、ユーザーをAI専用ウィンドウに強制すべきではない——これが第1原則です。前述の「AI迂回」をなくすことが、Magic Pointerの出発点になっています。

原則2：見せて伝える（Show and tell）

ポインターが視覚的・意味的な文脈を自動でキャプチャするため、「この文書の3段落目にある統計数値を…」と細かく説明する必要がなくなります。指せば文脈が伝わる。

原則3：「これ」「あれ」が通じる（Embrace the power of “This” and “That”）

人間同士の会話では「これ直して」「あれ動かして」で通じますよね。Magic Pointerも同じです。カーソルが指している対象があるから、「Fix this」「Move that」という簡潔な指示で複雑なリクエストが成立します。

原則4：ピクセルを操作可能なものに変える（Turn pixels into actionable entities）

画像の中の建物、動画のワンシーン、手書きメモの文字——これまで「見るだけ」だった画面上の情報が、場所・日付・物体といった構造化データに変換されます。写真の中のレストランを指せば予約リンクが出る。そんな世界観です。

実務で変わる5つのシーン——「指差し一言」の具体例

Google DeepMindが公式ブログで示しているユースケースを見ると、この技術が「実験的な面白機能」ではなく「業務の作法を変えるもの」だと分かります。

PDFを指して「メール用にまとめて」

会議資料のPDFを開いたまま、まとめたい段落にカーソルを重ねて「箇条書きにして」と言うだけ。コピー→別ウィンドウにペースト→プロンプト入力、という3ステップが消えます。「その文書を今読んでいる」という文脈をAIが最初から持っているのが大きいですよね。

表を指して「円グラフで見せて」

スプレッドシートの表にカーソルを置いて「円グラフにして」——Excelのメニューを探し回るより、ずっとダイレクトです。データの可視化を「何を見せたいか」だけで指示できると、資料作成のスピードが根本から変わります。

レシピを選んで「材料を2倍に」

料理レシピを表示して材料リストを選択、「2倍にして」と言えば全量を自動計算。日常的な場面ですが、AIが「今指しているのがレシピの材料リストである」と理解しているからこそ成立する操作です。

手書きメモを指して「ToDoリストに変換」

会議で書いたメモの写真をスクリーンに表示して指せば、インタラクティブなToDoリスト形式に変換。「OCRして→整形して→リスト化して」という複数ステップが、指差し一言で完結します。

動画を一時停止して「予約リンクを出して」

動画を止めてそのフレームを指すと、映っている場所やレストランの情報を取得し、予約リンクまで生成。動画が「見るだけのもの」から「操作できるもの」に変わる瞬間です。

Google AI Studioで今すぐ試す方法

Magic Pointerの実験デモは、すでにGoogle AI Studioで公開されています。Googleアカウントがあれば、今日からでも体験できます。

現在試せる2つのデモ

画像編集デモ：ビーチのイラスト上でカーソルを当てながら「move the crab here」「make that a sun hat」と音声で指示すると、AIがオブジェクトを操作します。

地図検索デモ：地図上の場所を指しながら「where is this?」「find a Japanese restaurant open right now around here」と尋ねると、ポインターの位置に応じた情報を返してくれます。

試す際の注意点

• Googleアカウントとマイクの許可が必要
• PC・Mac環境が前提（マウス操作が必要なため、スマートフォンには非対応）
• 現時点は英語での音声指示が中心
• あくまで「実験デモ」段階であり、対応アプリや言語は今後拡充される見込み

「長いプロンプトを書かずに、指差すだけでAIが動く」という体験を自分の手で試せるのは、この技術を理解する最短ルートです。

Googlebookへの搭載とGoogle I/O 2026の展望

Magic Pointerは単独の実験で終わるものではありません。Googleのハードウェア戦略と密接につながっています。

Googlebook——「Gemini前提」の新カテゴリPC

同じ2026年5月12日のAndroid Showで発表された「Googlebook」は、AndroidとChromeOSを統合した新基盤の上にGeminiを組み込んだノートPC。Magic Pointerはこのデバイスに「Magic Pointer」として搭載されます。

Acer・ASUS・Dell・HP・Lenovoが製造パートナーとして名を連ね、2026年秋の発売が予定されています。Chromebookが「クラウド前提のPC」だったとすれば、Googlebookは「AI前提のPC」という位置づけです。

Gemini in Chrome——ブラウザにも展開開始

2026年5月12日から、Gemini in Chromeのロールアウトも始まっています。ウェブページ上の特定部分を指しながらGeminiに質問・比較・要約を依頼できる機能で、Magic Pointerの設計思想がブラウザにも広がっています。

Google I/O 2026（5月19日）で何が来るか

Google I/O 2026は5月19日に開催予定です。Magic Pointerの正式な製品統合、Gemini in Chromeの対応範囲拡大、Googlebookの詳細スペックなど、今回の実験デモの先にある「製品としての姿」が見えてくる可能性があります。

まとめ——「プロンプトを書く時代」から「指す時代」へ

Google DeepMindが発表したMagic Pointer（AI-enabled pointer）のポイントを整理します。

• カーソルが指す文書・画像・表・コードをGeminiがリアルタイムに認識する
• 「箇条書きに」「グラフに」「2倍に」など短い一言で作業が完結する
• 「AI迂回」を排除し、作業中の画面上でAIが動く設計思想
• Google AI Studioで実験デモを今すぐ体験可能（画像編集・地図検索の2種類）
• Googlebookへの搭載が決定、2026年秋に発売予定（Acer/ASUS/Dell/HP/Lenovo）
• Gemini in Chromeも5月12日からロールアウト開始

「AIに何かをやってもらう」とき、これまでは「状況を説明して、指示を書いて」という手順が必要でした。Magic Pointerは、その「説明」の部分をカーソルに置き換えます。文脈をAIが視覚的に把握してくれるなら、あなたの言葉はずっと短くて済む。

5月19日のGoogle I/O 2026では、この実験の先にある「製品としてのMagic Pointer」が姿を現すかもしれません。まずはGoogle AI Studioのデモで、指差すだけでAIが動く感覚を体験してみてください。

---

法人向けAI研修の導入社数No.1（東京商工リサーチ調べ）の弊社デジライズが提供する「法人リスキリング」の研修内容・支援の流れ・料金をまとめたサービス資料を無料でお送りしています。