Computer Useとは
コンピュータ操作
AIがスクリーンショットを見ながらマウス・キーボード操作をし、人間と同じようにコンピュータ画面を直接操作する機能
ひとことで言うと
AIが人と同じように画面を見て、マウスやキーボードを操作してパソコンを直接動かす機能。
概要
Computer Useは、LLMが専用APIを介さずに人間がコンピュータを操作するのと同じ方法、つまり画面のスクリーンショットを視覚的に認識しマウス操作やキーボード入力を生成する方法で、任意のアプリケーションやWebサイトを直接操作できるようにする機能。 各ステップでモデルは、現在の画面のスクリーンショットを受け取り、次に行うべき操作(座標を指定したクリック、テキスト入力、スクロールなど)を判断して出力し、その操作結果である新しいスクリーンショットを再び受け取るというループを繰り返しながらタスクを遂行する。 APIが用意されていないレガシーな業務システムや、多様なWebサイト・デスクトップアプリの操作を、個別のAPI連携を実装することなく自動化できる可能性を持つ点が特徴。 2024年にAnthropicがClaudeにこの機能をAPI経由で公開し、以降OpenAIなど他のLLM提供元も同様の機能を発表するなど、AIエージェントの操作対象をAPI連携済みのツールから任意のソフトウェアへ広げる技術として注目されている。
背景
AIエージェントがツールを使ってタスクをこなす従来の方式は、対象システムがAPIやツール定義を提供していることが前提だった。 Computer Useは、人間と同じ視覚情報とマウス・キーボード操作だけでコンピュータを操作できるようにし、API連携が存在しないソフトウェアもエージェントの操作対象へ含められるようにする狙いで開発された。
歴史
2024年10月: Anthropicが「Computer Use」をClaudeのAPI機能として公開。 2025年: OpenAIなど他のLLM提供元も同様の画面操作エージェント機能を発表し、複数のベンダーで類似機能の提供が広がる。
ワークフロー
エージェントが現在の画面のスクリーンショットを受け取る。 タスクの目標と画面の内容を踏まえ、次に行う操作(クリック位置の座標、入力するテキスト、キー操作など)を決定する。 決定した内容を実行環境(仮想デスクトップ等)へ送信し、その結果の新しいスクリーンショットを受け取って次のステップの判断材料にする。
コード例
Anthropic APIでのComputer Use指定例
import anthropic
client = anthropic.Anthropic()
response = client.beta.messages.create(
model="claude-sonnet-4-5",
tools=[
{
"type": "computer_20241022",
"name": "computer",
"display_width_px": 1024,
"display_height_px": 768,
"display_number": 1,
}
],
betas=["computer-use-2024-10-22"],
messages=[{"role": "user", "content": "ブラウザで天気予報を調べて"}],
)利点
- APIが提供されていないソフトウェアやWebサイトも、視覚情報だけを頼りとして操作対象にできる
- 個別のシステムごとに専用のツール連携を実装する必要がなく、汎用的な操作方法として応用できる
- 人間の操作手順をそのままAIに代行させやすく、既存の業務フローへの適用障壁が低い
欠点
- 画面のレイアウト変更や予期しないポップアップなどに弱く、操作の失敗が起こりやすい
- スクリーンショットの解析と操作判断を繰り返すため、専用APIを使う方式よりレイテンシとコストが大きい
- 誤操作による意図しないデータ変更や送信の発生リスクがあり、実行権限や確認手順の設計が重要になる
比較
- ツールコーリング — ツールコーリングは専用APIを介した操作、Computer Useは画面を直接操作する点で対象範囲が異なる
- AIエージェント — Computer Useは、AIエージェントが操作できる対象をAPI連携済みのツールから任意のソフトウェアへ広げる技術
- Human-in-the-Loop — 誤操作のリスクを抑えるため、Computer Useの実行には人間の確認を挟むHuman-in-the-Loopの設計がしばしば組み合わされる
関連用語
よくある質問
Computer Useとツールコーリングの違いは？
ツールコーリングは事前に定義された関数やAPIを呼び出す仕組みであるのに対し、Computer Useはスクリーンショットを見ながらマウス・キーボード操作を生成し、人間と同じ方法で画面を直接操作する。
Computer Useのリスクは？
画面レイアウトの変化に弱く誤操作が起きやすいことに加え、意図しないデータ送信や変更をしてしまうリスクがある。実行環境の権限制限や、重要な操作の前に人間の確認を挟む設計が重要とされる。