Copilotがパソコンのアプリを操作。画面から仕事を進める

GitHubは10月1日、Copilotがパソコンのアプリを操作できる機能を試験公開した。利用者が許可したアプリの画面を読み、クリック、入力、スクロールなどを行う。プログラムから操作する仕組みがない古いアプリでも、画面を通じて作業を進められる。 発表では、Safariで経費精算の画面を操作する例を示した。コードを書くAIが、ブラウザーやデスクトップの画面にも手を伸ばす。資料の内容を読み、別のアプリへ入力するような作業を、一つの依頼から進める使い方が見えてくる。 機能はmacOSとWindowsのCopilot CLI、Copilotアプリで公開プレビュー中。初期状態ではオフで、アプリを操作する前には利用者の許可を求める。組織の管理者は利用を止める設定もできる。 この発表は日本や欧州の技術メディアでも紹介された。一方、XやYouTubeなどで比較できる反応数は確認できていないため、世界的な人気の大きさまでは判断しない。注目するのは、操作対象が開発環境の外へ広がったという具体的な変化だ。 操作した結果を画面で確かめながら、人が許可する範囲で次へ進む。AIへの依頼は「コードを書いて」から「この仕事を最後まで進めて」へ近づいている。