Microsoft、画面操作を記録してAIエージェント用スキルに変換する「Skill Recorder」を公開

これまでの流れ

「実演から学ばせる」というAIエージェントの学習方式は、他社でも採用が進んでいます。

要点

• Microsoftが、画面上の作業を録画してAIエージェント向けの再利用可能な「スキル」に変換するデスクトップアプリ「Skill Recorder」を公開しました。「1回作業をやってみせるだけで、AIエージェントに同じ作業を繰り返させられる」というコンセプトです。
• クリック・アプリの切り替え・閲覧ページの遷移といった操作セッションを記録し、GitHub Copilot CLIがその内容を解析。単なる操作ログではなく「意図」と「順序立てられた手順」として再構成します。
• 生成されたスキルは、Microsoft ScoutやCopilot Cowork、Copilot Studio向けの自動化・スキルとして書き出せます。対応プラットフォームはmacOSを主要ターゲットに、Windows 11(x64・ARM64)・Ubuntuにも対応。ウィンドウ追跡やブラウザURL、画面動画、クリップボード、99言語対応のナレーションなどをキャプチャできます。
• MITライセンスで公開されており、GitHubのスター数は839件に達しています。はてなブックマークのテクノロジーカテゴリでも多くのブックマークを集めるなど、開発者コミュニティで急速に話題になっています。

なぜ重要か

従来、AIエージェントに特定の業務手順を実行させるには、プログラミングによる細かな設定や、詳細な指示文の作成が必要でした。Skill Recorderのように『実際にやってみせる』だけでAIエージェントが手順を学習できる仕組みは、専門的なプログラミング知識がなくても、日常業務の自動化にAIエージェントを活用できる可能性を広げます。AnthropicとMicrosoftという主要2社が相次いで類似のアプローチを打ち出したことは、『実演から模倣させる』という学習方式が、AIエージェント活用の標準的な手法になりつつあることを示しています。

※ 実際の業務での再現精度や、機密性の高い操作を記録する際のセキュリティ面の詳細については、記事執筆時点(2026年8月3日)で十分な検証事例が確認できていません。