Copilotエージェントのスキルとナレッジの使い分け|Agent Builder導入事例
Microsoft 365 CopilotのAgent Builderとは、業務専用のエージェントを作る機能です。Copilotの画面で、指示文・ナレッジ・スキル(Skills)を設定して作ります。プログラムを書かずに作れる反面、どの資料をどの順で調べるかは、AIの判断に任されます。
Copilotのエージェントで、スキルが呼ばれたり呼ばれなかったりして、困っていませんか。わたしたちは、現行システムの仕様に関する問い合わせに一次回答するエージェントを、Agent Builderで作りました。数百件規模の質問票を処理するために試行錯誤し、最後は3つのエージェントを順に動かす構成に行き着いています。スキルとナレッジをどう分け、AIに任せる範囲をどこまで狭めたか。当たった問題と判断を、失敗も含めてご紹介します。
この記事でわかること
- スキルとナレッジに、それぞれ何を置いたか
- スキルが「呼ばれない」ように見えるとき、最初に確かめること
- 1回の応答が5分程度で打ち切られる前提での、エージェントの分け方
- 解決できなかったこと(回答のぶれ、並列処理での不調)
目次
- 1. 課題:仕様の答えが、コード・設計書・マニュアルに分かれている
- 2. 打ち手の全体像:調べる順番はPADが持ち、3つのエージェントに渡す
- 3. 設計の勘所:Copilotエージェントのスキルとナレッジをどう分けたか
- 4. 運用サイクル:有識者が直した回答をナレッジに戻す
- 5. Copilotエージェントでうまくいかなかったこと
- 6. まとめ
1. 課題:仕様の答えが、コード・設計書・マニュアルに分かれている
現行システムを作り直すときは、まず今のシステムが何をしているかを調べます。今回の現場では、仕様に関する質問をExcelの質問票に書き、有識者の方が1件ずつ答えていました。
- 質問は数百件の規模になる
- 答えの根拠は、ソースコード、設計書(Excel)、操作マニュアル(PDF)に分かれている
- 有識者の方が答えるまで、調査が先に進まない
そこで、一次回答をAIに任せることにしました。最初は「資料さえ読ませれば答えられる」と考えていました。
ところが作ってみると、本当の問題は、AIが資料を読めるかどうかではありませんでした。どの資料をどの順で調べるかを、AIに任せていたことが問題でした。
同じ質問でも、スキルが呼ばれる回と呼ばれない回がありました。ナレッジでマニュアルが見つかると、コードを調べる前に答えてしまう回もありました。広く調べさせると、途中で打ち切られました。わたしたちがしたことは、AIに任せていた判断を1つずつ取り上げ、外から決めることでした。
2. 打ち手の全体像:調べる順番はPADが持ち、3つのエージェントに渡す
最終的な構成は、役割を分けた3つのエージェントと、それを順に動かすPower Automate for desktop(以下PAD)です。次の図は、Excelの質問1件が、どこを通って回答になるかを示しています。

- コード検索エージェント:スキルに入れたソースコードを、スクリプトで調べる
- ナレッジ検索エージェント:SharePointに置いた設計書・マニュアル・過去のFAQを調べる
- 質問回答エージェント:2つの検索結果を受け取り、回答を書く
PADはブラウザを操作し、質問をコード検索、ナレッジ検索の順に送ります。2つの結果を質問回答エージェントに貼り付け、できた回答をExcelに書き戻します。調べる順番を決めているのは、AIではなくPADです。
| 新しく増えたもの | 増えなかったもの |
|---|---|
| Agent Builderのエージェント3体 | 常時動かすサーバー |
| コードを調べるスキル | Copilot StudioやAzureの開発環境 |
| PADのフロー | 新しい問い合わせ窓口(質問票はExcelのまま) |
この形は、当初の計画と大きく違います。計画では、1体のエージェントが指示文に従って、順に資料を調べる想定でした。
| 項目 | 当初の計画 | 最終的な形 |
|---|---|---|
| エージェント | 1体+システム別のスキル3つ | 役割別に3体 |
| 調べる順番 | 指示文に書く(Power Automateは使わない) | PADが決める |
| 質問の入れ方 | 人がCopilot Chatで質問する | PADがExcelの質問を送る |
| コード | 要約と読み方をスキルに入れる | スキル内のスクリプトで読む |
| 設計書 | 精度が出なければテキストに変換する | 原本のままナレッジに置く |
3. 設計の勘所:Copilotエージェントのスキルとナレッジをどう分けたか
ここからは、問題に当たった順に判断を書きます。各項目は「判断・理由・やらなかったこと」の順です。
3-1. 設計書とマニュアルは、原本のままナレッジに置く
判断:設計書(Excel)と操作マニュアル(PDF)は、テキストに変換せず、SharePointのナレッジに置きました。
理由:テキストに変換した版も同じSharePointに置き、原本と比べました。よく読まれたのは原本で、テキスト版はほとんど使われませんでした。スキルに入れる案とも比べ、原本をナレッジに置く方式に決めています。
やらなかったこと:全資料を事前にテキストへ変換する作業です。計画では、精度が出なければMarkdown形式に変換する2段構えでした。比べた結果から、2段目は効かないと判断しました。
3-2. コードはスキルに入れ、スクリプトの場所を指示文に書く
判断:ソースコードはナレッジではなくスキルに入れ、スキル内のPythonスクリプトで検索させました。スクリプトの置き場所(パス)は、エージェントの指示文に書いています。
理由:コードはファイル数が多く、SharePointのナレッジが対応していない形式もありました。コードの要約と読み方だけをスキルに入れる案も試しましたが、エージェントはそれではコードを読めませんでした。
スクリプトに変えると、今度はスキルが呼ばれたり呼ばれなかったりしました。実行履歴を見ると、スキルは呼ばれていました。止まっていたのは、スキル内の.pyファイルが見つからない場面です。スキルのファイルが実行環境のどこに置かれるかは、公式ドキュメントに書かれていません。そこでプレビュー機能で実際のパスを確かめ、指示文に書きました。スキルの説明文(SKILL.md)も、呼び出されやすい書き方に直しています。
やらなかったこと:コードをSharePointに置く案、要約だけで済ませる案、パスの推測をAIに任せることの3つです。
なお、Agent Builderのスキルには上限があります。1つのエージェントに8個まで、ファイルは全スキルの合計で350個まで、パッケージ(zip)は50MBまでです。コードが多い場合は、この上限に収まるかを先に確かめてください。
⚠️ 「呼ばれない」に見えて、「呼ばれたが失敗」していた
画面の回答だけを見ると、スキルが使われなかったように見えます。説明文を書き直す前に、実行履歴でスキルが呼ばれたか、どこで止まったかを確かめてください。わたしたちは、ここを見るまでに時間を使いました。
3-3. 応答モードを「Think deeper」に固定する
判断:エージェントの応答モードを、自動(Auto)から「Think deeper」に固定しました。
理由:パスを直した後も、スキルの呼び出しは安定しませんでした。原因は、自動のままだと速さを優先した応答(Quick response)が選ばれる回があるためと見ています。その回は、ナレッジでマニュアルが見つかった時点で回答し、スキルまで進みません。3-1で原本がよく読まれる形にしたことが、ここでは裏目に出ました。Think deeperに固定してからは、マニュアルもコードも安定して呼ばれるようになりました。
やらなかったこと:自動のまま、指示文の書き方だけで補う案です。
公式の仕様では、応答モードの既定値をAuto・Quick response・Think deeperから選べます。ただし、利用者が画面で切り替えると、既定値は上書きされます。
3-4. エージェントを3体に分け、順番はPADに持たせる
判断:1体ですべてを調べさせるのをやめ、コード検索・ナレッジ検索・質問回答の3体に分けました。3体をつなぐのはPADで、Excelの質問を1件ずつ、決まった順に流します。
理由:呼び出しが安定すると、今度は検索が途中で打ち切られるようになりました。わたしたちの環境では、1回の応答は長くても5分程度で止まります。Agent Builderのエージェントの上限値は公開されていないため、1回の仕事を小さくするしかありませんでした。公式も、大量のデータを網羅的に扱う処理や、厳密な実行順序が要る処理は、エージェントの外で組むよう案内しています。
やらなかったこと:1体のまま、指示文で順番を守らせる案です。「Power Automateは使わない」という当初の方針も取り下げました。
4. 運用サイクル:有識者が直した回答をナレッジに戻す
AIの回答をそのまま使わず、人が判断する場所を決めています。次の図は、一次回答からナレッジへの取り込みまでの受け渡しです。

次の3つは、構築の前にお客様と決めた運用です。
- 回答にはすべて「AIによる一次回答」と付ける。正誤を判断するのは有識者の方
- 有識者の方が直した回答と、AIが答えられなかった質問は、わたしたちが週次でナレッジに取り込む
- 本番に移すかどうかは、取り置いた直近50件の正答率をもとに、お客様と基準を決める
5. Copilotエージェントでうまくいかなかったこと
わたしたちの設計判断の誤りと、まだ解決できていないことを書きます。
「テキストにすれば読みやすい」という見込みが外れた
AIには、表の多いExcelより、平らなテキストのほうが読みやすいと考えていました。実際に比べると、テキスト版はほとんど読まれませんでした。変換の作業を計画に入れたのは、試す前の思い込みでした。
1体のエージェントに順番を守らせようとした
計画では、1体のエージェントが指示文に従い、決まった順に資料を調べる想定でした。しかし、どこで答えを出すかはAIが決めますし、1回の応答で調べられる量にも上限があります。上限値が公開されていない以上、最初から仕事を小さく分け、順番は外で持つ前提で組むべきでした。
同じ質問でも回答がぶれる(未解決)
Agent Builderのエージェントには、回答のばらつきを抑える温度(temperature)の設定項目がありません。指示文に「回答を変えない」と書きましたが、効果は測れていません。公式も、Copilotは新しいモデルへ定期的に移行するため、挙動が変わる前提で評価するよう案内しています。
並列で動かすと不安定になる(原因は未特定)
数百件を早く処理するため、PADで複数のタブを開き、並列に動かしました。すると動作が悪くなり、実行履歴に「リソース不足」という趣旨の表示が出ました。同じ履歴には、3-2で書いたスクリプトの場所の取り違えも出ていました。公式には、コードの実行環境に時間・CPU・メモリ・ディスクの上限があると書かれています。ただし値は公開されておらず、並列が原因かどうかは確かめきれていません。
6. まとめ
- 設計書やマニュアルは、テキストに変換する前に、原本のままナレッジに置いて比べる
- コードはスキルのスクリプトで読ませ、その場所を指示文に書く
- スキルが呼ばれないように見えたら、まず実行履歴で「呼ばれたが失敗」でないかを見る
- 応答モードは自動にせず、Think deeperに固定する
- 調べる順番と数百件の段取りは、エージェントの外(PAD)に持たせる
Agent Builderは手早く作れる反面、AIに任せる部分が多い道具です。任せた部分を指示文で抑え込むより、順番と分担を外から決めるほうが安定しました。
関連記事と参考資料
- AIエージェント開発の進め方|経理の月次チェックを3か月で検証した導入事例
- Power Automateで人事の書類作成を自動化した事例|3日を30分に
- Skills in declarative agents(Microsoft Learn)
- Declarative agent schema 1.9(Microsoft Learn。応答モードの既定値)
- Declarative agent architecture(Microsoft Learn)
- Code Interpreter Security Architecture(Microsoft Learn。実行環境の上限)
ご相談ください
次のような課題をお持ちでしたら、お問い合わせください。現状のヒアリングから、実現できるかの検討までご相談を承ります。
- Microsoft 365 Copilotのエージェントを作ったが、スキルやナレッジの動きが安定しない
- 現行システムの仕様調査で、有識者への問い合わせが滞っている
- Agent Builderで足りるか、Copilot Studioまで使うべきか判断したい
※本記事は、企業名およびシステム名を伏せたうえでご紹介しています。

