エージェント評価をより柔軟に実施

評価用データセットの構築と保守

エージェントの進化に合わせて評価を正確かつ最新にしておくためには、それを支えるデータセットの保守、実行環境の制御、実行中に問題が発生した場合の介入といった様々な機能が必要です。今回のリリースでは、データセットの編集・エクスポート、評価実行のセットアップとティアダウンの構成、実行中の評価のキャンセルなどを可能にすることで、評価エクスペリエンスの向上を図りました。

データセットの編集とエクスポート

データセットを編集できるようになりました。任意の保存済みデータセットを開いて、行を追加・削除したり、セルの値を更新して入力や想定される出力、予期されるツール呼び出しを含めたりすることが可能になっています。変更はすぐに保存され、次回の評価実行時に再度インポートしなくてもアップデート済みのデータセットが採用されます。データセットは、これまでどおり1つのエージェント型アプリかサービスアクションに関連付けられます。また、従来の列マッピングルールも引き続き適用されます。

ユーザーはどのデータセットでもJSONファイルとしてエクスポートすることができます。エクスポートの形式は標準的なJSONアップロード形式と一致するため、そのまま再インポートしたり、エージェントのコードと合わせてソース制御でバージョン管理したり、別の環境で作業しているチームメイトと共有したりすることが可能です。

評価実行に向けたセットアップとティアダウン

セットアップサービスアクションとティアダウンサービスアクションを使用して評価実行を構成できるようになりました。セットアップは評価開始前に実行され、ティアダウンは完了後に実行されます。いずれもアプリやエージェント型アプリの一般的なサービスアクションであり、設定は任意です。これにより、実行の合間に手動のプロセスを挟むことなく、テストデータを外部システムに提供したり、修正を読み込んだり、環境の状態を自動的にリセットしたりできるようになります。セットアップサービスアクションもティアダウンサービスアクションも完全な自己完結型アクションであり、入力パラメータは必要としません。

実行中の評価のキャンセル

実行中の評価をキャンセルできるようになりました。実行レポートは、キャンセル前に完了していたテストケースの部分的な結果と、全体としての実行の「キャンセル」ステータスを表示する形でキャンセルを反映します。この機能により、長時間の実行や誤った実行を最後まで待つことなく停止させることが可能になります。