開発時のケースに対する評価と、本番で実際に走ったタスクに対する評価を、同一エンジンと一貫したメトリクスで比較できる。品質スコアの定義が揃っているため、本番でのドリフトは測定方法の差ではなくエージェント側の問題として追いやすい。
一般提供の範囲：
- メトリクス: 品質・安全性・グラウンディング・ツール使用／軌跡・要約や翻訳向けの参照ベースなど、組み込みが 20 種超。ケースごとに採点基準を作る adaptive rubrics と、コードベース／LLM-as-a-judge の独自メトリクスを org 全体の版管理レジストリに置ける
- 実験: クライアント側・サーバ側の双方。サーバ側では成果物を Cloud Storage に残し監査可能。ケース生成、マルチターン用のユーザシミュレータ、バックエンド代替の環境シミュレータと連携する
- オンライン監視: 収集済みトレースを連続採点し、スコア推移とドリフトアラートを出す。サンプリングとフィルタで採点対象を絞れる
入口は Agent Platform SDK、agents-cli、Google Cloud コンソールの Evaluation、ADK から。LLM 判定などモデル呼び出しは通常のモデル料金、サーバ側成果物は Cloud Storage の料金がかかる。コードベース／計算メトリクス自体に追加料金はない。対応リージョンとエンタープライズ向けセキュリティ機能は公式の regions and security features 表を参照。