AIが「できました」と言えば本当に完成？ テストが落ちたら戻る【Evaluator–Optimizer】【修復ループ】【回帰テスト】
「AIエージェントのループ＆グラフエンジニアリング」第06回（第2章 反復する仕組み）。AIが「できました」と言っても、見た目が整っているだけで、未入力のまま送れてしまう問い合わせフォームは直っていない。この回は、作る役（Optimizer＝改善役）と検査する役（Evaluator＝評価役）を分け、テストの結果と評価役の具体的な指摘を次の試行へ渡して作り直す Evaluator–Optimizer の修復ループを、Anthropic「Building effective agents」と LangChain「Workflows and agents」の記述に沿って、手元で作った小さなループの記録で見ていきます。架空の文化祭サイトの問い合わせフォーム（未入力でも送れてしまう）に、新しいテスト（未入力では送れない）と回帰テスト（直す前から通っていた動作：正しい入力で送れる・内容は任意）を用意し、赤（未入力で送れる欠陥をテストが見つける）→緑（直して新しいテストが通る）→再び赤（その直しが既存の動作を壊したのを回帰テストが見つける）→再修正で全部緑、という往復を記録しました（同じ条件で4回流して回帰が起きたのは2回。動画は4回目の記録です）。あわせて、「テストを書き換えて合格にする」危険を、テストファイルの差分の点検で見抜く記録も取りました。最後に「誰がどう評価したか」を振り返る表と、止める設計の表を埋めます。
