「いい感じになるまで頑張って」はなぜ危ない？ AIに任せる前に決める【受入条件】【停止条件】【実行予算】｜合格3・禁止2・最大3回で止める
「AIエージェントのループ＆グラフエンジニアリング」第03回（第1章 基礎）。AIに「もっと良くして。いい感じになるまで頑張って」と頼むと、なぜ危ないのか。終わりを決める物差しが無いので、早く終わりすぎたり、進まない直しや頼んでいない所の変更が起きたり、AIが自分で「良くなりました」と言って終わったりするおそれがあります。この回は、あいまいな頼みを、受入条件（測れる終わり・証明の仕方・変えてはいけないもの）、停止条件（成功・断念・相談の3つの出口）、実行予算（回数・時間・費用の上限）の1枚の設計書に言い換えます。架空の文化祭ページに対して、「もっと良くして」を合格条件3項目（コントラスト比 4.5 以上・お知らせ3件・フォームへのリンク）、禁止事項2項目（ほかのファイル・日付の文字列）、最大3回に言い換え、小さな模擬機で4つの場面を実際に動かしました。設計書なしだと検査役は「判定できない」で止まり、設計書ありでは3回で届かず証拠を添えて人へ相談、2回目で成功、禁止に触れて戻して断念、の3つの出口がそれぞれ記録に残っています。最後に、起動条件・対象・許可された操作・成功の証拠・上限・失敗時の行き先・承認者の「止める設計の表」を埋めます。
