AIアプリの品質を数字と人の目で測る|評価セット・合格基準・回帰検知【OpenAI実務力 第36回】

設定を「一言で短く答える」に変えたら、試した3つは良さそうなのに、駐車場の案内からシャトルバスが抜けていた例から始めます。代表・境界・失敗例を入れた10件の評価セット、機械の照合と人の目の分担、流す前に決める4つの合格基準を組み、前に合格した件が落ちる回帰を件ごとに見つけます。見つかった失敗を評価セットに足して育てる方法もまとめます。

設定を「一言で短く答える」に変えたら、試した3つは良さそうなのに、駐車場の案内からシャトルバスが抜けていた例から始めます。代表・境界・失敗例を入れた10件の評価セット、機械の照合と人の目の分担、流す前に決める4つの合格基準を組み、前に合格した件が落ちる回帰を件ごとに見つけます。見つかった失敗を評価セットに足して育てる方法もまとめます。