今日の壱岐ikijima.com

AIアプリの品質を数字と人の目で測る|評価セット・合格基準・回帰検知【OpenAI実務力 第36回】

QR: https://ikijima.com/manabu/openai-practical-36-app-evaluation/

ikijima.com/manabu/openai-practical-36-app-evaluation/

AIとはじめる › OpenAI実務力 ・ 36 本目(36/41)

AIアプリの品質を数字と人の目で測る|評価セット・合格基準・回帰検知【OpenAI実務力 第36回】

OpenAI API でアプリやエージェントを作りたい人向け 9分35秒・2026/11/16 公開

設定を「一言で短く答える」に変えたら、試した3つは良さそうなのに、駐車場の案内からシャトルバスが抜けていた例から始めます。代表・境界・失敗例を入れた10件の評価セット、機械の照合と人の目の分担、流す前に決める4つの合格基準を組み、前に合格した件が落ちる回帰を件ごとに見つけます。見つかった失敗を評価セットに足して育てる方法もまとめます。

目次(9)

  1. 0:00オープニング
  2. 1:051. 良さそう、では測れない
  3. 1:522. 評価セットを10件で組む
  4. 2:573. 採点を機械と人に分ける
  5. 4:114. 合格基準を先に決める
  6. 5:045. 前と新しい設定を流してみる
  7. 6:106. 直して流し直す
  8. 7:267. 前の合格が落ちたら?(確認問題)
  9. 9:16ikijima.com の紹介
YouTube で開く「OpenAI実務力」の一覧へ

再生は押したときだけ読み込みます(YouTube の埋め込み)。声: VOICEVOX:四国めたん VOICEVOX:白上虎太郎 VOICEVOX:小夜/SAYO VOICEVOX:ずんだもん

あそぶ