開発の振り返り — 何が起き、どう見つけたか

0. この文書の位置づけ

着手前の計画書は「事前レビューで課題を7件つぶした」ことを実績として挙げていました。 ですが実際には、作り始めてから間違いが出続けました。しかもその大半は 「自動チェックには合格するのに、画面には嘘が出る」種類でした。

本文の数値はすべて現物から取りました。出どころは作業中の記録、変更履歴、 および自動チェックの実行結果（2026-09-04 実行、全176件合格）です。推測で埋めた箇所はありません。

1. AI3体を同時に動かして、最初に起きたこと

担当を3つに分け、それぞれ別のAIに任せました。

1-1. 動き出した時点で、3体とも自分の担当を知らなかった

まとめ役は担当ごとの指示書を3つ用意し、「3つの画面に上の文章を貼ってください」と依頼しました。 しかし実際に貼られたのは指示書ではなく、その依頼文そのものでした。

実測（担当Aが自分で確認）:

3体それぞれの記録を照合したところ
  いずれも同じ時刻に開始
  最初に受け取った文章が3つとも一字一句同じ

つまり3体は、自分がA・B・Cのどれなのかを知らないまま同時に動き出しました。

1-2. 担当が三重にズレた

1-3. 実害と、実害が小さく済んだ理由

実害は1件。担当Bが、担当Aの作ったファイル2つを新規作成のつもりで上書きしました。

処理は取り合いにせず、突き合わせてから決めました。

• 計算式4本と値引き下限の計算は両者で意味が同一でした（分岐も例外処理も一致）。元に戻す必要なしと判断
• クーポン原資の上限だけ式が違い、上書きした側のほうが正しかったため、そのまま採用しました

担当Aの版 : 上限 = (増えた客数 − 元々買う客数) × 1個あたりの利益
担当Bの版 : 上限 = 増えた客数 × 1個あたりの利益 ÷ (増えた客数 + 元々買う客数)   ← 採用

クーポンの費用は「増えた客」にも「元々買う客」にも発生するのに、
利益は増えた客からしか出ない。その非対称を割り算の分母で表現できているのが担当Bの版。
担当Aの版は、元々買う客1人につき利益を丸ごと失う形になっており、罰が重すぎた。

2. 見つかった間違いと、その発見のしかた

誰が見つけたかではなく、どの見方をしたときに出たかが次に使える資産になります。

2-1. 有効だった見方

2-2. 自動チェックに合格していても、読むと嘘だった文

説明文を作るしくみは、禁止したい言い回し16パターン × 総当たり1008通りで検査していました。 それでも、実際に画面に出して読んだら2件の嘘が見つかりました。

3. まとめ役自身のミス

担当側の間違いだけを並べると、取りまとめ側が正しかったように読めます。事実は違います。

3-1. 「最後の時点の下限価格は必ずマイナスになる」という誤ったチェックを書いた

下限価格がマイナスになりうることはこのしくみの主張の一つですが、必ずマイナスになるとは言えません。 計算式そのものは6商材すべてで正しく、誤っていたのは「必ずマイナス」という追加の期待のほうでした（担当Bが実測して指摘）。

捨てる費用が値引きシール代を下回る商材では、下限はプラスになります。

3-2. 引数の順番を取り違えたまま、常に合格する空のチェックを2件書いた

値を渡す順番を間違えたチェックを書き、0と0を比べるだけの空のチェックになっていました。 合格していましたが、何も検査していませんでした。型の検査を別途かけて初めて発覚しました。

3-3. 勝ち負けの差が一方向にしか動かない、と誤って仮定した

分かれ目を探す処理を「条件が悪くなるほど負けに近づく」という前提で書いていました。 実測では、3つの条件のうち2つで一方向ではありませんでした（途中に谷がある）。

価格への反応の強さを振ったとき
  強い ←                                        → 弱い
  17.8%   9.8%   12.0%   14.1%   5.2%   38.1%      ← 途中で下がって、また上がる

来客の多さを振ったとき
  少ない ←                                      → 多い
  132.7%  294.0%  135.5%  13.2%  9.1%  2.0%        ← 細かく刻むと途中に谷がある

1つの数字では領域を表せないため、負けている区間そのものを返す形に変え、 分かれ目は「いまの設定から見て最も近い境目」と定義し直しました。 実例として、ある商材では旧定義の境目が負けの区間から抜ける側を指しており、 「どこまでズレたら負けるか」の答えとして誤っていました。

3-4. 自分で確かめていない伝聞を、確かめたように他の担当へ渡した

担当Aが中身を読んで報告した懸念を、まとめ役は自分で確かめずに担当Bへ差し戻しました。 担当Aの最初の見立ては「ゼロ除算を防ぐしくみが作動して比率が異常値になる」というもので、これは誤りでした。

結果として担当Bは「作動した形跡を探す」という永久に見つからない方向へ誘導され、 「再現できません」と報告しました。正しい条件は、担当Aが自分の見立ての誤りを訂正して特定しました。

唐揚げ弁当・来客の多さを振ったとき（自動チェックの実行結果）
  0.55倍  一律ルール= −1,726円  エンジン=3,348円  比率=  294.0%
  0.60倍  一律ルール=   −184円  エンジン=3,904円  比率= 2218.8%   ← 相手がほぼトントン
  0.70倍  一律ルール= +2,008円  エンジン=4,728円  比率=  135.5%

  同じ区間を「円の差額」で見ると: 最大 7,053円 / 中央 2,720円（桁は跳ねない）

ゼロ除算を防ぐしくみは一度も作動していない。
相手の利益がゼロ「近く」を通るだけで比率が暴れる。ちょうどゼロである必要はなかった。

3-5. 効果の数字を、誤差なしで公開しようとした

中間判定を当初40回分の試算の平均だけで出していました。 担当Bの自己申告（20回分では誤差が ±3.4ポイントある）を受けて400回分に増やし、 同じ日を突き合わせた差として誤差の幅を併記する形に改めました。

3-6. 比較相手を、比較に使うのと同じデータで調整していた

「値引き率と発動タイミングを総当たりして最も強い一律ルールを選び、それにも勝てるか」という比較で、 調整と採点に同じデータを使っていました。相手にだけ答えを見せてから勝負させたのと同じです。 調整用200回分／採点用200回分（重複なし）に分けて測り直しました。

3-7. 功績を誤って記録した

変更の記録で、クーポン原資の計算式を担当Aの功績として書きましたが、正しくは担当Bの版でした。 上書き事故の経緯を知る前に書いたもので、事実誤認でした。訂正を記録に残しています。

3-8. 公開したあとの2件

ここまでは公開前に見つけたものです。公開後にさらに2件出ました。

4. 数値の訂正

4-1. 一律ルール（消滅120分前に30%引き）との比較

400回分の試算・同じ日を突き合わせた差・誤差の幅つき。

12商材すべてで平均が上回り、12商材すべてで誤差の幅を考えても差が残りました。

4-2. 結果を見てから最も強く調整した一律ルールとの比較

調整用200回分で最強の設定を選び、重複しない採点用200回分で比べたもの。

4-3. それでも、枠の商材について言えることは限られる

物販は +5.6〜15.3%、枠は +2.5〜5.0%。加えて枠の負ける日の割合は 26〜37% あり、 3日に1日は一律ルールのほうが良い日があります。

4-4. 負ける領域

唐揚げ弁当 / 思い込みがズレている場合
（エンジンは「価格に強く反応する」と信じたまま、実際の反応だけが弱くなっていく）

  分かれ目 = 反応の強さ −0.79    負ける区間 = −0.79 より弱い側
  −2.6:+9.8%  −1.2:+6.7%  −0.8:+0.3%  −0.6:−5.5%  −0.4:−13.5%

唐揚げ弁当 / 正しく分かっている場合 : 調べた範囲の全域で勝つ
整体 60分枠 / 両方の場合            : 調べた範囲の全域で勝つ

エンジンが「よく反応する」と信じたまま、実際の反応がそれより弱くなると一律ルールに負けます。 これは値引いても客が増えない世界で、エンジンだけが値引き続ける状態であり、負け方として筋が通っています。

5. 持ち越す論点

6. この体制について言えること

AI3体の同時進行は、動き出した時点で担当が壊れるという派手な事故から始まりました。 それでも成果が出たのは、体制そのものより次の3つが効いたためだと考えています。

1. 他の担当の中身を、読むだけで粗探しする役を明示的に置いたこと。 12件中6件はこの見方でしか出ませんでした。書く権限を持たない読み手は、 「動かすために辻褄を合わせる」誘惑がないぶん、前提の食い違いに気づきやすい。
2. 受け持ちを守り、取り合いをしなかったこと。 唯一の実害だった上書き事故も、突き合わせてから「導き方が正しいほうを採る」と判断したため、 結果的に中身が良くなりました。
3. 自分のミスを記録に残したこと。 まとめ役の誤り（3-1〜3-8）を消していたら、 「合格しているのに何も検査していない」型の事故が2回起きた事実が残りませんでした。 これは同じ体制を次に組むとき、最も価値のある情報です。