ADR-0050 Gate 4 Validation Report (Retroactive)
1. 経緯
ADR-0050 (Synthesis 標準テンプレート、Critical) は PR #816 で main 統合済だが、Mode: Critical に関わらず Decision Pipeline の Gate 0-4 を経由していない。これは ADR-0050 自身が規定する「Critical 案件は Pipeline 経由」と矛盾するメタレベルの問題であり、retroactive validation で framework が自身の審査基準を満たすかを検証した。
2. Pipeline 実行結果
- Draft ID:
adr-0050-retroactive-validation - Mode: Critical
- 閾値: 45 / 50
- 獲得スコア: 40 / 50
- 判定: ❌ 差し戻し (Critical 閾値 45 未達)
つまり ADR-0050 自身が ADR-0050 が定める Critical 閾値を満たさない ことが Pipeline 自己審査で判明した。framework の未熟箇所を明らかにする極めて示唆的な結果。
3. Gate 4 採点表
| 採点項目 | 点数 | コメント |
|---|---|---|
| 問題定義 | 4 | PR #811/#814 close と年間 50 件・1-2 時間/件は具体的だが、過去 Synthesis のうち何件が再現性問題で破綻したかの定量データが欠落。痛みの規模感が PR 2 件 close 止まり。 |
| 代替案 | 5 | 案 A/B/C を Suhr (1999) 等の外部根拠付きで評価し、却下理由を RQ-052 3 モデル並列調査で裏付け。網羅性十分。 |
| 判断基準 | 3 | 評価軸が §1.4 制約に埋め込まれ独立記載なし。明示的な評価軸 + 重み + 各案スコア表が本 ADR 内に転記されておらず、後任が判断を再現困難。 |
| 過去 ADR 整合性 | 5 | ADR-0019/0020/0049/0023/0038 を Refines 関係で明示、既存資産統合の位置づけが明確。 |
| 影響範囲 | 5 | 5 ファイル 1870 行 + LangGraph Critic agent + adr-lint + Gemini レビューと具体列挙。ステークホルダー (1 人法人 + AI + 将来の経営層) も明示。 |
| 運用上の罠 | 3 | 重要度係数 v1 暫定と複雑性は指摘されるが、Triage 別運用差分の具体的罠 (例: Light で K.O. 誤適用) の列挙なし。anti_patterns.md (464 行) のエッセンス本体未要約。 |
| ロールバック | 3 | 撤退条件 = 「再評価して v2 改訂」止まり。ADR-0050 完全撤回時の既存 Synthesis 遡及対応・Critic ノード削除手順・データ復旧策がない。 |
| コスト試算 | 4 | 件あたり時間と Critic 3-5 日は数値化済だが、年間 50 件 × Standard 30-60 分 = 25-50 時間の総コスト、教育ドキュメント 1606 行のメンテコスト試算なし。 |
| 完了条件 | 4 | 4 項目中 3 項目既達 (retroactive のため必然)、未達は Gate 4 ≥ 45 のみ。長期検証指標 (K.O. 通過率閾値) は §6.5 にあるが §8 から分散。 |
| 長期影響 | 4 | Review After 3 タイミングと v1 暫定値リスクは指摘済。MADR/arc42 外部仕様変更時の追随コスト、案 B 移行トリガー未到達のまま組織変化した場合の retreat 戦略なし。 |
| 合計 | 40 / 50 | Critical 閾値 45 未達 — 自身の framework が自身の審査基準を満たさず |
4. Pipeline からの具体的修正要求
- 判断基準 (3/5): 評価軸を §1.4 制約から独立した「評価軸 + 重み付け + 各案スコア表」として ADR-0050 本体に転記
- 運用上の罠 (3/5):
synthesis_anti_patterns.mdから特に Triage 別 K.O. 誤適用例を本 ADR に要約抜粋 - ロールバック (3/5): ADR-0050 完全撤回時の既存 Synthesis 遡及対応・Critic ノード削除手順・データ復旧策を §6 に追記
5. 対応方針
本 PR で 3 件すべてに対応 (option a)、Gate 再投入で 45/50 通過を狙う:
- ADR-0050 §2 直後に「評価軸 × 案スコア表 (RQ-052 転記)」を新設 (Item ①)
- ADR-0050 §5 末尾に「Triage 別 K.O. 誤適用の罠 (anti-patterns 要約)」を新設 (Item ②)
- ADR-0050 §6 末尾に「ADR-0050 完全撤回時の手順」を新設 (Item ③)
スコア 4 (満点未達) の項目 (問題定義 / コスト試算 / 完了条件 / 長期影響) は本 PR の対象外。これらは Critical 閾値 45 を満たすには不要な改善余地として記録のみ残す。
6. v2 投入結果 (PR #820 merged d57e337 後の再投入)
PR #820 で §2.1 / §5.4 / §6.2 を追記 → KV adr-0050-retroactive-validation に ?overwrite=1 で v2 投入 (mtime 1779093497662) → 代表取締役氏が chat UI から Gate 0-4 を実行。
6.1 Gate 4 採点表 (v2)
| 採点項目 | v1 点数 | v2 点数 | Δ | コメント (v2) |
|---|---|---|---|---|
| 問題定義 | 4 | 4 | 0 | PR close 等の具体例はあるが『判断のぶれ』『FW 未照合』の量的根拠が外部権威引用 (Suhr 1999) に依存し自社実態の数値が乏しい。 |
| 代替案 | 5 | 5 | 0 | 案 A/B/C/GPT を正規化スコア付きで比較、首位 Gemini 案を採らない構造的根拠 (CBA K.O.) まで明示。 |
| 判断基準 | 3 | 4 | +1 | 5 軸 × 係数 × WSM/CBA 二層は明示だが、係数 ×2.0/×1.0/×0.5 が v1 暫定で根拠なし。素点採点も代表取締役単独。 |
| 過去 ADR 整合性 | 5 | 5 | 0 | ADR-0019/0020/0049/0023/0038 を Refines として連動運用まで具体化、再現性高い。 |
| 影響範囲 | 5 | 5 | 0 | 5 ファイル 2069 行、LangGraph/adr-lint/KV/Sheets 非影響、将来経営層まで網羅。 |
| 運用上の罠 | 3 | 5 | +2 | K.O. 誤適用 5 + 横断 3 を Triage 別発現と監視 (月次集計・Critic 自動検出) 連動で網羅。 |
| ロールバック | 3 | 5 | +2 | 撤回トリガー 4 条件 + 既存 Synthesis 遡及/LangGraph 削除/KV dump/撤回 PR をコマンド付きでチェックリスト化。 |
| コスト試算 | 4 | 4 | 0 | 時間試算は具体だが、金銭換算 (1 人法人の機会コスト・人件費単価) が皆無で経営的インパクト評価不能。 |
| 完了条件 | 4 | 5 | +1 | 既完了 4 項目 ✅ と長期指標 (K.O. 通過率、分散 0.3、案 B トリガー) を観測頻度・違反対応まで明示。 |
| 長期影響 | 4 | 5 | +1 | 負債化リスク 5 件、Review After 3 回、外部 FW 変更追随、retreat 戦略まで言及。 |
| 合計 | 40 | 47 | +7 | Critical 閾値 45/50 → 合格 (改善余地あり) |
6.2 残る改善余地 3 件 (合格後の将来課題)
| 項目 | v2 点数 | 根本指摘 | 想定対応時期 |
|---|---|---|---|
| 問題定義 | 4/5 | 「判断のぶれ」「FW 未照合」の量的根拠が外部権威 (Suhr 1999) 引用に依存、自社実態の数値が乏しい | 累計 Synthesis 件数で「独自合成率」を測定可能になった時点 (3-6 ヶ月後) |
| 判断基準 | 4/5 | 重要度ラベル係数 ×2.0/×1.0/×0.5 が v1 暫定で根拠ゼロ、後任が再現不能 | 累計 20-30 件運用後の振り返り (ADR-0050 §6 既定) で係数妥当性を再評価 |
| コスト試算 | 4/5 | 時間試算はあるが金銭換算 (1 人法人の機会コスト・人件費単価) が皆無 | 代表取締役氏の人件費単価仮定値で機会コスト換算を §7 に追記 (v2 改訂候補) |
6.3 Parallel Review 重要指摘 (将来 ADR-0050 v2 改訂入力)
Claude の鋭い指摘
- 採点者が代表取締役氏単独で第三者再現性が弱い → ADR-0050 自身が anti_patterns §1.4 で批判する spurious quantification を抱え込んでいる
#operable(Medium ×0.5) が首位案 (Gemini) 不採用の決め手 = 重み設計と採択ロジックの論理的不整合 (Suhr の重み操作批判の典型例の疑い)- 撤回トリガー (半年 30 件超で
#suitable通過率 50% 未満) が年間 50 件規模と整合しない → 撤回条件として現実性に乏しい - Critic ノード削除手順が GAS 6 分制限下の冪等性不明
- Review After が日付列挙のみ、誰が・どのトリガー・何の成果物が未定義 → 代表取締役氏忘却の単一障害点
bizlp Policy Alignment の受容できないリスク
- ⚠️ 複数評価者前提の混入: §1.4 / 案 B 移行 / §6.2.4 で「経営層 3 人以上」が複数回登場 → 会社方針「複数評価者前提のフレームワークは 1 人開発で構造的に機能しない」と矛盾
- ⚠️ Jr オンボーディングパス未定義: 2026-10 入社予定 Jr 向けに 1606 行は過重、最小学習パスが必要
6.4 Pipeline UI の改善余地 (別 ADR 候補)
代表取締役氏が chat UI で誤って /chat/create-pr を呼んでしまい、不要な PR #821 が自動生成された (Step 7 で禁止されていた)。Pipeline 側の改善:
- retroactive validation モード (PR 作成スキップフラグ) の追加
- create-pr 実行前の confirmation dialog
これらは ADR-0019 (Decision Pipeline LangGraph 移行) の補強として別 ADR を起案候補。
7. メタ示唆
ADR-0050 が 40/50 で差し戻され v2 で 47/50 に改善されたことは、Pipeline 自体の検出能力 (Gate 4 が framework 自身の不備を客観評価できた) と修正 feedback loop が機能したことを示す positive signal。本 retroactive validation のフロー (KV 投入 → Gate 0-4 → 差し戻し → 修正 PR → 再投入 → 合格) は、将来の Critical ADR 起案フローの第一適用例となる。
8. 関連リソース
- 起案プロンプト:
docs/_internal/03_decisions/decision_pipeline/ADR-0050_retroactive_validation_prompt.md - ADR 本体:
docs/adr/0050-synthesis-standard-template.md - 根拠 Synthesis:
docs/_internal/01_discovery/research_prompts/RQ-052_mcda_for_adr_synthesis_synthesis.md - 罠リスト:
docs/_internal/05_how-to/synthesis_anti_patterns.md - 先行例 (Standard):
docs/_internal/03_decisions/decision_pipeline/RQ-051_kv_submission_prompt.md