RQ-052 Synthesis: Synthesis 評価軸選定フレームワークの確立

0. この Synthesis の自己言及性 (重要な前提)

本 Synthesis は bizlp Synthesis テンプレートそのものを確立する self-bootstrapping Synthesis である。ADR-0050 (仮) はまだ存在しないため、本 Synthesis は提案中の 案 C テンプレート構造を retroactively 適用 して記述する。

このため:

• Decision Drivers は段階 3 着手前議論メモ (RQ-052_mcda_for_adr_synthesis_stage3_preparation_memo.md §11-14) で pre-register 済
• 3 モデル並列調査結果 (段階 2) を読んだ上での議論を経て確立した方針を Synthesis 形式に整理する形を取る
• K.O. 判定は手動 (Critic agent はまだ実装されていない)

純粋な pre-registration ではないが、業界調査 (段階 1-2) を結論より先に行い、 MADR / arc42 / WSM / CBA / bizlp 既存 ADR を明示的に grounding した informed synthesis として legitimate と判断する (§9.1 で詳述)。

1. Context & Problem Statement

bizlp プロジェクトでは Decision Pipeline (ADR-0019) と Triage 基準 (ADR-0020) を運用しているが、特に 3 モデル並列調査結果を Synthesis に統合する際の 「評価軸の選定方法」 が確立していない。

1.1 顕在化した問題

• PR #814 (RQ-051 Synthesis, close): 3 モデル相違点を bizlp 採用方針に 集約する際、評価軸 (「MVP 即時実装可能性」「将来の拡張性」「AI Agent 解釈性」 「既存 ADR 整合性」等) が業界フレームワーク未照合の独自合成だった
• 代表取締役氏に「その評価軸 4 つのソースは？」と問われて答えられず close
• PR #811 (RQ-051 起案): adr-lint 規約文書の章立てを業界調査なしに独自考案、 ESLint / Stylelint / markdownlint 等の Rule Reference を未調査で close
• RQ-050 Synthesis でも同様の独自合成パターンが発覚

これは「業界調査未実施で起案するアンチパターン」が Synthesis レイヤーでも 発覚した事案であり、3 モデル全員が独立に「post-hoc rationalization」 「confirmation bias」「analysis paralysis」と診断した症状に該当。

1.2 解決すべき問題

1. Synthesis での評価軸選定を 業界フレームワーク照合済 に組織化する
2. post-hoc rationalization (事後合理化) を構造的に防止する
3. 代表取締役氏の意思決定能力 + 将来の経営層の判断能力を磨く organizational infrastructure として確立する
4. ADR-0019 (LangGraph) / ADR-0020 (Triage) / ADR-0049 (Scope) と整合する

2. Decision Drivers (Pre-registered, 5 軸採用)

2.1 採用軸 (5 軸、Q42 完全固定)

満点係数合計 = 2.0 + 2.0 + 1.0 + 1.0 + 0.5 = 6.5 案件素点満点 = 5 × 6.5 = 32.5

2.2 軸数 5 個の justification

本案件 (Synthesis フレームワーク確立) は bizlp の組織意思決定インフラ構築 という多面的判断のため、関連する Q42 タグが 5 個に達する。3-4 軸では複合 トレードオフが見えず、5 軸採用で十分に網羅可能。

2.3 [Must] 2 個の justification

#maintainable と #suitable の両方を Must とする:

• #maintainable 単独だと「AI Agent が読めれば業界 FW 照合は緩くて OK」になる
• #suitable 単独だと「業界 FW 照合済なら AI Agent への配慮は二の次」になる
• 両方が同時に満たされる必要があるため両方 Must

5 軸中 Must 2 個 = 軸数の半分以下、論点 2 ルール (§11.11) 適合。

2.4 省略軸 justification (Triage = Critical につき 1 段落)

3. Considered Options (3 モデル並列調査結果)

3.1 Claude Opus 4.7 Research の提案

推奨フレームワーク: MADR 4.0.0 + ATAM/arc42 Quality Goals + G-Eval 4 軸

主な特徴:

• 標準テンプレート 9 節構造
• 評価軸: 固定 5 軸 (G-Eval 4 軸 + bizlp Triage 整合性)
• 重み付け: Equal Weight + 重要度ラベル (Critical ×2 / High ×1.5 / Medium ×1)
• 集約: 加重和 (WSM)
• LLM-as-a-Judge / AutoGen Critic / Multi-Agent Debate (Du et al. 2023) を 実装オプションとして併用可

強み:

• LangGraph 自動化親和性が高い (機械集約可能)
• 案件間比較・蓄積が容易 (数値で蓄積)
• 学習コストが比較的低い

弱み:

• 数値スコアによる spurious quantification リスク
• 重み付けで結論操作可能
• 「judges の思考停止を招く」 (Suhr 1999 の CBA 批判)
• G-Eval 4 軸は NLG 評価用、ADR Synthesis への流用は拡張適用

3.2 Gemini 2.5 Pro Deep Research の提案

推奨フレームワーク: MADR + arc42 Q42 + CBA (Choosing By Advantages) の 3 点統合

主な特徴:

• 標準テンプレート 5 節構造
• 評価軸: arc42 Q42 9 タグから案件ごとに 3-5 個選定
• 重み付け: 数値否定、Driver のリスト記載順 + [Must] ラベル
• 集約: K.O. criterion を満たす Advantage 保有案を採択 (数合わせ否定)
• 短所 (Disadvantage) の記載禁止 (Pros/Cons の二重カウント排除)

強み:

• 二重カウント問題を構造的に排除
• 業界フレームワーク 3 点が独立して確立済 (informed synthesis として最強)
• 判断ロジックが文書化される (6 ヶ月後の再現可能性)
• 数値の偽精度に騙されない

弱み:

• 1 件あたり 1-2 時間 (代表取締役氏の時間投資が前提)
• 案件間比較が困難 (定性記述)
• LangGraph 自動化困難
• 「Advantage 拮抗で決まらない」状況が発生

3.3 GPT-5 Deep Research の提案

推奨フレームワーク: 軽量 AHP / Weighted Scoring (固定 5-7 基準)

主な特徴:

• 標準テンプレート 5 節構造
• 評価軸: 案件ごとに 3-7 基準を選定 (軸ソース固定なし)
• 重み付け: 高/中/低 段階 or 数値
• 集約: 加重平均 + 閾値判定 (例: 7 点以上)
• Scope × Tier 2 軸マトリクス (Tier 直交、Critical 案のみ厳格評価)

強み:

• bizlp 既存 ADR-0020 (Triage) / ADR-0049 (Scope) の実運用化に直接連動
• 柔軟性 (案件ごとの基準選定可)
• 段階的判定 (閾値設定)

弱み:

• 軸ソース固定なしのため独自合成リスク (RQ-052 の出発点と矛盾)
• 業界フレームワーク照合が薄い (Q4 では Spotify/GitLab/ThoughtWorks 等を 網羅したが、軸そのものの出所には反映されず)
• 案件ごとに基準選定で時間がかかる

4. Evaluation Matrix (下位層: 加重和 + 正規化)

代表取締役氏が手動採点 (Critic agent はまだ実装されていないため):

計算詳細

Claude:  4×2.0 + 4×2.0 + 3×1.0 + 3×1.0 + 5×0.5
       = 8.0 + 8.0 + 3.0 + 3.0 + 2.5
       = 22.5 / 32.5 = 0.692

Gemini:  3×2.0 + 5×2.0 + 4×1.0 + 5×1.0 + 2×0.5
       = 6.0 + 10.0 + 4.0 + 5.0 + 1.0
       = 27.0 / 32.5 = 0.831

GPT:     3×2.0 + 3×2.0 + 4×1.0 + 3×1.0 + 4×0.5
       = 6.0 + 6.0 + 4.0 + 3.0 + 2.0
       = 21.0 / 32.5 = 0.646

加重和首位: Gemini (0.831) > Claude (0.692) > GPT (0.646)

5. K.O. Criterion 判定 (上位層: CBA、Critical につき複数視点)

代表取締役氏が手動で各 [Must] 軸に対する各案の通過判定を実施。本来は Critic agent で 3 ラウンド (Self-Consistency) するところを手動 1 回で代行。

5.1 [Must] 軸 1: #maintainable

判定結果: 完全通過なし。Claude / Gemini が部分通過。

5.2 [Must] 軸 2: #suitable

判定結果: Gemini が完全通過、Claude が部分通過、GPT が Fail。

5.3 K.O. 統合判定

純粋 K.O. 判定では:

• Gemini: 1 軸完全通過 + 1 軸部分通過 → 最も通過に近い
• Claude: 2 軸とも部分通過 → 中程度
• GPT: 1 軸 Fail + 1 軸 Fail → 通過困難

しかし純粋 Gemini を単独採用すると #operable (LangGraph 自動化) の点数が 低い (×0.5 係数で素点 2 = 1.0 ポイント、Claude=2.5 ポイントとの差 1.5) ため、 3 案の Advantage を統合する案 C (ハイブリッド) を検討する必要が生じた。

6. Decision Outcome

6.1 採択案

案 C (ハイブリッド): MADR + arc42 Q42 完全固定 + WSM (Weighted Sum) + CBA (K.O. criterion) + Triage × Scope 統合

純粋 Claude / 純粋 Gemini / 純粋 GPT のいずれも単独では bizlp の組織意思決定 インフラ要件を完全には満たさない。3 案の各 Advantage を統合し、bizlp 特性 (ADR-0019/0020/0049 + 1 人法人 + AI Agent + 将来の経営層拡大) に紐付けた informed synthesis として案 C を採用。

6.2 案 C の構成

基礎フレームワーク (業界調査済):
- 構造骨格:     MADR 4.0.0 (3 モデル合意)
- Driver 出所:  arc42 Q42 9 タグ完全固定 (Gemini 推奨、業界アンカー最強)
- 評価方式下位: WSM 1-5 + 重要度ラベル (Claude/GPT 推奨、自動化親和)
- 採択判定上位: CBA K.O. criterion (Gemini 推奨、二重カウント排除)

bizlp 特色での informed extension:
- Triage 連動:    Light = 加重和のみ / Standard = 両方 / Critical = K.O. 絶対
                  → ADR-0020 既存資産の実運用化
- Scope 直交:     Scope × Tier 4×3=12 セルマトリクス (GPT 推奨を採用)
                  → ADR-0049 既存資産の実運用化
- LangGraph 連動: 加重和は自動集約、K.O. 判定は Critic agent
                  → ADR-0019 既存資産の実運用化
- #reliable 拡張: arc42 公式 + 事業継続性 (代表取締役氏指摘の informed extension)
                  → 財務継続性・Time-to-market を含む

6.3 Justification

最優先 Decision Drivers (#maintainable + #suitable) に対して:

• Claude の数値層 は #maintainable (AI Agent 自動化) に強い決定的 Advantage
• Gemini の K.O. + arc42 Q42 は #suitable (業界 FW 照合) に強い決定的 Advantage
• GPT の Scope × Tier は #flexible (将来の経営層拡大) と #operable (既存 ADR 運用化) に強い決定的 Advantage

3 つの Advantage は 競合せず統合可能。bizlp 特性での informed extension として 3 点を組合せる案 C が、いずれかの純粋案より両 [Must] 軸を満たす。

6.4 数値検証

正規化加重和: Gemini 0.831 が最高。これは案 C を採択しても矛盾しない:

• 案 C は Gemini の K.O. 構造を採択 (Gemini が #suitable で最高得点の理由)
• かつ Claude/GPT の Advantage を統合
• 純粋 Gemini より 1 段上位の informed synthesis として位置付け

6.5 長期方針 (案 B 移行視野)

代表取締役氏の明示的方針:

「私だけじゃなくて未来の経営層の意思決定も鍛えたい、その基盤として まずは案 C で意思決定システムを鍛えたい」

案 C は長期的に案 B (純粋 CBA) への段階移行を視野に入れる。移行トリガーは 組織成熟度ベース (個人習熟度ではなく):

必須条件 (すべて AND)

1. 経営層 3 人以上
2. 全員が CBA 形式で K.O. 判定を 15 分以内に実施可能
3. Synthesis 累計 50 件以上
4. ADR-0050 v2 以上への改訂を経た成熟

補助条件 (いずれか OR)

• 数値スコアが結論を変えた回数 / 全 Synthesis 回数 < 10%
• 経営層が「数値が判断を歪めている」と複数回指摘
• 加重和の正規化値が常に 0.5-0.7 に集中
• 「Advantage の言語化能力」のみで判断できる経営層メンバーが 80% 以上

移行しない選択肢も明示

組織成熟度を満たしても 「案 C のまま」も legitimate (新規参加役員の 教育材料として数値層が補助輪として有用な場合)。

7. Consequences

7.1 Positive

• 業界フレームワーク (MADR + arc42 Q42 + WSM + CBA) に照合済の Synthesis テンプレート → post-hoc rationalization の構造的防止
• ADR-0019 / ADR-0020 / ADR-0049 の既存資産を実運用化
• AI Agent 自動化親和性 (LangGraph + Critic agent)
• 数値層 (補助輪) で新規経営層の学習促進
• 案 B (純粋 CBA) への移行パスを将来の組織成熟度に応じて確保
• bizlp informed extension (#reliable の事業継続性拡張、Triage × Scope マトリクス) で 1 人法人 + AI Agent スケールに最適化
• 段階 3 着手前議論メモが pre-registration 文書として機能、本 Synthesis 自身の post-hoc rationalization を構造的に防止

7.2 Negative

• 案 A (純粋加重和) より 1 件あたり所要時間 2-3 倍 (Standard で 30-60 分)
• 案 B (純粋 CBA) より独自合成度合いが高い (ハイブリッドのため、ただし informed extension として legitimate)
• テンプレート構造が複雑 (Triage 別運用差分の学習が必要)
• LangGraph 実装に Critic agent ノード追加が必要 (3-5 日工数)
• 規約 + 教育情報を 5 ファイル (ADR-0050 / synthesis.md / writing_guide / anti_patterns / rationale) に分散するため初期作成工数大

7.3 Neutral

• ADR-0050 (仮) は規約のみ (200-300 行)、教育情報は別ファイル群に分離 (Diátaxis)
• 重要度ラベル係数 (Must ×2.0 / High ×1.0 / Medium ×0.5) は v1 暫定値
• 省略軸 justification の Triage 別必須度 + 標準化理由カテゴリ 7 種も v1 暫定
• 「運用しながら改善」方針 (Synthesis 累計 20-30 件 or 半年で振り返り、 ADR-0050 v2 改訂検討)

8. Confirmation (Critical 必須)

8.1 実装確認方法

8.2 レビュー期日

• 段階 4 (規約 + テンプレ + 教育ドキュメント): 2 週間以内
• 段階 5 (RQ-051 Synthesis 再起案): 1 ヶ月以内
• 段階 6 (RQ-050 遡及検証): 1.5 ヶ月以内
• 段階 7 (LangGraph 実装、Standard/Critical で発火可能に): 2 ヶ月以内

8.3 振り返り (Critical 必須)

• 3 ヶ月後: RQ-053〜055 で案 C を運用、テンプレート使いやすさを評価
• 6 ヶ月後: 累計 10-15 件、重要度ラベル係数の妥当性を再評価
• 1 年後: 累計 20-30 件、案 B 移行可能性を再評価、ADR-0050 v2 改訂検討

8.4 蓄積する組織知

各 Synthesis ファイルに「振り返り」セクションを後追加する運用ルール:

• K.O. 判定で迷ったケース
• Critic agent が誤判定したケース (実装後)
• 軸選定の誤り事例
• 6 ヶ月ごとに synthesis_anti_patterns.md に集約 → 教材化

9. Caveats / 限界条件

9.1 Pre-registration の事後性

本 Synthesis は ADR-0050 (仮) 確立前に書かれているため、純粋な pre-registration を満たしていない。Decision Drivers は段階 3 着手前 議論メモ (§11-14) で確立した後で記述。

ただし以下により informed synthesis として legitimate と判断:

1. 業界調査 (段階 1-2) を結論より先に行った
2. Explicit grounding: MADR / arc42 / WSM / CBA / bizlp 既存 ADR を明示
3. Justification: bizlp 1 人法人 + AI Agent + 既存 ADR の特性に紐付け

これは「informed extension」の 3 つのテストすべてを満たす。

9.2 重要度ラベル係数の暫定性

Must ×2.0 / High ×1.0 / Medium ×0.5 は v1 暫定値。 Synthesis 累計 20-30 件 or 半年経過時点で振り返り、ADR-0050 v2 で改訂検討。

評価軸候補 (再評価項目):

• Must が強すぎて他軸の評価が無効化されていないか
• High と Medium の差 (×1.0 vs ×0.5) が判断に効いているか
• 正規化スコアが案件間で比較可能になっているか

9.3 K.O. 判定の手動性

本 Synthesis は self-bootstrapping のため Critic agent はまだ実装されて いない。代表取締役氏が手動で K.O. 判定を実施した。RQ-053 以降は LangGraph Critic agent ノードで自動化 (段階 7)。

Critic agent 未実装による限界:

• Self-Consistency (3 ラウンド多数決) ができない
• 代表取締役氏の認知バイアスが入る余地が残る
• ただし議事メモで判定ロジックを明文化することで再現性は担保

9.4 案 C の独自合成度合い

3 モデルのいずれも単独で案 C を推奨していない。案 C は 3 案の Advantage を統合した bizlp informed extension。3 つのテスト (pre-registration / explicit grounding / justification) は満たすが、 純粋単独案 (案 A or B) より「業界そのまま」度合いは低い。

これは bizlp 特性 (1 人法人 + AI Agent + 既存 ADR 資産 + 将来の経営層拡大) を考慮した legitimate な選択であり、ad-hoc invention とは区別される。

9.5 「より上位の Triage レベル」の保留

Critical の上に「株主総会決議レベル」が存在する可能性が代表取締役氏により 示唆されたが、bizlp が 1 人法人である現状では発生しないため別途検討事項 として保留。将来の経営層拡大時 (案 B 移行検討期と同時期) に再評価する。

可能性のあるレベル名 (暫定):

• Strategic: 経営戦略レベル (案 C → 案 B 移行判断、ADR-0050 v3 改訂等)
• Statutory: 法定要件レベル (株主総会決議、定款変更等)

9.6 案 C 採用が「論点 1 の議論時点で実質確定済」だった点

本 Synthesis 作成時点では代表取締役氏との論点 1 議論で案 C 採用が方向性として 確定済だった。Evaluation Matrix の採点は事後的に「案 C を選ぶ採点」に なっている可能性は否定できない (confirmation bias)。

緩和策:

• 採点根拠を Evaluation Matrix に明示 (§4 のすべての軸で根拠コメント)
• K.O. 判定の理由を Considered Options の各 Advantage に紐付け
• 採点を逆方向 (Claude=5/Gemini=3/GPT=4 等) にしても採択結論が変わらないか を意識的にチェック → 変えても案 C の構造選択は変わらないと判断

ただし、これは pre-registration を守る限界事例として記録しておく。RQ-053 以降は段階 1 PR で Driver pre-register → 段階 2 並列調査 → 段階 3 Synthesis の順序を厳守する。

10. References

業界フレームワーク

• MADR 4.0.0: https://adr.github.io/madr/
• arc42 Q42: https://quality.arc42.org/articles/arc42-quality-model / https://docs.arc42.org/section-1/
• WSM: Fishburn (1967) "Additive Utilities with Incomplete Product Set", Operations Research
• CBA: Suhr, J. (1999) The Choosing By Advantages Decisionmaking System, HRD Press
• ATAM/CBAM: CMU/SEI, https://www.sei.cmu.edu/library/the-architecture-tradeoff-analysis-method/
• G-Eval: Liu et al. (2023) arXiv:2303.16634, EMNLP 2023
• AutoGen Critic: Wu et al. (2023) arXiv:2308.08155
• Multi-Agent Debate: Du et al. (2023) arXiv:2305.14325
• Self-Consistency: Wang et al. (2023) arXiv:2203.11171, ICLR 2023
• AHP: Saaty, T.L. (1980) The Analytic Hierarchy Process, McGraw-Hill

bizlp 既存 ADR

• ADR-0019: Decision Pipeline LangGraph TS
• ADR-0020: Triage 基準 (Light/Standard/Critical) の学術的根拠
• ADR-0049: ADR Scope 4 層分類 (Corporate/Platform/Product/Ops)

関連 RQ / PR

• RQ-050: ADR Scope 4 層分類 (段階 6 で遡及検証対象)
• RQ-051: Lint 規約ドキュメント (段階 5 で Synthesis 再起案対象)
• PR #815 (merged): RQ-052 段階 1 起案
• PR #816 (open): RQ-052 段階 2 + 議事メモ + 本 Synthesis
• PR #811 / #814 (close 済): 業界調査未実施で close した経緯

段階 2 結果ファイル (3 モデル並列調査)

• RQ-052_mcda_for_adr_synthesis_result_claude.md (Claude Opus 4.7 Research)
• RQ-052_mcda_for_adr_synthesis_result_gemini.md (Gemini 2.5 Pro Deep Research)
• RQ-052_mcda_for_adr_synthesis_result_gpt.md (GPT-5 Deep Research)

段階 3 準備文書

• RQ-052_mcda_for_adr_synthesis_stage3_preparation_memo.md (議事メモ、 本 Synthesis の pre-registration として機能)