ADR-0212 週次観測ログ

ADR-0212 (第 2 層 SUPERSEDE/CONFLICT 検出 · shadow モード導入) の週次観測結果を時系列で記録する。SQL 実行手順は drp-ops Skill § 観測手順 · SQL 本体は drp/queries/adr-0212-observation.sql。

2026-07-06 (Week 1 · 期日 2026-07-13 の 1 週間前倒し実施)

母集団 n=8 · 実施は drp session · main 委譲は tasks/prompts/archive/handover_2026-07-06_adr-0212-observation-log-week-1_to_main.md。

ブロック A: 注入方式の分布と注入 token 平均

• 実際の注入は full のみ · two_tier は 0
• shadow は record only モードで動作中 (ブロック D-2 で shadow_runs=8 検出) · secret CONSISTENCY_INJECTION_MODE の現状値要確認

ブロック B: 削減率 (目標 ≥80% · 撤退条件 4: <50%)

• two_tier 実注入データがないため未測定
• primary 切替後に初回測定可能

ブロック C / C-2: 予備経路発動率 (目標 <5% · 撤退条件 3: >20% が 2 週継続)

• fallback 0 件 · 目標 pass
• 発動理由内訳も 0 件

ブロック D-2: shadow 実行数と一致率 (Confirmation 3 / 撤退条件 1)

• SQL rule 上は撤退条件 1 発動基準 (shadow_missed_detection > 0 で即時トリガー)
• ただし目視分析で実質判定は逆転 (下記 ブロック D)

ブロック D: 差分行 4 件 (目視分析結論)

すべて ADR-0214 (docs chatbot 内部限定 + 多源 RAG 統合 Phase R2) の審査 run (session_id 4 種) · パターン一貫:

目視結論:

• shadow が返した conflicts の severity は全て INFO (CONFLICT/SUPERSEDE ではない)
• reason は「新規 ADR は ADR-0069 の Phase R2 拡張と本文 §10.1 で明示的に宣言 (Refines: ADR-0069)」等
• 実質は「Refines 補完関係で矛盾なし · frontmatter typed_edges 反映が必要」を示す
• main verdict の SUPERSEDE/CONFLICT は Refines 補完関係を過判定した false positive
• shadow の判定 (INFO) の方が正確 = 撤退条件 1 は false alarm · shadow 継続妥当 · shadow を primary 昇格すべき傍証

ブロック E: ADR 総件数 (撤退条件 5: 800 件超で別 ADR 起案義務)

• 208 件 · 800 件の 26% · 撤退条件 5 は余裕

ブロック F: 候補件数の分布 (第 2 層サイズ感 + 関係宣言由来の内訳)

• 候補件数は 20-21 件で妥当
• avg_declared=0 は起案 draft の frontmatter typed_edges が空だった run が多かったことを示唆 (ADR-0214 draft の refines/depends_on/relates_to が全て空だった実例と一致)

代表取締役への照会事項 (§3 発見事項より)

1. secret CONSISTENCY_INJECTION_MODE 現状値確認: session 70 close handover では未昇格前提だったが shadow_runs=8 を検出 · 齟齬解消要
2. primary 切替判断の材料共有: 期日 2026-07-20〜08-03 · 本 observation の目視結果は shadow 精度優位を示す前倒し傍証
3. SQL rule 補正の別 ADR 起案要否: shadow_missed_detection の判定基準を「意味的な verdict 差」に補正する余地 (INFO のみは除外 · 実質的な missed detection のみカウント)

代表取締役 照会結果 (2026-07-06 chat 応答)

1. secret 現状値確認

D1 実測 (SELECT DISTINCT consistency_injection_mode, COUNT(*) as n FROM telemetry_records WHERE created_at >= '2026-07-06' GROUP BY consistency_injection_mode):

• secret 現状値 = full 確定 (shadow/primary は 0 件)
• session 70 close handover の「未昇格前提」との齟齬は解消: 「未昇格」= secret CONSISTENCY_INJECTION_MODE 値意味 · shadow_runs=8 (ブロック D-2) は code 側で shadow record only が並行実行された結果 (secret 未昇格でも shadow verdict は populated) · 両立している

2. primary 切替判断: 予定通り 07-20〜08-03 で切替

代表取締役判断 (2026-07-06 chat 応答): A = 予定通り 07-20〜08-03 で切替 (前倒しなし)

前倒し却下理由:

• n=8 は判断材料として少ない · Week 4 まで n≥20-30 蓄積で統計信頼性を確保優先
• shadow record only 継続で false positive パターンをより多く実測できる

primary 切替の実施は代表取締役 operation (echo "primary" | pnpm exec wrangler secret put CONSISTENCY_INJECTION_MODE · drp clone · 実施前に審査 run 停止確認要)。

3. SQL rule 補正の別 ADR 起案要否: 起案しない (Week 4 まで n≥30 蓄積後判定)

代表取締役判断 (2026-07-06 chat 応答): C = 起案しない (Week 4 まで n≥30 蓄積後判定)

判断理由:

• n=8 では補正 rule 設計の判断材料として不足
• 補正案 (severity INFO 除外) 自体が固まっていない · Refines 以外の false positive pattern も Week 2-4 で観察が必要
• Week 4 まで shadow record only 継続で false positive パターン網羅 → 補正 rule 精度が上げられる

継承事項: Week 4 observation 完了時 (~2026-07-27) に本判断を再議 · 補正の要否を確定する。

補足: 本 §3 の追記は PR #4952 で 1 度 push 済だったが squash 過程で消失 · 本 PR で再追記 (2 回目)。

発注元 handover

• tasks/prompts/archive/handover_2026-07-06_adr-0212-observation-log-week-1_to_main.md

ADR-0213 誤検出率 Phase 0b eval 結果 (2026-07-06)

drp session で drp/tools/citation-eval/eval.mjs --verbose --all を実行し、session 70 close handover §1-b の「誤検出率 upper bound 73.4% の precise 化」を実測 (Task #9)。ADR-0213 (帰属整合の機械照合強化) の Phase 0b harness 結果を ADR-0212 週次観測と併記 (drp session handover §5-1 推奨に沿う)。

Part 2: 合成陽性 5 件 (Form A/B/C/D/E カバー)

5/5 PASS ✓ — Form A/B/C/D/E の全機械 pattern が合成陽性 (Form A/B/C/D/E それぞれ 1 件ずつ) を正しく detect。

Part 3: Confirmation #3 fixture (ADR-0209 事故起案 6 箇所)

6/6 PASS ✓ — 実事故 (ADR-0209 corrigendum 対象) の 6 箇所帰属を全 detect。§Confirmation #3 骨子 = 6 箇所以上検出保証を達成。

Part 1: archive 39 draft の誤検出率 upper bound

推移: session 70 close 記録の 73.4% → 68.0% (archive draft 数 37→39 で反映 · ADR-0216 draft archive を含む)。

upper bound の意味: 「全 mismatch を FP と仮定」した最悪値 · 真の FPR は upper bound よりずっと小さい (README §人手判定手順)。

明らかな FP パターン 3 種 (目視 sample)

1. 日付を引用と誤認 (Form A): [A] ADR-0126 → "2026-07-02" 型 · Form A regex が「ADR-XXXX 近傍の 8 字以上の逐語」を拾う際に独立した日付文字列を「引用」と誤認
2. ADR 番号列挙を Form C hit: [C] ADR-0097 → "ADR-0097/0098/0099" 型 · Form C が ADR 番号並列を「ADR-0097 に帰属された引用」と誤認
3. 一般表現を Form A hit: [A] ADR-0097 → "実装後追認 ADR" · ADR 番号の近傍にある任意の 8 字以上を機械的に抽出

Form 別 mismatched (114 件表示 · 全 198 件のうち)

eval script は eval.mjs:318 slice(0, 5) で各 draft 上位 5 件のみ表示 · 残 84 件は truncated。

drp session §4 判断

1. Phase 0b harness go 判定達成済: Part 2 5/5 + Part 3 6/6 + Phase 0-1 shipping 済 (PR #4767/#4792/#4796)
2. Part 1 upper bound 68.0% は最悪値 · 真の FPR はずっと小さい (README §人手判定手順)
3. 本命は Phase 2 shadow 期間の本番 TP/FP 分類 (session 70 §1-b 方針)
4. 追加提案: TP/FP ラベル付与運用 SQL 新設 (drp/queries/adr-0213-tp-fp-labeling.sql) + docs/_internal/06_ops/adr-0213-fp-labels.md (新設 · 起案者週次ラベル付与) · Phase 2 shadow 昇格後に drp 独走可

代表取締役への照会 (§5-2)

Phase 2 shadow 昇格 (代表取締役 op · secret CITE_CHECK_MODE の shadow 設定 · session 70 §4-1) を待って TP/FP ラベル SQL 新設タスクを drp session に発注する。現状は shadow 未昇格 (secret CITE_CHECK_MODE 未 set と想定) · 待機。

発注元 handover

• tasks/prompts/archive/handover_2026-07-06_adr-0213-eval-precision-analysis_to_main.md

関連 SSoT

• ADR-0212 (第 2 層 SUPERSEDE/CONFLICT 検出 · shadow モード導入): docs/adr/0212-*.md
• ADR-0213 (帰属整合の機械照合強化): docs/adr/0213-*.md
• SQL 本体 (ADR-0212): drp/queries/adr-0212-observation.sql
• SQL 本体 (ADR-0213): drp/queries/adr-0213-observation.sql
• eval harness (ADR-0213 Phase 0b): drp/tools/citation-eval/eval.mjs
• 観測手順: drp-ops Skill § 観測手順
• 関連 memory: [wrangler-d1-execute-file-vs-command-record-return-diff]