最終更新: 2026/07/08 00:36
ADR-0216 起案者ノイズフィードバック記録
ADR-0216 (言い換え型誤引用を生成後 LLM で照合する · Gate 4.5) の shadow / enforce 段階で、起案者が「ノイズ」と判定した差戻し・警告を月次で記録するためのログ。
- 前提: ADR-0216 §Confirmation 8 (起案者からのノイズフィードバック) の履行
- 撤退トリガー: 月 3 件以上のノイズフィードバック で ADR-0216 §8-5 (mode を off へ縮退 · score 閾値再校正 or gate 撤退判定) を起動
- SQL: 母集団抽出は
drp/queries/paraphrase-check-observation.sqlブロック A-2 (mismatch/低 score 明細) の再判定候補行と突き合わせ
記録ルール
対象
Phase 1 shadow 段階での判定記録 (record only) と Phase 2 enforce 段階での差戻し実施のいずれも対象。起案者が「不要な差戻し」「本質でない警告」と主観判定したケースを 1 件 1 行で記録する。
フィードバック分類
| 分類 | 意味 | 撤退判定への寄与 |
|---|---|---|
| ノイズ 明確 | 起案者判断で明らかに false positive · 差戻しに要修正なし | 月 3 件で §8-5 撤退トリガー起動 |
| ノイズ 曖昧 | 判定境界の主観揺れ · 修正できないほどではない | カウント対象外 (別途 §Confirmation 6 閾値中間レビューで扱う) |
| 有用 (誤検知ではない) | 差戻しは適切だが表現・粒度に改善余地あり | prompt 改善タスクへ回送 (KV push で prompt 改訂) |
記録項目
各 feedback 行に以下を記録:
- 日付: JST YYYY-MM-DD
- session_id: 該当審査 run の 8-hex prefix (telemetry_records の該当行を特定)
- 上流 ADR: 誤引用と判定された引用先 ADR 番号 (ADR-NNNN)
- 下流 ADR / draft: 生成 ADR 番号 or draft slug
- LLM verdict: MISMATCH / PASS
- LLM score: 0-100 の LLM 判定 score
- 分類: ノイズ 明確 / ノイズ 曖昧 / 有用 (誤検知ではない)
- 起案者コメント: 判定理由 (1-2 文)
月次集計
- 各暦月末に前月分の「ノイズ 明確」件数を集計
- 3 件以上 → ADR-0216 §8-5 撤退トリガー起動: mode を off へ縮退し、以下いずれかを判定
- score 閾値の再校正 (境界誤差修正 · §Confirmation 6 と連動)
- gate 撤退判定 (§8-1〜4 と併読で撤退妥当性判断)
- 3 件未満 → shadow / enforce 継続 · 「ノイズ 曖昧」を §Confirmation 6 週次レビューへ回送
月次記録
| 月 | ノイズ 明確 | ノイズ 曖昧 | 有用 (誤検知ではない) | 撤退トリガー起動? | 備考 |
|---|---|---|---|---|---|
| (未実施) | — | — | — | — | Phase 1 shadow 未昇格 · 母集団 0 件 |
個別記録
| 日付 (JST) | session_id | 上流 ADR | 下流 ADR/draft | LLM verdict | LLM score | 分類 | 起案者コメント |
|---|---|---|---|---|---|---|---|
| — | — | — | — | — | — | — | — |
関連 SSoT
- ADR-0216 §Confirmation 8 (ノイズフィードバック集計の設計元)
- ADR-0216 §8-5 (月 3 件以上での撤退トリガー · score 閾値再校正 or gate 撤退判定)
- ADR-0216 §Confirmation 6 (閾値中間レビュー · 「ノイズ 曖昧」の回送先)
drp/queries/paraphrase-check-observation.sql(Block A-2 母集団抽出 · §Confirmation 5 手動ラベルと母集団共有)docs/_internal/06_ops/paraphrase-check-labels.md(§Confirmation 5 手動ラベル運用の並存記録先)