ADR-0216 手動ラベル運用ログ | BizLinkPartners 社内ドキュメント

ADR-0216 (言い換え型誤引用を生成後 LLM で照合する · Gate 4.5) の shadow 段階 (Phase 1) で発生した LLM 判定結果に対する起案者自己ラベル (真陽性・偽陽性・真陰性・偽陰性) を週次で記録するためのログ。

前提: ADR-0216 §Confirmation 5 (手動ラベル運用) の履行
SSoT: 本 file が実測ラベルの単一情報源。goldenset 20 件は prompts-eval/datasets/paraphrase-citation-check/golden.jsonl が SSoT
SQL: 母集団抽出は drp/queries/paraphrase-check-observation.sql ブロック A-2 (mismatch/低 score 明細)

運用ルール

対象

Phase 1 shadow 期間の LLM 照合結果全件 (paraphrase_details_json が populated な telemetry_records 行)。ラベル付与対象は verdict が MISMATCH (差戻し候補) と、境界 score (閾値 ±5) の PASS に限定する。

ラベル定義

ラベル	意味	判定基準
TP (真陽性)	LLM が差戻し判定 · 起案者確認で実際に言い換え型誤引用あり	該当引用箇所を上流 ADR 該当節と目視照合し意味乖離を確認
FP (偽陽性)	LLM が差戻し判定 · 起案者確認で言い換え型誤引用なし	目視で意味的一致を確認 · 閾値近傍の判定揺れが典型
TN (真陰性)	LLM が通過判定 · 起案者確認で誤引用なし	境界 score の通過判定を目視確認
FN (偽陰性)	LLM が通過判定 · 起案者確認で言い換え型誤引用あり	goldenset との比較で漏れを検出 · shadow 差戻しなしでの見落とし

週次付与フロー

前週 (月〜日) の telemetry_records 対象行を SQL で抽出
各行の生成 ADR 引用箇所と上流 ADR 該当節を並べ目視照合
TP/FP/TN/FN のいずれかを付与し、下記 §週次記録に追記
目標所要時間 30 分/週以内 (超過が 4 週続けば §8-7 撤退トリガー = enforce 昇格タイムライン自動延長を検討)

品質担保 (goldenset 一致率 · 月次)

goldenset 20 件は「起案者自己ラベルの正解基準」= 起案者ラベルが goldenset と月次で ≥90% 一致 することでラベル品質を担保
一致率 < 90% で起案者による再校正必須 (ラベル判定基準の見直し + goldenset 再確認 + 次月ダブルチェック)
月次一致率の集計 SQL は drp/queries/paraphrase-check-observation.sql 追加 Block E (Phase 1 shadow 実行後に配線予定)

Jr 参画 (2026-10 予定) 後の変更

Jr 入社後は「起案者 + 別レビュー担当者」による月次ダブルチェックを追加
判定ずれ発生時は月次レトロで判定基準を再校正 (Policy Alignment 審査 §9-5 対応)

ラベル未実施週

該当週分だけ enforce 昇格タイムラインを自動延長 (§8-7 撤退トリガー起動 · §9-5 と連動)
shadow 期間を延伸することで観測母集団を維持

週次記録

週次	期間	対象件数	TP	FP	TN	FN	所要時間 (min)	goldenset 一致率	備考
(未実施)	—	—	—	—	—	—	—	—	Phase 1 shadow 未昇格 · 母集団 0 件