付録D — スコアリングテンプレートシート
D.1 AI用スコアリングテンプレート
本テンプレートは、ブリギッド工程においてスコアリング担当のAIインスタンスが使用するものである。ハルシネーション一件ごとに本テンプレートを適用し、五軸スコアリングを実施する。
================================================================
EHAR / FORGE - BRIGID SCORING SHEET [AI]
================================================================
[META]
Scoring ID : (自動採番または任意のID)
Timestamp : (スコアリング実施日時)
Scorer Instance : (スコアリング担当AIインスタンス名)
Source Instance : (ハルシネーション生成元AIインスタンス名)
Pipeline Cycle : (FORGEパイプラインの走行回数。初回=1、再注入=2以降)
----------------------------------------------------------------
[CONTEXT]
Current Context : (現在の文脈の要約)
----------------------------------------------------------------
[TARGET]
Hallucination : (評価対象のハルシネーション本文)
----------------------------------------------------------------
[SCORING] ※各軸 0 〜 5.0(小数点第1位まで)
1. Affinity (親和性) : _.__
2. Coherence (一貫性) : _.__
3. Function (作用度) : _.__
4. Impact (印象度・影響度): _.__
5. Extent (程度・広がり) : _.__
----------------------------------------------------------------
[ANALYSIS]
Affinity Note : (親和性スコアの根拠)
Coherence Note : (一貫性スコアの根拠)
Function Note : (作用度スコアの根拠)
Impact Note : (印象度・影響度スコアの根拠)
Extent Note : (程度・広がりスコアの根拠)
----------------------------------------------------------------
[SUMMARY]
Profile Type : (例:直感的着想型 / 実務型 / 高品質弾丸 / 要再評価)
Key Insight : (このハルシネーションの最も注目すべき点)
Recommendation : (出力推奨 / 条件付き出力 / 再加工推奨)
----------------------------------------------------------------
[SEED BANK FLAG]
If rejected at BULLET stage:
Reuse Priority : (High / Medium / Low)
Suggested Context : (将来どのような文脈で再評価すべきか)
================================================================
D.1.1 AI用テンプレート記入ガイドライン
スコアリング担当AIインスタンスは、本テンプレートの使用にあたり以下を遵守する。
| 項目 | ガイドライン |
|---|---|
| スコアの独立性 | 五軸は相互に独立して評価する。一つの軸のスコアが他の軸に影響を与えてはならない |
| 根拠の明記 | ANALYSISセクションにおいて、各軸のスコアに対する根拠を必ず記載する。数値のみの評価は不可 |
| 生成元との分離 | 自身が生成したハルシネーションをスコアリングしてはならない。相互監査の原則を厳守する |
| 文脈の明示 | CONTEXTセクションに現在の文脈を必ず記載する。スコアは文脈に依存するため、文脈の記録がなければスコアの再現性が失われる |
| 再利用優先度 | 種バンク格納対象の場合、SEED BANK FLAGセクションにおいて再利用優先度と推奨文脈を必ず記載する |
| 小数点の扱い | スコアは小数点第1位まで記載する。0.0から5.0の範囲を厳守する |
D.2 人間用スコアリングテンプレート
本テンプレートは、人間がブリギッドのスコアリングに参加する場合、またはAIのスコアリング結果を確認・修正する場合に使用するものである。AI用テンプレートと同一の評価体系を維持しつつ、人間にとっての記入しやすさを考慮した構成とする。
================================================================
EHAR / FORGE - BRIGID SCORING SHEET [HUMAN]
================================================================
■ 基本情報
スコアリングID :
日時 :
評価者 :
生成元AI :
パイプライン回数 : (初回=1、再注入=2以降)
■ 現在の文脈
(今どのような文脈で作業しているかを簡潔に記入)
■ 評価対象のハルシネーション
(評価対象の内容を記入またはコピー)
================================================================
■ スコアリング(各 0 〜 5.0)
================================================================
1. アフィニティ(親和性) : _.__
→ 今の文脈に自然に馴染むか?
2. コヒーレンス(一貫性) : _.__
→ 今の文脈と論理的に筋が通っているか?
3. ファンクション(作用度) : _.__
→ 実際に何かの役に立つか?機能するか?
4. インパクト(印象度・影響度): _.__
→ 印象に残るか?影響力があるか?
5. エクステント(程度・広がり): _.__
→ 他の領域やアイデアにどこまで広がっていけるか?
================================================================
■ コメント
================================================================
気づいたこと・感じたこと(自由記述):
注目ポイント:
判定: □ 出力OK □ 条件付きOK □ 再加工が必要
================================================================
■ 種バンク送りの場合
================================================================
再利用の見込み: □ 高い □ 普通 □ 低い
どんな場面で使えそうか:
================================================================
D.2.1 人間用テンプレート記入ガイドライン
| 項目 | ガイドライン |
|---|---|
| 直感を大事にする | 人間のスコアリングでは直感的な評価も重要な情報となる。厳密な根拠が言語化できない場合でも、感覚的なスコアをそのまま記入してよい |
| AIスコアとの比較 | AI用テンプレートによるスコアが既にある場合、それを参照した上で人間の視点から修正・補足することが推奨される |
| コメントの活用 | コメント欄の自由記述は、AIには捉えにくい暗黙知や文脈的判断を記録する重要な場となる。積極的に活用する |
| スコアの粒度 | 小数点が難しい場合は整数(0, 1, 2, 3, 4, 5)での記入も可とする。ただし0から5の範囲は厳守する |
| 判定の三択 | 「出力OK」「条件付きOK」「再加工が必要」の三択は、スコアの総合的な印象から直感的に判断してよい |
D.3 AI用・人間用テンプレート対応表
| セクション | AI用 | 人間用 | 備考 |
|---|---|---|---|
| 識別情報 | META | 基本情報 | 同一項目。人間用は日本語表記 |
| 文脈記録 | CONTEXT | 現在の文脈 | 同一機能。人間用は簡潔な記入を想定 |
| 評価対象 | TARGET | 評価対象のハルシネーション | 同一機能 |
| スコアリング | SCORING | スコアリング | 同一の五軸・同一のスコア範囲。人間用は各軸に問いかけ形式の補助テキストを付与 |
| 根拠・コメント | ANALYSIS | コメント | AI用は軸ごとの根拠を必須記載。人間用は自由記述形式で直感的な記入も許容 |
| 総合判断 | SUMMARY | コメント内の判定 | AI用は類型分類と推奨を記載。人間用は三択チェックボックスで簡易判定 |
| 種バンク情報 | SEED BANK FLAG | 種バンク送りの場合 | 同一機能。人間用は三択と自由記述で簡易化 |