CORPUS METHODOLOGY
Corpus Observation の測定・保存・レビュー方法
このページでは、ことわざのコーパス実測値をどのように取得し、どの条件で正式データとして採用するかを公開します。Google検索需要とは別の指標として扱い、未計測値を推定で補完しません。
1. 測定対象
原則として各記事の article_form（記事表記） を1つの観察単位として測定します。異表記は別Observationとして測定し、自動合算しません。
2. 少納言での検索ルール
- 検索対象：全コーパス・全メディア・全期間
- 10文字以内：全文文字列検索
- 10文字超：先頭10文字を検索文字列、残りを後文脈regexの先頭一致として使用
- 記録する件数：表示行数ではなく検索結果画面の総ヒット数
3. Observation の状態
- provisional：実測直後。まだ公開研究値としては採用しない
- verified：検索式・総ヒット数・取得日時・データバージョンをレビュー済み。3軸研究比較に採用
- rejected：検索条件誤り・入力ミス等が確認された記録。削除せず理由を保持
4. 保存するProvenance
entry_id、corpus_code、corpus_label、query、match_mode、hits、search_tokens、per_million、data_version、retrieval_system、retrieved_at、source_url、verification_status、reviewed_by、reviewed_at、review_note、rejection_reason、SHA-256を保存できます。
5. 整合性監査
verified Observationに必要なProvenance・SHA-256・reviewed_by・reviewed_atが揃っているか、孤立した記事参照がないかを自動監査します。
6. 機械可読データ
7. 重要な制約
- コーパス頻度とGoogle検索需要は異なる現象であり、相互代替しません。
- コーパスの更新により、同じ検索式でも将来の総ヒット数が変化する可能性があります。
- 少納言の公開UIで確認した値を人が記録するため、入力とレビューを分離しています。
- 3軸比較にはverified Observationだけを使います。
論文・学会発表で再現できる Corpus Observation Protocol
ことわざのコーパス観測を、単なる「検索して件数を見る」作業ではなく、後から第三者が条件を確認できる研究記録として扱います。
原則は記事表記 article_form を1 Observationとします。異表記・旧表記・語順差は別Observationとして保存し、自動合算しません。
検索文字列、前後文脈条件、対象コーパス、メディア、期間を保存します。検索結果の件数だけを単独で残しません。
retrieval_system、data_version、retrieved_at、source_urlを記録します。同じ検索式でも将来のデータ更新で値が変わり得るためです。
実測直後は provisional、検索条件と総ヒット数を再確認したものだけ verified とし、公開3軸比較にはverifiedのみ採用します。
値の意味を混同しない
| 状態 | 意味 | 研究上の扱い |
|---|---|---|
| NULL / 未計測 | まだ観測していない | 0へ置換しない。統計計算では欠損として扱う |
| 0 hits | 指定条件で実測した結果が0 | 観測済みの有効な数値0として扱う |
| provisional | 入力済み・未レビュー | 公開比較値には使わない |
| verified | 検索条件・件数・取得条件をレビュー済み | 3軸比較・データ出力に採用 |
| rejected | 条件誤り等で不採用 | 削除せず理由を保持 |
再現性のために保存する最低項目
現在のCorpus研究データ状態
取得中…
学会デモ用3ケース
「案ずるより産むが易い」「急がば回れ」「花より団子」は、歴史資料とPublic Search Interestがすでに揃っています。Corpus Observationを追加すると3軸比較が完成します。
Corpus Research Assistantで3ケースを計測する →研究方法節への記載例
本研究では、北澤篤史のことわざ辞典「Corpus Observation Protocol」に基づき、各ことわざのarticle_formを基本観測単位としてコーパス検索を行った。検索条件、総ヒット数、取得システム、データバージョン、取得日時を保存し、入力直後のprovisional Observationと、再確認済みのverified Observationを区別した。未計測値は0として補完せず、verified Observationのみ比較分析に使用した。
※ 投稿先・学会の規定に合わせて文言を調整し、使用したコーパス自体の正式な引用も別途行ってください。