コーパス・言語データ

はじめに

言語処理するのに基となるデータ(言語データ、コーパス)についてまとめてみる。
データ・テキストマイニングなどに。必要に応じてダウンロードして試してみたい。

コーパス(corpus)とは

• 自然言語処理の研究に用いるために、自然言語の文章(用例)を構造化し大規模に集積したもの(電子データ)
• 辞書は、言語データだけど用例ではないのでコーパスではない

• よいコーパスとは、より対象をよくとらえているもの
  • 特定の著者の小説を集めたもの(その著者の言語情報をよくとらえている)
  • 新聞記事(新聞に使われている言語情報をよくとらえている)
• 例えば「日本語」のコーパスというのは、「日本語」を的確にとらえてなくてはいけない
  • 新聞記事だけでは「日本語」の一部しかとらえられていない(ブログなどはとらえられていない)

• コーパスの種類
  • 生コーパス：収集したままでなんの情報も付加されていないコーパス
  • タグ付きコーパス：品詞、係り受け、語義、テキスト構造などの情報が付加されたコーパス
  • パラレルコーパス：複数の言語間の大役データを収集したもの

データ収集

実際にダウンロードして使うことができる言語データ、コーパスなどのメモ。
普通は作るのにも手間がかかるため有料だったりするけど、Web上のデータをクロールするなりすれば無料でも集められたりできる。

青空文庫

• http://www.aozora.gr.jp/
• 著作権の切れた作品や公開可能な一般書籍

京都テキストコーパス

• http://nlp.ist.i.kyoto-u.ac.jp/index.php?%E4%BA%AC%E9%83%BD%E5%A4%A7%E5%AD%A6%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9
• 毎日新聞の記事(に言語情報を追加したもの)

wikipedia

• http://dumps.wikimedia.org/
• wikipediaのデータ

WordNet

• http://wordnet.princeton.edu/
• http://nlpwww.nict.go.jp/wn-ja/
• 英語、日本語の概念(意味)辞書

はてなダイアリー

• http://d.hatena.ne.jp/changes.xml
• 更新のあったブログリスト

Yahooニュース

• http://public.news.yahoo.co.jp/rss/
• ニュースやトピックスのRSS

読売新聞ニュース

• http://www.yomiuri.co.jp/tools/rss/
• 読売新聞の主要ニュースなどのRSS

2chトピックス一覧

• http://kamome.2ch.net/カテゴリ名/subback.html
• 各カテゴリのスレ一覧
  • 各ページの右下のリンクから過去ログtxtがダウンロードできる

日本文学学術電子図書館

• http://www.j-texts.com/
• 日本文学の学術テキスト

郵便番号よみがなデータ

• http://www.post.japanpost.jp/zipcode/dl/kogaki.html
• 各都道府県の郵便番号と住所情報

最後に

何か対象とするものをよく捉えているものを使う必要がある。
自分でデータを集めたり作ったりする場合は、目的の一部しかとらえられていない、なんてことがないようにしないといけない。

ぶっちゃけ、データを眺めているだけでもおもしろい：）

参考文献、参考リンク

• 自然言語処理の基礎(コロナ社)
• コーパス日本語学のための情報館
• Collecting corpus
• http://ijustat.com/link/corpus.html