DSIRNLP#1で「ランキング学習ことはじめ」を発表しました

第1回データ構造と情報検索と言語処理勉強会に参加して発表をしてきました．幹事の@overlast さん，ボランティアのみなさま，会場を提供してくださったmixiさんに感謝申し上げます．

ランキング学習に関するハードな発表を依頼されたので，気合いを入れて2晩夜更かしして資料をまとめてみた．発表資料(公開用)をslideshareにアップしました．

DSIRNLP#1 ランキング学習ことはじめ

View more presentations from sleepy_yoshi

ランキング学習は検索ランキングを教師あり機械学習の枠組みで最適化する方法で，どのように目的関数を設定するかという観点で3つのアプローチ (pointwise, pairwise, listwise) に分かれる．これらのアプローチは，目的関数の設定方法が違うだけで，眺めてみると (基本的な方法は) そんなに難しくないよ，ということが今回言いたかったこと．みなさまに伝わったのかわからないけれど，とりあえずは喋りたいことを喋れたのですっきり．

DSIRNLPの目的は「可能な限り実装寄り話をする」ということをすっかり忘れて，あわてて会場で言い訳スライドを追加．ま，それでも疑似コードでアルゴリズムの解説はしているからいいか．(今日紹介したアルゴリズムのどれかを暇を見つけて実装します)

ランキング学習は一分野として確立した感があるものの，日本国内に研究者，エンジニアが少なく，まとまった日本語資料がなかったので，これで少しでも敷居を下げて興味を持ってくださる方が増えればこれ幸いです．

自分の理解を再確認する意味を込めて資料としてまとめてみた．ここらへんは一時期集中的にサーベイ，勉強したにも関わらず，しばらく時間が経過しているせいかすっかり忘れてしまっていて，かなりぞっとした．やはり，頭の中にある情報は定期的に出力しないとダメだなぁ．．

周辺技術も増えてきたため，ひとりでサーベイをするには自分の限界を超えているような気がするけれど，可能な限りウォッチを続けていきたい．

実装へのリンク

• RankingSVM: svm_rank by T. Joachims
  • http://www.cs.cornell.edu/People/tj/svm_light/svm_rank.html
• Stochastic Pairwise Descent: sofia-ml by D. Sculley
  • http://code.google.com/p/sofia-ml/

チュートリアル資料

• Tie Yan Liu. Learning to Rank for Information Retrieval. SIGIR ‘08 Tutorial.
• Hang Li. Learning to Rank. ACL-IJCNLP ‘09 Tutorial.
• Shivani Agarwal. Ranking Methods in Machine Learning, SDM ’10 Tutorial.

日本語だと @tkng さんの以下の資料くらいしかないかなぁ

• 徳永拓之. Confidence Weightedでランク学習を実装してみた. TokyoNLP#4 (2011).

参考文献

• [1] Tie-yan Liu. Learning to Rank for Information Retrieval (2011).
  • Learning to rank分野の大御所による教科書．
  • Learning to rankの基本的な手法に限らず，理論分析，周辺タスクについても章が割かれており，良書

Learning to Rank for Information Retrieval

• [2] Tie-yan Liu. Learning to Rank for Information Retrieval (Foundations and Trends(R) in Information Retrieval) (2009).
  • [1]の前身? なぜかすごく高い．ぱっと見，内容は[1]に包含されているので，改めて購入する必要は少ないかも．

Learning to Rank for Information Retrieval (Foundations and Trends(r) in Information Retrieval)

• [3] Hang Li. Learning to Rank for Information Retrieval and Natural Language Processing (2011).
  • こちらももうひとりの大御所による著書．2011年
  • 持っていないので内容についてはわからない．購入予定．

• [4] Stefan Buettcher, Charles L. A. Clarke, Gordon V. Cormack. Information Retrieval: Implementing and Evaluating Search Engines (2011)
  • 情報検索の教科書．Learning to rankまわりもざっくりした記述あり．
  • 情報検索の教科書として現在一番のおすすめ．

Information Retrieval: Implementing and Evaluating Search Engines (MIT Press)