こんにちは、知識獲得システム研究室（加藤研究室）の飯塚です。先日ICTIRという学会で発表を行いましたので、ここに報告を行います。

ICTIRとは

ICTIRは、理論的な貢献を重視する情報検索の学会です。正式名称は「The International Conference on the Theory of Information Retrieval」で、SIGIRと併設される場合があり（2021は併設）「The ACM SIGIR International Conference on the Theory of Information Retrieval」とも表記されます。 参考：上保秀夫先生のtweet

2021年の投稿内容に関する情報

国別統計

国別の投稿数では、アメリカ、イギリス、オランダ、ドイツについで日本は５番目でした。採択数は日本が４番目でした。

投稿ページ数の統計

この図は論文の長さに対する、採択論文の数を表しています。この図を見ると、６ページから７ページと言った中くらいの長さの論文の採択率が悪いことがわかります。2021年のICTIRは、論文の上限が参照無しで８ページと定められていただけで、ショートペーパーとロングペーパーの区別がありませんでした。査読者からすると、中くらいの長さの論文は貢献がショートペーパー分あるのかロングペーパー分あるのか判断しにくいのかもしれません。

重要単語の可視化

この図は投稿論文の重要な単語を可視化したワードクラウドです。ぱっと見る限り、理論を重視する学会といえども、理論に関する単語はそれほど見受けられません。axiomaticやmetricが大きくなっているのが多少理論的な側面を反映しているかもしれません。

投稿論文の概要

本投稿を行っている飯塚は、オンライン評価の効率化にまつわる論文を投稿しました。論文のタイトルは「Decomposition and Interleaving for Variance Reduction of Post-click Metrics」で、共著者は株式会社Gunosyの関喜史さんと、加藤誠先生です。

情報検索における評価の研究はクリックに対する行動を評価するものが多かった中で、本研究ではPost-clickと呼ばれるユーザーがアイテムをクリックしたあとの行動に着目しました。このPost-click行動は、広告のコンバージョンやニュースの滞在時間といった売上やユーザー満足度に直結する重要な行動と考えられています。

本論文では、Post-click指標を再設計し、その指標の評価誤差を小さくするように指標の標本平均の分散を減少させるようなアルゴリズムを構築しました。直感的には、標本分散が大きいアイテムをユーザーに優先的に提示することによって、多くのサンプルを獲得することを通して標本平均の分散を小さくすることを目指しました。

実際のニュースサービスにおける行動ログやシミュレーションを用いた数値実験により、提案手法はA/Bテストなどの既存手法よりも精度良く効率的に評価が行えることを確認しました。

発表に関して

当日発表に利用した資料はこちらです ICTIR2021.pdf 。事前に加藤先生に発表に関するご指導を複数回いただきました。「自分が喋っている言葉は伝わらないと思って、重要な情報はあらかじめ文字に起こすべき」というアドバイスが参考になりました。特に実験結果の図への解釈を明示することで説明自体も行いやすくなったと思います。

おわりに

ICTIRはSIGIRに参加する人なら気軽に参加することができますし、情報検索を研究する学生としては投稿先にも良いのではないかと思います。簡易的ではありますが、以上がICTIRの発表報告となります。参加に関してご協力いただいた研究室の皆様、ありがとうございました。