A Man of No Use

effective-tumblr:

少し前に論文「マイクロブログの文脈付き投稿情報の体系化に基づく重要ユーザ推薦と情報集約支援への応用」を紹介しましたが、これの参照している先行研究である表記論文を、共著者のkiyoyaこと山口清弘さんから送っていただきました。論文は次のような背景認識から始まっています。

オンラインコマースにおけるコア技術となっている，アイテムのクラスタリングや推薦においては，アイテムをどう特徴付けるかが，その結果を大きく左右する．ここで，記事の特徴付けとは，記事を何らかの視点で数理的に表現すること，および，それに基づいて記事同士の類似度を算出することから可能であると考える．

統計学を知らない僕なりに読み進み、砕いてみます。最近はニュースサイトでもオンラインショップ（eコマースサイト）でも「お勧め」をされることが増えてきました。これは、よく似た記事、よく似た商品をグループ化しておいて、そのグループ内の一つがピックアップされたら、別の一つを推薦してみる、ということをしています。でも「よく似た」と簡単に書きましたが、ある記事と別の記事、ある商品と別の商品が「似ている」というのは、どういう意味で、どうやって決めるんでしょう？

一般に推薦システムにおけるアイテムの特徴付けには，誰がどのアイテムを評価したかという共起関係用いられる傾向にある．Tumblr のような，記事が人の間を伝播していくネットワークにおいては，共起関係のみを考慮するよりも，記事の伝播経路を用いた記事の特徴付けの方がより有用であると考えられる．

一般的に広く使われているのは、「この商品を買っている人はこんな商品も買っています」という情報を活かした判断です。AとBとCはよく同じ商品を買っている。つまり彼らは好みが似ているということだ。そして彼らの好みにあった商品が二つあるなら、それの二つは似ているということだ。こういう判断が下せれば、二つのうち一方を買った人には、もう一方も勧めると買ってくれそうだ、と考えられることになります。

こうした「誰と誰と誰が」という関係、共起関係で似ている度合いを図ることもできますが、Tumblrではさらに「誰がいつ誰からリブログしたか」という時系列や伝播経路を考えることもできます。則のぞみ氏、山口清弘氏らはこれらを考慮したほうが、より妥当な（精度のよい）にている度合いを測れるだろうという仮設を立て、実際に実験して確かめています。

ここから実験方法と実験結果になると、数式と数値が乱れ飛ぶ、私にはなんとなく程度には分かっても正確なところはギブアップの世界に入るので割愛。いきなり考察のうち、特に面白かった、木構造、順序指標を考慮した結果を。

カット率6割から，順序指標が共起指標に比べて有意に高い再現率となった．これは，共起指標では，カット率の増加に応じて再現率も下がっていくが，順序指標では，カット率6 割から8 割の間で再現率がほぼ変化しないことによる．この理由として，Tumblr においては，ある記事を誰が最初の方でリブログしたのかという，最初の方の順序が，後の伝播を決定付ける重要な要因になっていることが考えられる．Tumblr においては，特に伝播の初期における順序を考慮することが有用であると言える．

言い換えれば、「誰と誰と誰が」という共起関係に基づいたアプローチでは、興味を示す層のうち実際にリーチできた層が減るほど、残りの人たちを推測する精度が悪くなります。ところが「誰と誰と誰がそれぞれいつごろ」という順序を指標に入れると、5割を切ったあたりと2割まで減ったあたりで同等の推測制度が出ています。

もっと言えば、共起関係だけで考えていた頃であれば5割、多分アーリーマジョリティまでを観察してはじめて浮かんできた潜在顧客層が、木構造における順序にも注目することで2割、多分アーリーアダプタぐらいを観察すれば浮かんでくるということです…だと思います。もちろん「マイクロブログの…」もこの論文も、Tumblrのような「リシェアの経路と時刻が可視化された」世界だからこそ役立つ、ある種のニッチな世界向けのアプローチといえるでしょう。でもニッチだったそのリシェア・ワールドが、いまやTwitterやFacebook、そしてGoogle+へと領地を拡大しています。

おそらく「バイラルでは経路が重要」という考え方は新しくないでしょう。ですが購買層という古典的な視点でも、つい先日、4,500台の自販機から集めた2億件のビッグデータをもとにすることで新製品が生まれたことが報じられました。現在（※’12/01/27）165億件強のTumblrの投稿合計数から経路情報を調べ上げると、そこにはまた新しく見えてくるものがありそうです。そしてオンラインコマースにおけるリコメンドを背景に上げたこの論文は、やっぱりそこを睨んでいるんだろうな、と思います。

それが来た時に、その手法に先鞭をつけ、かつデータを総なめするのではなくある程度小規模なサブセットで代替したときの精度に言及したこの論文は、結構面白いポジションにあったりしないかな、と思いました。