メディアモデルを考慮したニュース推薦の5つの多様性指標群の論文を読んで、その活用可能性に思いを馳せた話
2023/11/22 推薦システム論文読み会
最初に自己紹介
- 発表者: モーリタ (twitter @moritama7431)
- 所属: 株式会社ユーザベース NewsPicks インターン
- Qiita: https://qiita.com/morinota
- github: https://github.com/morinotaK
- 博士課程への入学時期に偶然Kaggleをきっかけに推薦システム分野と出会い、趣味で論文読んで実装してブログに上げてた。「推薦システムを趣味ではなく仕事として関わりたい」と思い、NewsPicksさんに機会をもらってインターン中。(インターン1年の振り返りブログ書きました!)
- 興味ある事:
- 推薦システム周り(より確度の高いオフライン評価とか。最近はNetflixの推薦モデル統合のブログをきっかけに、multi-taskな推薦モデルとか。)(趣味でn週連続推薦システム論文読んだシリーズやってます!)
- MLシステムの設計・開発・運用改善(最近MLOps勉強会を経て、MLOps Maturity AssessmentとかRecSysOpsとかFTP Pipelinesとか気になって調べ中。今の業務的にもこちらもcatch upせねばという気持ち)
5種類のdiversity metrics: RADioの全体像
RADio = Rank-Aware Divergence metrics (ioはどういう意味だろ?🤔)
5種類のdiversity metrics ① Calibration
- 「推薦記事がユーザの好みとどの程度合っているか」を反映したもの。
- 推薦記事リストの分布とユーザの閲読履歴の分布の間の距離を意味する。
\[ Calibration = D_{JS}(P^*(c|H), Q^*(c|R)) \\ % = \sum_{c} Q^*(c|R) f(\frac{P^*(c|H)}{Q^*(c|R)})\ \]
ここで、\(P\) と \(Q\) は異なる2つの離散確率関数。添字 \(*\) は、rankで重み付けされた確率関数である事を意味する。 \(H\) は、あるユーザの閲読履歴にある記事集合。\(R\) は、推薦記事リスト。\(c\) は確率変数。(論文中では、記事categoryや記事のcomplexityを確率変数として提案してたので \(c\) にしてるっぽい?)
5種類のdiversity metrics ② Fragmentation
- 「共通したトピックの記事を提供できているか」の度合いを反映したもの。
- 複数ユーザの推薦記事リストの分布間の距離を意味する。(二人のユーザ \(u\) と \(v\) を比較する)
\[ Fragmentation = D_{JS}(P^*(e|R^{u}), Q^*(e|R^{v})) % = \sum_{e} Q^*(e|R^v) f(\frac{P^*(e|R^u)}{Q^*(e|R^v)}) \]
ここで、\(P\) と \(Q\) は異なる2つの離散確率関数。添字 \(*\) は、rankで重み付けされた確率関数である事を意味する。 \(R^{u}, R^{v}\) は、ユーザuとvの推薦記事リスト。\(e\) は、記事のevent(=記事のトピック的な?)を表す確率変数。
5種類のdiversity metrics ③ Activation
- 「肯定的な記事ばかり推薦してしまってないか、逆に否定的な記事ばかり推薦してしまってないか」の度合いを反映したもの。
- 推薦可能な記事プール \(S\) と、推薦記事リスト \(R\) のactivation score(=positiveかnegativeか)の分布間の距離を表す。
\[ Activation = D_{JS}(P(k|S), Q^*(k|R)) % = \sum_{k} Q^*(k|R) f(\frac{P(k|S)}{Q^*(k|R)}) \]
ここで、\(P\) と \(Q\) は異なる2つの離散確率関数。添字 \(*\) は、rankで重み付けされた確率関数である事を意味する。 \(k\) は、記事のactivation score(=positiveかnegativeか)を表す確率変数。(論文ではテキストのsentiment analysisで得る事を想定)
5種類のdiversity metrics ④ Representation
- 「視点(ex. 政治的トピックや政党の言及など)の多様性」の度合いを反映したもの。
- 記事プール \(S\) と、推薦記事リスト \(R\) のviewpoint(離散値を想定) の分布間の距離を表す。
\[ Representation = D_{JS}(P(p|S), Q^*(p|R)) % = \sum_{p} Q^*(p|R) f(\frac{P(p|S)}{Q^*(p|R)}) \]
ここで、\(P\) と \(Q\) は異なる2つの離散確率関数。添字 \(*\) はrankで重み付けされた確率関数の意味。 \(p\) は 記事のviewpointを表す離散変数。 (記事のメタデータをNLPパイプラインに通してviewpointを作る)
5種類のdiversity metrics ⑤ Alternative Voices
- 「意見の声の持ち主(Minority/Majority)の多様性」を反映したもの。(Representationは意見の中身の多様性)
- Minority/Majorityの例: 非白人/白人, 非男性/男性, etc.
- 記事プール \(S\) と、推薦記事リスト \(R\) のviewpointの持ち主の分布間の距離を表す。
\[ AlternativeVoices = D_{JS}(P(m|S), Q^*(m|R)) % = \sum_{m} Q^*(m|R) f(\frac{P(m|S)}{Q^*(m|R)}) \]
ここで、\(P\) と \(Q\) は異なる2つの離散確率関数。添字 \(*\) はrankで重み付けされた確率関数の意味。 \(m \in \{Minority, Majority\}\) は離散変数。
メディアモデルとRADioの関係
- 異なるアルゴリズムのRADioの各値を比較する事で、開発者はどの手法が各メディアが求める機能に適しているか、定量評価できる。
- ex) 自由主義モデルはユーザの好みに合わせた情報を提供したい -> 低いCalibrationと高いFragmentation
- ex) 参加主義モデルは社会で必要な共通認識を各ユーザに分かりやすい形で提供したい -> 高いCalibration(complexity)と低いFragmentation
- 今後の課題:
- RADioに関連する多くの特徴量の抽出が難しい事(ここはLLMの普及で難易度低下?🤔)
- post-hocな評価ではなく、損失関数として活用可能なmetrics
参考文献:
- (メイン論文の背景にあるやつ!)ニュース推薦の民主的役割のtypologyを提案した論文: On the Democratic Role of News Recommenders
- MLOpsの成熟度を高める為のガイドライン: MLOps Maturity Assessment
- ニュース推薦のサーベイ論文: News Recommender Systems - Survey and Roads Ahead
