本シリーズのこれまでの投稿では、コンテンツの生産と共有、つながりと在庫について取り上げました。この投稿では、アクティビティフィード ランキングの検討と重要指標に注目します。ランキングは在庫と消費・フィードバックを結びつけるという点において重要です。
アクティビティフィード ランキングを理解する
アクティビティフィードの目標は、ユーザーが最も関連性を感じる投稿を目立たせることです。これは基本的に、投稿の表示順を決定するランキングを通して達成されます。そしてこのランキングは、少なくともその一部が、あなたの戦略やミッションにより決定されます。アクティビティフィード ランキングシステムを適切に実行するためには、各ユーザーの閲覧可能な投稿の総数（在庫）を把握すると共に、ユーザー自身と彼らが投稿するコンテンツに関する情報（シグナル）を収集する必要があります。そしてそれらのシグナルを利用してユーザーの行動を先回りして把握（予測）し、各ユーザーに対しそれぞれの投稿の重要性（関連性）を決めます。投稿の関連性スコアは、その投稿をユーザーのフィードで表示する場所について、情報を提供します。
従って効果的なランキングシステムには、投稿とユーザーのそれぞれの組み合わせに対して関連性を数字でスコア付けする、予測アルゴリズムの組み込みが必要です。例えばあるユーザーについて、フォローしているセレブの投稿よりも、幼馴染の投稿に楽しみと関連性を感じる可能性が高いかどうか予測するのです。
在庫
ユーザーの在庫は、彼らが閲覧できる投稿で構成されます。それらは全て、友だちやフォローしているパブリッシャーにより投稿されたものです。「在庫に制約のある」、つまり非常に少ない在庫しか持たないユーザーにランキングは必要ありません。彼らには閲覧可能なコンテンツを全て消費できるチャンスがあるからです（彼らがそのチャンスを利用するかどうかに関わらず）。しかし数多くの友だち、セレブ、その他の存在をフォローしているユーザーは、ずっと多くの在庫を抱えています。たぶんその投稿の数は1日に数千件にも及び、その全てを消費することはまずできないでしょう。それらのユーザーに対しては、関連性スコアを通したランキングが極めて重要です。
在庫の重要指標
- 利用可能な在庫量
- つながりの数
- 利用可能な在庫の消費量
- 消費される投稿の数
- 在庫に制約のあるユーザーの割合
シグナル
シグナルは、ユーザー自身とそのコンテンツの好みに関して利用可能な全ての情報で構成されます。そして、ある投稿にユーザーがエンゲージするかどうかを予測するのに役立てることができます。下記の質問は、そのようなシグナルの例です。ただし、ここで挙げた例はたくさんある中のほんの一部でしかなく、下記の各カテゴリー内には何百ものシグナルが存在することにご注意ください。製品チームは、自分たちの製品へのエンゲージメントを促進する可能性のある全てのシグナルを検討する必要があります。
誰の投稿したコンテンツか？
シグナルの集まりの中には、コンテンツ作成者に関する情報が含まれています。例えばFacebookの場合、コンテンツはユーザーの友だちが投稿したものでしょうか、それともページやグループによるものでしょうか？投稿の執筆者とユーザーとの過去の（いいね！、コメント、タグ、クリック、プロフィール、ページへの訪問などを通した）交流が多ければ多いほど、ユーザーがその投稿にエンゲージする可能性は高くなります。
- 友だち：その友だちはどの程度親密な関係か？ユーザーと友だちになってからどれくらい経つか？その友だちは「貧しい」（つながりの数が少ない）ユーザーか？
- ページ：ユーザーはこれまでそのページにどの程度関心を示してきたか？そのページをフォローや「いいね！」してからどれくらい経つか？ページの設定を「最初に見る」や「通知を受け取る」に変更したことがあるか？ページが報道機関の運営するものである場合、ユーザーの地元の報道機関か？
- グループ：ユーザーはそのグループにどの程度エンゲージしているか？最後に交流があったのはいつで、ユーザーはどのようなアクションをしたか？
どのような種類のコンテンツか？
Facebookのランキングアルゴリズムは、ユーザーが普段からエンゲージしている種類のコンテンツをより多く表示します。例えば近況よりも写真に「いいね！」やコメントをする傾向があるユーザーには、後者のコンテンツがより多く表示されます。
- オリジナル vs 非オリジナル：そのコンテンツはユーザーの友だちや家族の個人的な投稿か、それともリンクや再共有か？Facebookのアクティビティフィードでは、オリジナルコンテンツの方が上位に表示されやすくなっています。
- 形式：その投稿は動画、テキスト、画像、またはそれらの組み合わせか？テキストの長さは？画像の質は？動画の長さは？
- 分類：コンテンツはソーシャルなものか？情報コンテンツか？娯楽コンテンツか？他のユーザーとのコミュニケーションや共同作業によるものか？関心や価値があると見なされるものは、ユーザーによりさまざまです。
- その他のカテゴリー化：そのコンテンツはクリックベイトや偽のニュースか？「スパム」のようなものか？Facebookでは、そのような投稿は下位にランク付けされ、表示されにくくなっています。
いつ投稿されたコンテンツか？
より最近の投稿ほど、ユーザーに表示されやすくなります。特に、ユーザーがあなたの製品と頻繁にエンゲージしている場合は、表示される可能性が高まります。訪問の少ないユーザーに対しては、アクティビティフィードは最近の投稿よりも、大きなライフイベントやニュース記事などの「ハイライト」を優先させることがあります。
- 投稿はどれくらい最近のものか？
- 投稿はコピー（または本物）か？
どのような種類のエンゲージメントを獲得しているか？
黙示的（利用時間）か明示的（いいね！やコメントなどのアクション）に関わらず、ユーザーのエンゲージメントが多い投稿ほど、価値が認められた可能性が高いと言えます。そして他のユーザーもその投稿に対し、価値を見出す可能性が高いでしょう。それ故に、アクティビティフィード ランキングはしばしば、「口コミ」の多い投稿や、高いエンゲージメントを持つ投稿を優先します。
- その投稿はどのような種類のエンゲージメントを獲得しているか？具体的なフィードバック（いいね！、コメント、リアクション、称賛など）か、それとも投稿に対する利用時間や滞在時間か？もしコメントなら、コメントの長さは？そのエンゲージメントは本物の会話を構成しているか？
- その投稿のエンゲージメントはどれくらい速く拡大したか？
- その投稿にエンゲージしているのは誰で、その人たちに自身のコンテンツを（例えば再共有を通して）作成する動機を与えているか？
- どのユーザーからの、どんな種類のエンゲージメントが、投稿作成者に再び投稿する動機を与えているか？
- そのエンゲージメントは（他の全てのエンゲージメントを構成する）他の投稿と比べて高いか低いか？
ユーザーについて分かっていることは何か？
それぞれのユーザーのエンゲージメントは、性別や年齢、デバイスの種類、ネットへの接続性などの要素によりさまざまです。従って、あるユーザーに適切な投稿を提案するには、その人口動態情報を検討するのが有用です。例えば、接続性の低い古い携帯電話でアクティビティフィードを閲覧するユーザーに対し、広帯域を必要とする動画を見せても、良い体験を与えられる可能性はまずないでしょう。
- そのユーザーはどのような人口動態情報を持つか？
- ユーザーの通信接続性の状況は？
- ユーザーはどのようなデバイスを持っているか？そのデバイスの特徴（メモリー、ストレージ、スピード）は？
予測
シグナルに関するデータをいったん獲得できれば、ユーザーがどのような行動をするか、その可能性をより高い精度で予測することができます。ユーザーの過去の行動は、同じユーザーの未来の行動を予言します。そのため、機械学習モデルを使ってそのユーザーがある投稿を気に入るかどうかだけではなく、クリック、コメント、共有、非表示にするか、あるいはスパムと見なすかどうかさえ、一定の信頼度で判断することができます。それらの結果の可能性を総合的に評価することで、投稿とユーザーのそれぞれの組み合わせに対して1つずつ、関連性スコアを作り出すことができます。関連性スコアは、そのユーザーが投稿に対しどの程度興味を持つ可能性があるかを表します。あなたのプラットフォームの在庫内の各投稿がそのようなスコアを持っていれば、並べ替えアルゴリズムによってユーザーごとに表示する順番を変えることができます。
これらの予測は複数の理由により簡単ではありません。いいね！やコメントなどのエンゲージメント アクションは、ユーザーが本当に感じていることを大雑把に置き換えているに過ぎません。例えば、ユーザーは本当に「いいね！」とは思っていない投稿（誰かの訃報など）にいいね！したり、クリックしても閲覧してみたら不満のある投稿だったり、単に「受信箱の整理」のために投稿を非表示にしたりする場合があります。同様に、特定のシグナルを追跡することで、質よりもバイラリティ（口コミのされやすさ）で最適化することになってしまう可能性もあります。「キャンディー」を食べている投稿ばかりフィードされたユーザーは、最終的にあなたの製品にうんざりしてしまうかもしれません。
従って、どの予測がどの程度関連性スコアに影響を与えるか、気をつけて判断することが重要です。適切な組み合わせを選ぶことは、科学であると共に芸術的な技でもあります。
関連性
投稿とユーザーの各組み合わせに対する関連性スコアには、シグナルからもたらされる予測だけではなく、アクティビティフィードの最適化関数も反映させるべきです。最適化はあなたの目標やミッションに基づき、利用時間、セッション数、クリックスルー率などいくつもの指標に対して行うことができます。例えばFacebookのランキングはアクティビティフィードの価値に影響を受けており、セレブやページよりも友だちや家族が優先されます。また最適化は、特定の戦略を支援する目的でも利用されます。例えば、古い製品よりも新製品を目立たせることで、売上拡大を促進することができます。
最適化関数はそれぞれの予測に対し重み付けをする必要があります。下記の例において、P（いいね！）はユーザーがある投稿に「いいね！」する可能性を示し、a、b、c、d、eは各予測に割り当てられた重みです。
a*P(いいね！) +b*P(共有) + c*P(コメント) + d*P(称賛) — e*P(ひどいね)
それぞれの重み付けは改善したい指標（利用時間など）ごとに、テスト、経験則、定性的手法などを使って決めることができます。また、ユーザーの特定の種類に対し、さまざまな重み付けを選択して使うことができます。
製品に関する検討事項
アクティビティフィードの最適化は、トレードオフ（二律背反）のゲームのようなものです。テキストよりも動画をより多く表示すべきでしょうか？いいね！よりもコメントに、またはコンテンツ消費よりもコンテンツ生産に価値を置きますか？選択にはそれらのトレードオフを理解し、交換レートを開発するのが有用です（例えば、動画をY本見るユーザーは、自分のコンテンツを作成する可能性がXパーセント低い、など）。
調査 vs 活用
ユーザーの行動についてすでに分かっていることに対し最適化（活用）すべきでしょうか？それとも、まだ知らないことをより多く学ぼうと（調査）すべきでしょうか？それはすなわち、ユーザーが評価しそうな種類の投稿と、まだ試したことのない種類の投稿の、どちらをどの程度目立たせるべきか、と言い換えることができます。これは、あらゆるランキングアルゴリズムにとって基本的な問題であり、単純な答えはありません。活用と調査のトレードオフは、在庫が多い場合に特に難しい問題となります。在庫は大量にあるのに十分なシグナルがなく、全ての投稿を等しい予測力でランク付けできないような場合です。そのような場合、活用は結果として長期的な課題となる可能性があり、原則に基づいてアプローチすることが重要です。そうしなければ本当にエンゲージメントを最大化することのない要素に対し、最適化してしまう可能性があります。例えば、現在表示されているコンテンツにユーザーが徐々に飽きていないか理解するために、ユーザー体験調査を実施することは、活用と調査のバランスをユーザー目線で決定するための1つの良い方法です。
データの不足
どれだけ慎重にアルゴリズムを構築しても、欠けているデータというのは常にあるものです。ユーザーが選択した朝食は、彼らが読みたいコンテンツにどのような影響を与えるでしょうか？ユーザーがある投稿を非表示にしたのは、それが気に入らなかったからでしょうか、それともすでに読み終わったからでしょうか？コメントのスレッドが活発なのは、人々が投稿を気に入ったことを示すのでしょうか、それとも怒っているのでしょうか？目標は単にデータをモデル化することではなく、データの中に現れた人々の行動をモデル化することです。人々は複雑過ぎて、どんなアルゴリズムでも完全にモデル化することはできません。製品チームは人々の興味を推察すために、さらに多くの関連データの取得に努めるべきです。
完璧な最適化機能はない
同様に、予測アルゴリズムは与えられた指標に対して最適化するように設計されています。しかし、そのような指標が会社の目標やミッションの意図を完全に捉えることは決してできません。そのため、予測や関連性スコアが完全に満足できるものになることはありません。全米オープンの予測アルゴリズムを実行し、各プレイヤーに優勝する確率を割り当てることはできますが、アクティビティフィード環境において「優勝」は、測定可能な別々の結果ではありません。ランキングアルゴリズムは、ユーザーがある投稿との相互作用を行うか否か、行うとしたらどのように行うかを予測する役に立ちます。しかし、その相互作用があなたのミッションに本当に資するものであるかどうかは、予測できません。
バイラリティとクリックベイト
アクティビティフィードは大抵の場合、あらゆる種類の相互作用、特に即効性のある相互作用にとって都合の良い環境です。その結果、「クリックベイト」の投稿が他よりもたくさんばらまかれるのが一般的です。製品チームはこの影響を緩和するために、創造的な方法を模索する必要があります。例えば、他では使われていないどのようなフレーズが、クリックベイトのタイトルとして共通して使われているか見分けることができます。また、同一のコンテンツ作成者によって行われる頻繁な悪用を探し出し、是正措置を取ることもできるでしょう。
長期 vs 短期
理想を言えばあなたの製品は長期的に最適化されるべきですが、ほとんどのアルゴリズムが短期的な最適化のために作られます。例えば通知は、最初のうちはユーザーをより頻繁にアクティビティフィードに連れ戻してくれますが、最終的にはユーザーをイライラさせ、製品に戻ってくる可能性を低くしてしまいかねません。長期指標はしばしば計測や最適化がより難しいのですが、製品決定に及ぼす最終的な影響を理解するのにとても役立つ可能性があります。そのような洞察を用い、そのエンゲージメントが長期的な利益をもたらすような投稿を増やしましょう（例えば、ユーザーの親しい友だちの結婚式の写真など）。
ユーザー体験の指標
満足度調査、ネットプロモータースコア、および定性的フィードバックは戦略を推進するのに有用ですが、最適化は簡単ではありません。その基本的な理由は、一般的にデータが少ないこと、製品最適化に対しリアルタイムに利用できないこと、ユーザー全体を表していないこと（およびさらなる偏りの修正が必要なことなど）です。そのため、調査方式の指標と相関関係のある計測可能な代替指標をあなたの製品内で探しましょう。
コンテンツの種類のランキング
特定の指標を最適化することは、特定の種類のコンテンツに有利に働きます。例えば、利用時間の最適化は、動画の投稿に対する偏りを生みます。一般的に動画は、テキストの投稿よりも消費に長い時間がかかるからです。反対に、閲覧された投稿数を最適化すれば、テキストが強調されることになります。この問題に対処するために、データを標準化して偏りを修正する効果的な方法を見つけ、利用しましょう。また、戦略的にあなたの製品を検討することも大事です。あなたは製品が今後向かう方向性について、動画とテキストのどちらを期待しますか？
まとめ
- 在庫やシグナルが多く、予測能力が高いほど、あなたのプラットフォームの投稿がより関連性のあるものになります。それらの各要素を最適化し、徐々にユーザー体験を向上させる方法について検討しましょう。
- 目標はデータではなく、データに現れる人々の行動をモデル化することです。そして人々は複雑過ぎて、どんなアルゴリズムでも完全にモデル化することはできません。
- あなたのプラットフォームが適切な投稿を適切なユーザーに適切な順番でレコメンドする能力は、時間と共に向上します。在庫、シグナル、予測能力を高めれば、投稿がより関連性のあるものになります。製品チームは、それぞれの異なる要素を改善する方法について検討しましょう。
この記事は、Sequoia CapitalのData Scienceチームによるものです。Jamie Cuffe、Avanika Narayan、Chandra Narayanan、Hem Wadhar、Jenny Wangが執筆協力しています。質問、コメント、その他のフィードバックにつきましては、data-science@sequoiacap.comまでメールでお送りください。
著者紹介
アイデアから IPO、そしてそれを超えて、Sequoia は大胆な創業者たちが、伝説的な起業を作ることを助けます。
記事情報
この記事は原著者の許可を得て翻訳・公開するものです。
原文: Engagement Part IV: Activity Feed Ranking (2018)
本シリーズの記事一覧
