メトリクスの変化を分析する7回シリーズの最後の記事となりました。今回は、これまでに紹介した要因（製品の変更、季節性、その他の行動変化、ミックスシフト、データ品質）によるメトリクスの変化への対処に関する成功事例をさらにお伝えします。
調査に値するメトリクスの変化が確実に起きていることが確認された場合、システマティックで系統立てたアプローチによって、考えられる原因を特定し、原因の排除を試みる必要があります。
最初のステップは、調査中のメトリクスの変化を最もよく表している2つの時点を時間軸から選び出すことです（4回目で説明したように、変化が大きいほど、変化にかかった時間が短いほど、根本的原因の特定が容易になります）。次に、重要なメトリクスの変化を生じさせた可能性のあるものについて多くの質問をします。仮説の包括的なリストができあがったら、1つずつ要因を排除、または調査していきます。
データ品質
データ品質の問題を最初に調査しましょう。特定が最も容易である可能性があるためです。製品の変更に関する記録の問題を調査します。たとえば、特定の場所、言語、国、端末などのDAU（1日のアクティブユーザー）を誤って記録するバグなどです。
- こうした問題を一部にとどめるには、この変化が全範囲にわたっているのか、一部の範囲にとどまっているのかを調査します。
- 関連する別のメトリクスに同様の変化がないかを調べます。たとえば、セッション数がDAUと関連している場合、DAUは変化しているもののセッション数が変化していなければ、記録のバグの問題である可能性があります。
データ品質の問題について詳しくは第6回を参照してください。
製品の変更
- 当該期間内の製品の価格変更。（価格が変更されていない場合は、この要因は排除できますが、忘れている可能性にご注意ください。変化をたどって事象を説明する方法を探してみてください）
- 実験のフレームワーク（A/Bテスト）が整っているなら、それぞれの製品の変更が重要なメトリクスに及ぼす影響を計測してみてください。
- 製品の変更によって起こる行動の変化を調査します。集団（国、端末など）による行動の変化を調査し、変化が一部にとどまるのかを決めます。その後、メトリクスの変化を観察した日時を調べます。メトリクスの変化が発生が、製品の変更のタイミングに基づいて予測される期間外であった場合、製品の変更によってメトリクスが変化したということではなさそうです。ネットワーク効果により、ある問題の影響が、最初に影響を受ける範囲を超えて広がることがあることも頭に入れておきましょう。たとえば、バグのせいでイスラエルの人たちがコミュニケーションプラットフォームを使用できなくなっている場合、他国の人たちの使用も落ち込んでしまうことがあります。
行動の変化
季節性は一般的に行動の変化を引き起こす最大の原因ですが、外部イベントや競合もこの要因に影響を及ぼすことがあります。行動の変化に関する調査についての具体的なアドバイスについては第3回と第4回をご覧ください。
ミックスシフト
第5回で説明したように、ミックスシフトを診断する最初のステップは、起こると想定される範囲の仮説を立てることです。第5回では、ミックスシフトの効果を計測する具体的なアドバイスをお伝えしました。ミックスシフトは長期間の変化において強力な要因となることがありますが、前週と比較したときの変化の原因である可能性は高くありません。
まとめ
- メトリクスの変化はデータ品質、製品の変更、行動の変化、ミックスシフトによるものであることがほとんどです。
- シフトの原因がただ1つの要因であることはめったにないため、診断は困難です。
この記事は、Sequoia CapitalのData Scienceチームによるものです。Jamie Cuffe、Avanika Narayan、Chandra Narayanan、Hem Wadhar、Jenny Wangが執筆協力しています。質問、コメント、その他のフィードバックにつきましては、data-science@sequoiacap.comまでメールでお送りください。
著者紹介
アイデアから IPO、そしてそれを超えて、Sequoia は大胆な創業者たちが、伝説的な起業を作ることを助けます。
記事情報
この記事は原著者の許可を得て翻訳・公開するものです。
原文: Analyzing Metric Changes Part VII: Action Plan (2018)
本シリーズの記事一覧
