近年、実験的なプロダクトイテレーションの増大を受けて、新しい製品の開発が急増しています。製品を変化させると、主要なメトリクスをシフトさせるような反応がほぼ間違いなく起こります。そのため、製品を変化させた場合の影響を理解し、適切な結果が得られるようにすることが不可欠です。
例えば2014年7月、Facebookはユーザーに対して、核となるモバイルアプリのメッセージオプションを廃止すると通知し始めました。そうすると、アメリカの約2,000万人のiOSユーザーは、1ヶ月以内に別個のMessengerアプリをダウンロードしました（図1参照）。
別の例として、製品の通知アルゴリズムへの変更によって影響を受ける可能性のあるメトリクスを考えてみましょう。通知を見る人の数、通知を受け取って何らかの行動をとる人の割合、ランディングページまでたどり着く人の割合、そして製品と積極的に関わる人の割合。これらのメトリクスすべて、そしてさらに多くのメトリクスが、製品の変更により影響を受ける可能性があります。
もちろん、製品の変化は必ずしも意図的なものではありません。ユーザーがアプリをダウンロードしたり、アップデートしたり、メッセージを送信したり、通知を受け取ったりすることを阻害するようなバグは、主要メトリクスに大きな影響を与える可能性があります。そのため、特に大規模な製品変化やアプリストアのアップデートの後には、主要メトリクスを慎重に追跡することで、バグが引き起こす損害を検知、理解、抑えることが可能になります。
製品への変更の影響を評価する最善の方法は、A/Bテストです。A/Bテストでは、2つ以上のパターンをランダムにユーザーに見せ、統計的分析によってどのパターンが決められた目標に対してより効果があるかを見極めます。変化が比較的小さい時には、A/Bテストの利用が特に大切になってきます。そして大抵の場合、変化は比較的小さいものです。Facebookの前述の例のように変化が大きい場合には、時に「目分量で測る」ことも可能です。しかし通常、A/Bテストなしに効果的に影響を検知、測定することはほぼ不可能です。
重要なポイント
製品の変化は、それが新しい製品の発表でも、通知戦略の変更でも、意図しないバグであったとしても、間違いなくメトリクスに変化をもたらします。
この記事はSequoia Capitalのデータサイエンス・チームが制作しました。この記事の寄稿者はJamie Cuffe、Avanika Narayan、Chandra Narayanan、Hem Wadhar、Jenny Wangです。ご質問、ご感想、その他のご意見がございましたら data-science@sequoiacap.com までメールをお寄せください。
著者紹介
アイデアから IPO、そしてそれを超えて、Sequoia は大胆な創業者たちが、伝説的な起業を作ることを助けます。
記事情報
この記事は原著者の許可を得て翻訳・公開するものです。
原文: Analyzing Metric Changes Part II: Product Changes (2018)
本シリーズの記事一覧
