スタートアップのためのアナリティクス (Startup School 2019 #05)

皆さん、こんにちは。Segment共同創業者のIlyaと申します。本日は、アナリティクスの設定方法、MVPを作り出すためのアナリティクスの基礎、またプライマリメトリクスとセカンダリメトリクスの測定方法についてお話しします。

今回の講義は、アナリティクスやマーケティングの分野でどんなツールが使用されているか、皆さんはどのツールを使用すべきか、またその設定方法など、少々戦術的な内容になるかと思います。

Segment とは何か

まず、本題に入る前に、Segmentとは何かご存知ない方が多いかもしれませんね。

Segmentとは、生成されたアナリティクスデータを送信し、様々なツールで使用可能にするアナリティクスAPIです。当社はスタートアップが実際にどのようなツールを使用しているかを把握できる絶好のマーケットポジションにありますので、それに関する情報を皆さんにお伝えできると思います。

また、当社は創業からおよそ6年ですが、様々なスタートアップが成長する中でどのようなツールを利用してきたかも分かっています。本日の講義では、それについてもお話ししたいと思います。

なぜアナリティクスが重要なのか？

では、なぜアナリティクスを重視すべきなのでしょうか？

プライマリメトリクスとセカンダリメトリクスがMVPやProduct/Market Fitを達成する過程で役立つことは明らかですし、Product/Market Fitの検証にも利用されています。また、Product/Market Fitに関する厳しい調査を終えたのち、チームを集中させるためにも使用します。

皆さんの会社で自社の成長を妨げるようなユーザー獲得の問題が生まれるかもしれません。また、獲得したユーザーが積極的な利用者でないかもしれませんし、マネタイズの問題があるかもしれません。

そこで、自社のビジネスはどのようなものか、創業者が時間を費やすべきものは何かを理解するのに、ファネルが大いに役立ちます。

そして、2～3人のチームから100万人の従業員を擁するGoogleのような企業に成長するまでの過程では、チームを運営し牽引していくためにメトリクスが必要となります。やがてエンジニアリングチームやマーケティングチームを作った時、例えばマーケティングチームにはどんな目標を設定するか？

そこで利用するのがアナリティクスです。

さて、本日の講義ではいくつかのトピックがありますが、まず、アナリティクスを検討する際に必要となるファネルについて説明します。ファネルとは、自社のユーザーが実際に価値を獲得し対価を支払うまでの連続した一連のステップです。

次に、アナリティクスツールで使用するデータの収集について説明します。

また、トップ3のメトリクスについて説明します。ほとんどのプロダクトで有効なプライマリメトリクスとセカンダリメトリクスも含みます。

その上で、利用可能なProduct/Market Fitの方法論を説明した後、Product/Market Fitを達成するために現在の市場で最適だと思われるツールを紹介したいと思います。

ファネル

では、ファネルについての説明から始めましょう。誰もが良く知る会社、Netflixのファネルを例にとります。

実はこの種のファネルは、どんなB2BやB2Cプロダクトにも当てはまり、ユーザーを獲得し、時間をかけてエンゲージメントを高めていくというものです。このループは継続（リテンション）と呼ばれます。そして最終的に、ユーザーから収益をあげます。

そこで、プライマリとセカンダリ両方のメトリクスが、ファネルの各ステージにおける業績指標となります。

ユーザー獲得段階における質問は、「正味の新規ユーザーは前週比でどれだけ増えたか？成長率はどうか？」ということです。エンゲージメントに関しては、ユーザーのコホートを見ます。日曜から次の月曜までに16人が登録したとします。

次に、そのユーザーのコホートを前週比で追跡し、そのうちの何パーセントが4週間後もプロダクトを使用しているかを見ます。これは継続を追跡する良い例です。そして、「今週の純利益は前週比でどれくらいか？」というマネタイズの段階へと移り、ここで皆さんのビジネス独自のファネルを適用することになります。

Netflixの場合、皆さんご存知の通り、ユーザーは登録後、動画をループで視聴できるようになります。

Netflixにはついつい引きつけられ、次々と動画を見てしまいます。無料視聴期間が終了すると、ユーザーはより多くのコンテンツにアクセスするため、視聴プラン（サブスクリプション）をアップグレードします。

では、このファネルで、どのようにデータを収集するのでしょうか？

データの収集

そこで登場するのが、アナリティクスAPIです。

Segmentを例に説明します。このケースでは、ユーザー1、2および3はユーザー登録イベントを完了していますが、彼らは図らずもオーガニックユーザー、つまり他者からの招待ではないユーザーです。そしてNetflixで、ユーザーは動画を視聴し、最終的には契約をアップグレードしたことが分かります。こうした追跡がモバイルアプリやウェブアプリで可能となります。

次に見るのが、イベントプロパティです。Netflixのある動画視聴イベントで見てみましょう。ここでは、「ユーザーがどんな動画を再生しているのか？」「動画の長さは？」「動画のどこまで視聴したか？」という質問が挙げられます。同様に、サブスクリプション・アップグレード・イベントに注目すると、ノーススターメトリクス（北極星たる指標）としてマネタイズを求める必要があるでしょう。

つまり、サブスクリプションビジネスを手掛けている場合は毎月の経常収益のデータ、eコマースや小売のような取引型ビジネスの場合は取引に関する実価のデータが必要となります。

それらのデータを自社のウェブアプリやモバイルアプリに取り込みます。そして、データが入り、デバッガを確認し、「よし、ユーザー登録があるし、万事順調だ」となるわけです。

次に、最初のアナリティクスツールを追加します。

ここではAmplitudeを例にとります。AmplitudeとMixpanelは、現在市場に出回っている中でも実に優れたアナリティクスツールです。

これらのアナリティクスツールのいずれかを使用してデータフローを確認します。これはAmplitudeです。モバイルアプリやウェブアプリを導入すれば、ユーザー登録が増加していることがすぐに確認できます。

3 つのメトリクスに集中する

このようにアナリティクスを設定したら、次は3つのメトリクスに注目してみましょう。

週次のサインアップ数

1つ目は、獲得に関するメトリクス、週間登録数です。B2Bビジネスの場合、これを招待タイプ別に分けると良いでしょう。オーガニックユーザーは、自社のウェブサイト経由の登録、つまり直接登録したユーザーです。そして、他のユーザーに招待されたユーザーもいます。これらが招待タイプです。成長を確認する場合、このケースではオーガニックユーザーについて見ることが非常に重要です。

イベントプロパティが重要となるもう1つの例を挙げましょう。Amplitudeを使用している場合、イベント区分レポートやユーザー登録があって、次はこのグラフです。

ウェブサイトを構築し、データを送信し、Amplitudeを確認するだけです。実に簡単ですね。これで毎週のオーガニックユーザー数を確認できるようになります。

そして、獲得ステップのセカンダリメトリクスでは、「今日現在のデータによれば、先週は218人のユーザーが直接登録した。だが、月末までにこれを300人にしたい。今月はプロジェクトA、B、Cが開始するので、オフィスやアパートなど、どの仕事場でもテレビのダッシュボードでこのグラフを毎日チェックし、この施策が上手く機能しているか確認しよう」となります。

これがデータ駆動型のチーム運営です。メトリクスと目標を設定し、それらに向けて日々努力を重ねます。

2. 継続コホート

2つ目は継続コホートです。先日継続に関して質問した方がいましたので、ここで説明しましょう。継続に関しては、ユーザーのコホートについて考える必要があります。月曜から日曜、例えば12月10日から17日に16人のユーザー登録があったとしましょう。次にそれらの16人のユーザーについて、登録週である第0週、第1週、第2週、第3週、第4週で自社のプロダクトを使ってくれているかを確認します。

ここでの基本的な考え方は、「自分の母親や祖母に自社のプロダクトを一度は使ってもらうことはできても、その後も毎週続けてプロダクトを使ってくれるとは限らない」ということです。自社プロダクトに夢中になっていて毎週使っているユーザーがいるとしたら、Product/Market Fitの良い兆候です。

このビジネスでは、12月10日のコホートで第4週にまだ継続しているのは、わずか6.25％であることが分かります。非常に低い数値ですよね。これを少なくとも20～30％にする必要があるでしょう。そこで、「これらのターゲットユーザーに話を聞いて、自社プロダクトに価値を見出していない理由を把握し、何らかの変更を加えよう」という目標を立てることができます。

では、選ぶべきメトリクスは何でしょうか？

これはGustavが作成したスライドです。素晴らしいですね。まず考えることは、自社がユーザーにどんな価値をもたらしているかです。Airbnbは世界中の様々な賃貸物件への宿泊という価値をユーザーにもたらしています。

同社はユーザーに少なくとも年1回の利用を望んでおり、そうでないユーザーはチャーンユーザー（解約顧客）とみなされます。同様に、Facebookはニュースフィードの表示や友人とのつながりという価値をユーザーにもたらし、少なくとも毎日または月1回の利用を望んでいます。

Product/Market Fitを検討する際は、基本的にこれら2つの曲線を念頭に置くことになります。つまり、ある週に登録した16人のユーザーというコホートがあり、それを長期間追跡します。そして最終的に、Product/Market Fitのないプロダクトはユーザー数がゼロになる傾向にあります。ユーザーはそのプロダクトに関心を示さなくなるからです。これがProduct/Market Fitの定義です。

Product/Market Fitがあるツールやプロダクトは、自然とある種の安定期に入るでしょう。この軸は気にしないでください。これは少なくとも20～30％であるべきです。

では、このグラフをどのように作成するのでしょうか？これは少々複雑に思われますよね。幸い、MixpanelもAmplitudeもこれに関して優れたレポート機能を有しています。Amplitudeでは、継続分析レポートと呼ばれています。例えば、ユーザーがユーザー登録というコホートに入ると、動画再生イベントやサブスクリプションアップグレードイベントを返します。これはバリューイベントと呼ばれます。

Nextを押すとこのグラフが表示されますので、コホートに関する4週間の継続状況を基にプロダクトを改善し、4週間経過した新規コホートの良し悪しを確認することができます。ここでは、前週比で変化しているか、改善しているかを把握できます。

3. 売上

そして最後のメトリクスが売上です。これは皆さんが考えるべきプライマリメトリクスで、サブスクリプションビジネスのサブスクリプションアップグレードイベントで使えるでしょう。ここでは新規プランが産み出した合計収益金額や月次経常収益を確認でき、

Nextを押すと週別純利益グラフが表示されます。さらに、月次目標を設定してしかるべき成長率で進捗しているかを確認することができます。

ダッシュボードを作る

最後に、創業チームが存在する場合は、基本的にこれら全てをダッシュボードに置き、オフィス内のテレビ画面にそのダッシュボードを表示させると良いでしょう。これは極めて重要です。ここにデータ駆動型のチームとそうでないチームとの差が出ます。多くの創業者はアナリティクスを設定しますが、その後見返すことはありません。それを見るのがつらいかもしれないからです。

一方、データ駆動型のチームはテレビ画面に表示し、プロジェクトについて意見交換し、プロジェクトがメトリクスにどんな変化をもたらしているか話し合い、常に自社ビジネスを完全に把握しています。

実際、こうした会社や創業者は、より優れた業績を生む企業へとスケールさせることができます。なぜなら、今後会社が雇う従業員チームも同じようにテレビ画面に表示されるダッシュボードを目にし、同じメトリクスを指針とするからです。ですから、テレビを設置してください。これが重要です。

説明責任を果たす

次に、自社が設定したメトリクスに関して何らかの社会的な説明責任を持つことです。友人や両親、アドバイザー、投資家がいる場合、自分の会社はどんなビジネスを手掛けているかを1通のメールに書いてみます。これは、実際に起きていることをまとめるのに役立ちます。

そして、このメールをそれらアドバイザーに送付し、自社ビジネスが現在苦戦している点や、それらを解決するための計画を相手に伝えます。こうすることで、彼らは皆さんの会社のビジネスを迅速に理解し、より適切なアドバイスを与えてくれるでしょう。

スタートアップスタック

では、スタートアップ・スタックに移りましょう。

これらは、メトリクスの設定という戦術的プロセスをサポートできると私たちが考え、推奨するツールです。先ほどMichaelから話があったMVPに関するビジネスワークフローについてもう少しお話ししましょう。

1. MVP 開発

最初の領域はMVP開発です。私たちはSegment創業前に約7つのMVPを作り出しましたが、全て失敗に終わりました。そして最終的にこれだというものが1つ出来ました。MVPを作り出すプロセスは極めて重要です。

2．プライベートベータ

小規模の実験を終えたら、プライベートベータを実施します。ここでは10人、20人、30人の顧客に実際に自社プロダクトを試してもらいます。各顧客とSlackのチャネルを構築することで、Segmentのビジネスや新しくリリースするプロダクトについて、非常に率直な意見を直接聞き出すことができます。Slackのチャネルでは、プロダクトマネジャーが顧客と話をします。

Product/Market Fitに到達しなかったプロダクトについては、顧客はただ口を閉ざしてしまい、こちらがどれほど尋ねても回答を得られません。一方、Product/Market Fitを達成したプロダクトに対して顧客は、「この機能を入れてはどうか？これはまだ不完全だ。自分のチームメートを招待しようとしたが、上手くいかなかった」というように即座に回答してくれます。

つまり、こちらが顧客の声を引き出すのではなく、顧客から話を広げてくれるのです。これはProduct/Market Fitの良い兆候です。プライベートベータが成功した時点で、顧客が自社プロダクトを好んでいるという感触が得られ、ターゲットとする顧客を把握できます。

3. ローンチ

その次は、プロダクトを活用するためのより大きな市場セグメントが必要となります。それが先ほどの話にあったローンチ（立ち上げ）です。なるべく早くこの段階に到達することです。

ローンチでは、より多くのユーザーにProduct/Market Fitを検証してもらうことになります。Product/Market Fitがあることが分かれば、会社をスケールすることができます。そして、セールススタッフを雇い、有料マーケティングなどを開始します。

ツールスタック

このプロセスでは、様々なツールが指針となります。

アナリティクスツールは Google Analytics と Amplitude

結論として、MVP開発の段階で最初の顧客グループにプロダクトを提供する場合は、GoogleアナリティクスとAmplitudeを導入してください。Googleアナリティクスでは、インターネット経由で自社ウェブサイトを訪問したユーザーを知ることができます。そしてAmplitudeでは、ユーザーがどんな機能をどの程度利用しているかを知ることができます。全てのユーザーに常時張り付いてその動向を把握できない限り、アナリティクスは次善の選択肢と言えます。

ライブチャット

さらに、ページ内にはライブチャットもインストールしておきます。顧客とSlackのチャネルを構築しておくか、それができない場合はライブチャットでも構いません。Segmentの創業当初は昼夜を問わず顧客から連絡がありましたが、それによって最も貴重なフィードバックを得ることができました。できるだけ多くのコミュニケーションチャネルを持つようにしてください。

データウェアハウス

次にデータウェアハウスです。これは私たちが推奨するもので、以前は高価でしたが現在は安く利用できます。チーム内に技術畑ではない共同創業者がいる場合、彼らはデータに関して知らないことがたくさんあるでしょう。その回答は、常に技術に明るい共同創業者に求められます。

データウェアハウスは非技術系の共同創業者だけでなく、今後採用される全社員のためにデータを民主化するものと言えます。会社のダッシュボードは左側に移動させるべきかもしれません。メールとプッシュツールに関して、ユーザーが登録次第メールを送る必要がありますが、これについてはすぐ後にお話しします。

ヘルプデスク

次はヘルプデスクです。Product/Market Fitの感触を得られるようになると、ある時点で非常に多くのサポートチケットが発生するでしょう。それら全部が1人の創業者のGmailに届くようになっていると、とにかくその数に圧倒されて回答できなくなってしまいます。そこで、共有受信ボックスを設けて、複数の創業者が回答できるようにしておきます。

では、Product/Market Fitを達成する過程で非常に役立つと思われる各種ツールの利用方法に話を進めましょう。

ユーザビリティ改善

1つ目はプロダクトユーザビリティの改善です。世に送り出されたどのプロダクトも、不備があると同時に最初の3カ月は使い物にならないか、かなり使い勝手が悪いものです。これは、事前にどれだけの労力を費やそうとも全てのプロダクトに見られることです。プロダクトを手にした顧客は、こちらが予想しない形でプロダクトを使い始めます。

ここで役立つのがFullstoryと呼ばれるこのツールで、自社ウェブサイトを訪れる顧客のセッションを把握するのに役立ちます。簡単な例で説明しましょう。

これはSegmentが作り出したプロダクトの1つ、Personasの新機能です。ローンチ当初、このプロダクトのメトリクスは悲惨でした。顧客は集まってきたものの、入力を完了することはありませんでした。彼らはプロダクトを利用しておらず、私たちは「これではProduct/Market Fitがない。最初からやり直さないといけない」と考えました。するとその時、チームのデザイナーが「Fullstoryで見てみよう」という驚くべきアイデアを出しました。フロー作成を始めようと訪問してきたユーザーを見てみると、このボタンが一体何なのか理解していないことが明白でした。そして苛立った彼らはこのページを離れてしまいます。

このような様子が複数の訪問者に見られると、「とにかくこのボタンを修正しよう」となりました。そのボタンを修正すると、全てのメトリクスは即座に改善しました。顧客のセッションを観察することが重要な理由はここにあります。顧客の傍らで観察することも良いでしょう。Stripeの共同創業者はそうしました。そうでなければ、より拡張性のあるFullstoryを利用しましょう。

43分後のメール

私たちはこれを43分後の創業者からのメールと呼んでいます。Segmentの立ち上げ時、私たちは約43分待ってから顧客に次のような文面のメールを送りました。「こんにちは、私はIlyaと申します。Segmentにご登録いただき、誠にありがとうございます。次はSegmentにソースを追加してください。疑問点・不明点等がありましたら、いつでも私宛にメールまたは電話でご連絡ください」。

2013年にこのメールを送信して以来、何十万もの返信がありました。つまり、これがメール経由で顧客との関係を構築するということであり、疑問がある顧客はメールを返信してきます。これに関して役立つのがCustomer.ioというツールです。

これはメール配信ツールで、ユーザーが登録をすると、その30分後、40分後、50分後など配信タイミングを自由に設定でき、この内容で自動的にメールを送信してくれます。また、自社のアナリティクスデータを基にファーストネームや社名をテンプレートにすることも可能で、様々な使い方が出来ます。

データアクセスの民主化

最後に、データアクセスの民主化はより発展的な内容で、MVPステージ後の話です。Product/Market Fitに手応えを感じている人々は、GoogleのBigQueryのようなデータウェアハウスをインストールする必要があるかもしれません。Mode AnalyticsはBigQueryと共に機能するBI（ビジネスインテリジェンス）ツールで、AmplitudeやMixpanelではできないような、生データを基に様々な質問がSQLで可能です。これならば、非技術系の共同創業者でもSQLを選んで自分自身で質問ができます。

ツールの選択に時間をかけすぎないこと

私たちの顧客で見受けられる共通の失敗のパターンは、MixpanelかAmplitudeか、BigQueryかRedshiftか、完璧なツールを選ぼうと、その検討のために非常に長い時間を費やしてしまうことです。最適なツールの選択に囚われ過ぎてはいけません。AmplitudeでもMixpanelでも、皆さんのステージでは全く同じ結果が出てくるでしょう。そうした決断に極力時間をかけず、将来の変更に備えることです。

Segmentのある顧客を示した図を例に説明しましょう。彼らは約3年間に様々なツールを使用しており、2015年から2017年にかけて約8種類のツールを使用していることが分かります。その後は誰かを雇ったか、自社のツールはもはや現状にマッチしていないと判断したかで、別のツールに乗り換えています。つまり、クラス最高のツールは2年毎に変わっています。とにかく、変化への備えが必要で、完璧な選択をしようと現時点で膨大な時間を費やしてはなりません。

MVP のためのスタートアップスタック

これらはMVPプロセスに最適なツールとして私が推奨するもので、ざっと説明しましょう。

Googleアナリティクスは、どんなユーザーが自社サイトを訪れているかを理解するツールです。Amplitudeは将来的なアナリティクスのためのツールです。Google BigQueryはデータウェアハウスのためにデータアクセスを民主化するためのもので、いわばデータのデータベースです。

Modeは、BigQueryと組み合せて質問を行うためのツールです。Intercomは全顧客リストのようなもので、アーリーステージの人達にとっては実に優れたCRMツールです。Fullstoryはプロダクトユーザビリティを改善するためのものです。Customer.ioは顧客へのメール配信に使えます。会社が十分な成長を遂げたら、Google広告やFacebook広告を利用した有償でのユーザー獲得に移行することができます。

スライドに話を移しましょう。私たちがまだ若かった頃、2011年、2012年は資金的に苦しい状況にあり、かなり高価だったこうしたツールを使いたくありませんでした。そこでCRMにはGoogleスプレッドシートを使いました。高価だったAsanaやTrelloを使うようになったのは後の話で、当時はメールを使っていました。唯一お金をかけたのが、自社プロダクトのホスティングのためのGitHubとAWSでした。

Segment は以下のリンクから一部無償

そして現在、Segmentをアーリーステージのスタートアップに無償で提供させていただいております。

皆さんのためにbit.lyのリンクを掲載しておきました。後日こちらからお送りしますが、これも契約に含まれています。

また、Segmentを世に出した私たちは、アーリーステージにある皆さんがこれらすべてのツールを無償で利用できるよう、これらの顧客と多くの契約を締結しました。自社のProduct/Market Fitプロセスを加速させるためにこれらのツールを活用していただければ幸いです。私の講義は以上になります。

どうもありがとうございました。

Q&A

質問がある方はどうぞ。

話者2
数字を有意義なものとするためのユーザーベースについてどうお考えですか？100人の10％なのか、ユーザー10人の10％の1人なのか。私は［聞き取り不能］。

Ilya
成長率についての質問でしょうか？

話者2
はい。どんな種類の［聞き取り不能］。

Ilya
非常に小さなユーザーベースから始める場合、成長を有意義なものとするためにはどれほどの成長率が必要か、ということですね？

話者2
はい。数字をもう少し有意義なものとするために何が必要でしょうか？つまり、1万人のユーザーを集めてから——。

Ilya
分かりました。それはプロダクトによって全く異なります。つまり、企業向けB2Bの場合は1万、1万5千、2万ドルの契約を締結すれば、さらに大規模なマーケティングやセールスを行うための人員を雇うのに十分な資本をもたらしてくれる顧客が出てくるかもしれません。シャツやパンツを販売している会社の場合は、もっと多くの金額が必要かもしれません。つまり、これは自分がどんな種類の会社を設立しようかによります。

話者3
講義中に説明があった継続などについて質問があります。講義中に示されたチャートでは週毎に継続を追跡していましたが、私が手掛けているものは、Airbnbのようなプロダクトなので年1回、あるいは年2回レベル、あるいは、私たちのプロダクトによってトレンドを変えるかもしれません。

Ilya
はい。

話者3
ですが、これまでは年2回（の追跡）でした。

Ilya
なるほど。つまり、Airbnbのような宿泊施設賃貸ビジネスの場合、どんな継続期間で見ていけば良いかということですね？これは実に良い質問です。実際、そうした期間は自分が作ろうとしている会社の種類によります。本日の私の講義では一例を挙げて説明しましたが、世の中にはそうした情報を少し形を変えて応用する必要がある会社が何百も存在します。つまり、あなたがAirbnbなら、少なくとも顧客が自社のアプリを再訪することを期待するでしょう。彼らが旅行する頻度は？月に1回でしょうか？3カ月に1回でしょうか？それが顧客に再訪してもらいたい期間となります。

話者3
3カ月に1回かもしれないというお話でしたが——。

Ilya
はい。毎週が全ての人にとって適切というわけではありません。しかし、大半の会社にとっては適切だということです。

話者3
なるほど。常に状況を把握しておくということですね？それは［聞き取り不能］ ——。

Ilya
その通りです。

話者3
分かりました。

Ilya
そのことを心に留めておいてください。いいでしょう。どうもありがとうございました。

記事情報

この記事は原著者の許可を得て翻訳・公開するものです。
原文: Analytics for Startups (2019)