どうやってプロダクトを計測するか (Startup School 2018 #09)

f:id:bfore:20191004090138p:plain



Geoff Ralston
本日、Suhail Dhoshiをお迎えしていることをとても嬉しく思います。彼は10年前にMixpanelを共同設立した人の一人です。彼にはこれから、製品をどのように計測するかということについて話して頂きたいと思います。Gustafからも先程ありましたように、本当にユーザーが求めていて使いたいと思えるものへの構築、そしてそれは成長ではないでしょうか。それではSuhail、宜しくお願いします。

f:id:foundx_caster:20190912022747j:plain

Suhail Doshi
皆さんこんにちは。呼んでいただけたことをとても嬉しく思います。光栄です。プレゼンを始める前にひとつ。私は時々観客によってプレゼン内容を少し変えることがあります。なのでまずとても簡単な質問をさせてください。手をあげてもらえるでしょうか。

現在ゼロのユーザー数だという人はどれくらい?オッケー、ありがとう。では100からそれ以下って人は?ゼロより多くて1から100の間は? オッケー、素晴らしい。そしたら10,000人以上って人はどれくらいいるでしょうか?ではここにいる大多数の人が今はゼロユーザー数ってことですね。ありがとう。

まずMixpanelを聞いたことないって人もいると思うので、私の簡単な紹介をしましょう。

f:id:foundx_caster:20190912022910j:plain
私はMixpanelという企業を設立しました。確か初めてのコード行は2008年の10月でした。当時私は20歳。実家の自分の部屋ではじめたことです。そして10年後には300人の従業員がいる企業にまでなりましました。たくさんの資金を集めて現在は1憶ドル近くの年間収益があります。7000の有料会員数と年次収益は1憶ドル近くです。ざっとわかりやすいように2008年から現在までの数字ってとこでしょうか。ここまで良いでしょうか。

f:id:foundx_caster:20190912023023j:plain
Mixpanelがどんなことをしているかわからない人のために、こういったグラフを作っています。凝ってるでしょう。私達はその製品を、人がどのように使っているかを計測するお手伝いをしているんです。

f:id:foundx_caster:20190912023127j:plain


主に計っているのは記事を見るのにアプリを開いた際の顧客のコンバージョンレートやファネルの計算、リテンションの計測サポートをしたり。

f:id:foundx_caster:20190912023241j:plain

Gustafが今日少しこのことについて話していましたね。これを見せているのには理由があります。今日話することは、Mixpanelでも他のツールでも適応できることです。こういったものを計算するツールはたくさんあります。

ただこれだけは言わせてください。この講義が終わってからすぐにでも実用したいと思うのなら可能です。フリーミアムプランっていうのがあってスタートアップに特化しているものがあります。気軽にはじめられます。

今日の本題に入りましょう。分析とメトリクスです。

チャートや数字、見える化とかそういうのは忘れてください。今は皆さんが直面している課題の解決策を考えましょう。いったん複雑な分析や計算は忘れましょう。それは次第に理解出来るようになります。難しいことではありません。ツールを使えば簡単にできることですから。

私がやると決意した3つのことについて話します。

f:id:foundx_caster:20190912023427j:plain

当時の自分は一体何のためにこの企業を創ったのか?私の優先順位は一体なんだったのか?私は何のために?って自分自身に問いただしてみましました。

そして、そもそも私が作ったものを皆理解してくれているのか疑問に思いましました。Mixpanelはそうした面でも最初の18ヶ月間はとても大変でした。ほとんどの人が経験しているように、たくさんのことを変更しました。

次に、製品は初日から使いやすい、使いこなせると思えるものであるか。これは企業をスタートアップして製品を届ける時に必ず遭遇する課題で、今後も考えていかなくてはいけない重要なことなんです。

最後に重要なことは、今から述べることです。実際に皆、私の製品をまた選んで使ってくれるか。そう、Gustafも話していたことですね。くどいかもしれないですが、初期段階の創業者はよく間違えることだから繰り返します。とても重要なことだから。

f:id:foundx_caster:20190912023559j:plain
そこから、視点を変えてみたんです。こういう考え方をしてみました。方程式にしてみる見方が、とても参考になるんじゃないかなぁと。そしてこれが方程式です。

物事に優先順位をつけていくこと。企業の成長のために一番重要なことは何だと思いますか? とても分かりやすいでしょう?

まず、ページやアプリへ訪問する人がいます。簡単ですが、これは毎日検索していることですね。そして新規登録してくれて、その人の中でも形にして残してくれた人ってどれくらいいるでしょう。例えば動画を観覧したり、レシピから料理を作ったり、スクーターを購入して、スクーターに乗った人。その人達の中からどれだけの人が再び利用するのに戻ってきてくれるでしょう。そしてその中でもどれだけの人がこの製品を広めて、例えばお友達にすすめたり、シェアしてくれるでしょう。中には営業チームがいるかもしれませんね?そうでしょう。

この5つの要素が平等な成長と目標達成のための手段です。今日最も強調したい点は、基礎的な部分です。しかし初心が一番大切です。1,000人規模の企業だって基礎を間違える時があるんです。複雑に考えすぎてしまう。今話しているように、1,000人規模の企業も基礎を間違えることがあります。数字を計算したり、考えなければいけない課題に対して複雑に考えすぎています。

例えば25個のメトリクスを思いついて、それらを合わせて、全てを何かで割って。全てのチームに5つずつと数を割り振ったとしましょう。結構単純なことが複雑に考えすぎてしまうと、どんな企業でも、それが大企業であっても、正常に機能することができなくなってしまう。成長発展の大企業もこういった選択ミスの課題を抱えています。

Mixpanelで私がよく言っていたおもしろいフレーズがあるんです。それは全てのデータは異論を出すことができるということ。例えば数字がずいぶんといい方向にいってしまって「ああ、外が晴れていたなんて知らなかったよ」なんて言う。因果関係なんてわからないけど、人はこういう議論をするのが好きなんです。

私は3つから5つのことをピックアップして簡略化する方針を決めましました。この提案はとても皆さんにとって役立つでしょう。様々な規模の企業が間違いを目の当たりにしてきたし私自身も間違えてきましました。私は25のメトリクスが書かれた紙を持っていて、とてもじゃないけど全てを把握するのは不可能でしました。

だから現実的には、人が重点をおいていることにチームを正しい方向へと導くメトリクスが必要です。更に問題がおきた際には監視をして評価をしてくれるメトリクスもあります。とても便利なものです。そして今日はチームを正しい方向へとリードするための、役に立つ話をしましょう。

f:id:foundx_caster:20190912023929j:plain
この方程式さえあれば企業で起きた問題を全て正しく評価することができます。そうでしょう。

ランディングページ。理解しにくいランディングページを作っていたとしたら解決策がわかります。新規登録プロセスが難しすぎる場合も同じ仕組みでわかるようになるでしょう。人から評価されない製品があった場合もこの方程式さえ使えば、原因が判明します。それくらい簡単なことだから、複雑に考えるなら後回しにできるでしょう。

例えばランディングページの観覧数が急激に落ちたとしましょう。なぜでしょう。国を区分して見てみよう、何かおこったのかもしれない、国によって何かを変えたのかもしれない。こういうところから、なぜ企業が成長していないのか、評価をして考えてみましょう。だから私は物事を始める時はシンプルにって言うんです。その方が長続きするからですね。

f:id:foundx_caster:20190912024039j:plain
この2つのアイディアをリンクさせましょう。この(ページを)閲覧して継続してくれて、製品を広めてくれる人たちからなるファネルがあります。これら一つ一つのことを考える上でも今から述べる3つの段階の内どれかを解決していく必要があります。それは、理解しやすい内容であるか、簡単に始めることができるか?そして価値があるもので必要性が高くリピートに繋がるか。そしたらこれが繰り返されるんです。面白いことにAirbnbみたいに何千人もの会員がいても、ファネルを最適化していく肯定は無限に続いていくんです。これがどんな規模であってもです。常に変えていかなくてはいけないし、競合も出てくるから、そうするしかないんです。

f:id:foundx_caster:20190912024142j:plain
この5つのことを分析できて、間違いを評価できれば、もう手段はわかっていますよね。行動に移して、間違いを解決できる。チームの構成、または自分が作業をします。本当にこれくらい簡単なことなんです。それじゃあ進めていきましょう。

f:id:foundx_caster:20190912024222j:plain最初に、製品は理解しやすい内容であるか?これを判りやすく説明するために、優秀な企業の素晴らしいランディングページを見せるよりも駆け出しのスタートアップのものを見せた方が共感しやすいでしょうし、どんなものなのかより理解ができると思います。

もう一点、最悪なランディングページについて。素晴らしい引用があります。

f:id:foundx_caster:20190912024338j:plain
Paul Grahamが私たちのバッチに言っていたことで皆にも伝えたいんです。皆マウスを戻るボタンを押すべきか迷っている状態にあると考えてください。そして「これは一体何なのか、複雑だ、戻ろう」っていくところに至るまで待ってるんです。これがまさに企業がユーザーを早い段階で失う理由なんです。これだけは覚えていて欲しいんですが皆さんの最大の敵は戻るボタンであること。

f:id:foundx_caster:20190912024442j:plain
これは2009年のMixpanelの初のフロントページです。現在のロゴはこの頃とはもう変わっています。私がデザインしたんです。目を惹くでしょう。文章をよく見るとたくさんの文法が間違っているんですけど、私は書くことには自信がなかったからですね。ふと、企業のキャッチフレーズが頭の中で思いついたんです。そうだ「よだれが垂れるメトリクス」だ、って。

当時他に出回っていたグラフと違ってこのグラフは丁寧でそこに企業の価値を感じていてこの強みを主張したかったんです。もちろんこれは完全に間違っているんですけどね。ほら皆も笑っちゃうでしょう。このランディングページをその時に皆に発表することができたらよかったです。そしたら私はみんなの笑い者になって「オッケー、これは変えるべきだ」って判断ができたでしょうから。それができなかった。ユーザーがゼロだったからですね。ターゲットはスタートアップの中小企業なのか大企業なのかそれともアプリの開発者なのか。全く検討がつきませんでしました。的をしぼれなくて全体にターゲットしたかったんです。

ランディングページでできる間違いの集大成のようなものがこれです。少なくともこの会員登録ボタン、そこだけは少しわかっていましました。スライドするボタンを最適化するやり方を教えてくれたAdoraに感謝です。ボタンの色は黄色にしてみたんですけど、この中で唯一当たっていることと言えばこれくらい。なんとなく完成した、会員登録ボタンです。そしてたくさんの努力と改善を繰り返してたくさんの顧客と話をして、分析をいっぱいして最終的に数年後、こうした結果になりましました。

f:id:foundx_caster:20190912024625j:plain
まずロゴを変えましました。会員登録ボタンは馬鹿でかくて黄色。たくさんの時間と私達のエネルギーをついやして解ったこととして、「よだれがたれるメトリクス」から、「行動はページ訪問よりも雄弁だ」に変更しました。

しかしあなたはこんな疑問を持つでしょう。「よしわかった。でもGoogle Analyticsとどう違うの?」と。フロントページのキャッチフレーズは5年間程採用されましました。他社とは差別化する、契約の計算方法です。Googleはページ観覧数に特化していたけれど私達は違うことをしてみたんです。私達はもっと、そのアプリで人が何をしたか、心に響いたかとかに着目しました。

そこから私たちは説明をし続けましました。人にホームページまで飛んでもらうように説得して、いくつかの特徴を見てもらってそれが価値があるものか。私達は広告文には利益思考に忠実で、製品価値があると思ってくれる顧客には要望があれば研究事例を見せたりもしました。

この後4つ程改善した点があります。これをプレゼンしたのには理由があって、それはこれが一番続いたってことでもあるからです。私達がやっていることやできることが一般的な本質であり、これが続いた証明でもあるからです。デザインはたくさん変えましたけどね。

本題に入りましょう。

f:id:foundx_caster:20190912024809j:plain
どうやって計算するか。人が本当に意味を理解しているかどうかをどう計るか。自分がしていることを相手は理解しているかどうか。試みることと数字をシェアすること。とても簡単なことで、会員登録への手間をかけてくれたかどうかなんです。会員登録してくれたとしてもその製品を使ってくれてるかは別です。それはまた別の話になる。会員登録をするってことは例えば「わからないけど、興味深い。まぁ製品を試してみようかな、面白そうだし知りたいから。」これだけでも皆さんがやっていることは、人々に価値があるものかを教えてくれます。

次に試してもらいたいことなんですが、ページに来てくれた人と、その後にそこから更に何かをしてくれた人の比率を出すこと。戻るボタンを押すことより、セグメンテーションとかファネルとかリテンションのボタンを押したか。それとも別の何かに興味を持って更にそこから何かしてくれたか?BtoB企業がいっぱいありますよね。

ここで簡単な質問です。ここにいる人のどれ位がBtoB企業を創っているでしょうか?ありがとう。部屋半分位の人ってとこでしょうか。BtoBの観点から話をしましょう。

一つ発見したことがあります。ユーザーのほとんどがページの上にある料金ページへのリンクをクリックする、ということです。BtoB企業の人なら判ると思うんですが、2番目か3番目位に最もクリックされているリンクです。これは競争率も激しいし人が料金ページをクリックするということは、例えば「オッケーなんだか価値がありそうですが、いくらでしょう?」という感じです。

そしたらBtoCだった場合の話をしましょう。BtoCの長所は100とか1000のユーザーがいる中でABテストをしてみたりすることができるということです。それがBtoBだった場合は達成するのが難しいんです。Gustafの言っていることは完全に正しい。できる限りたくさんのことを試してみて行動に移して、企業キャッチコピーをABテストして、人に反響を与えるものは何かってことを探ること。これらを実践してみてください。これが解決策になります。ここまで大丈夫でしょうか?そしたら次にいきましょう。

f:id:foundx_caster:20190912025017j:plain
2つめは、プロダクトは始めやすいか。これに関してはたくさんの人が…この最初の2つに関していえば最初の段階で簡単な手順であれば、わかりやすいでしょう。企業を始める時、たくさんの人が特徴をかっこよく見せたがる。それにあまりにもエネルギーを費やしているんです。そして顧客に利益になる、価値があると思ってもらえるものを作ります。ただこれの問題は、最初の段階で間違っていたらその後の段階が正しいはずではないということです。例えば「果たして私の製品は、始めるのに簡単であるか」ってことを考えた時に、パスワードを忘れたときの機能が必要かというと、そもそもその機能を利用しようと思うユーザー数の割合が少なければあまり意味がない機能ですから。

そういえば、あるYC企業でZenterといういつの間にかGoogle Slidesになっていた企業があります。Robbie Walkerが、ある火曜日の定例会でこんなことを言っていたのを覚えています。「彼らのオンラインパワーポイントでは、保存ボタン機能すらついていなかった」ってですね。彼等は自分達のユーザーが「これ、保存したい」なんて考えに至るまでに、そもそもパワーポイントのプレゼン製品を使ってくれる人なんかいるのか、と思っていたそうです。これを知った時「なんだって。ありえない」と思いました。同じようにMixpanelの最初の18ヶ月間はパスワードを忘れた、という機能は存在しませんでした。無情にも私達は顧客に価値あるものを優先して与えたかったから。そこまで、この機能への要望も受けなかったしですね。

重要なことなんですが簡単な使い方に関して。毎日皆さん達がしていることで例えましょう。

f:id:foundx_caster:20190912025156j:plain
それは文字通りワンステップです。Googleを開いて検索をかける。これで即座に製品を利用しています。会員登録も、キャプチャーも、一切ないでしょう。

もう少し複雑な例を挙げてみましょう。

例えばAirbnbは10段階で成り立っています。私達はAirbnbとしばらく仕事したことがあって、初期ユーザーの最適化を手伝う経験をしたことがあります。確かAirbnbは11ページ位から成り立っているんですが、まずAirbnbへ行って、入力画面へ行って、そこから検索結果に飛んで、検索結果をクリックして、そこからまた更に区分された結果をクリックして。というのも値段別で比較したいでしょう。こうしたとても複雑な段階から成り立っているんです。オンライン上の予約の裏にはこうした仕組みがあるんです。

Airbnbの課題はA)何をしていて何を提供しているか、そしてそれがどのように世界の役に立つのか、を伝えること。そしてB)皆がいち早く始められて更に簡単にできるにはどうすればいいか、でした。

f:id:foundx_caster:20190912025242j:plain

そしてこれが現在のAirbnb.comです。シンプルな広告キャッチコピー「ユニークな宿泊先や体験を予約しよう」にまとまりました。簡単な入力だけして検索をするだけ。これが彼等の第一歩の経験です。

これが彼らの全体的なフローではないです。ユーザーが初めて使用する際の事例です。Airbnbに辛うじてあるものを彼らは他で探せるかということに対して、自分達のせいにしました。これはシンプルに聞こえるかもしれないし、簡単に作れそうな気がします。そんな難しいことじゃないでしょう?TwitterのBootstrapを使えば瞬時にできます。

本当に複雑なのは、それが本当に正しいことを見つけることです。それが一番難しいのです。これはきっと…気付くまでには50回は修正をしています。ここまでの段階に辿り着いた企業にとっては現在の最適です。たくさんの労力と作業を細かく砕いていかないと、ここにまで持ってくるのは難しい。それじゃあここで質問です。

f:id:foundx_caster:20190912025445j:plain
「オッケー、それじゃあどうやってそういったことも分析できるのでしょうか?」

それは簡単。ファネルです。どれくらいの人数がランディングページから会員登録へ進んでくれて、また動画を観覧したり価値あることをしているでしょうか。Airbnbの事例では検索をかけることだけ。最低でも一つのことを検索しました。一旦それを乗り越えれば、全ての初期ユーザーの経験を分析すること。

ここでもう一つ、例えばゲームに例えてみましょう。ゲームには至っては20個の段階が必要になってきます。私は何百ものゲーム企業のファネルを目にしたことがあるんですが、20から30の段階から成り立っていたとしても、実際には高くコンバートできるんです。例えば20段階なのに80とか90%のコンバージョンレートで出てくる。諦める人が一番多いのは最初の2、3段階までです。

最後の点はスピード。これはたぶんたくさんの人が実行していないことです。これによってどれだけ早く誰かが取り掛かるか、これを皆さんの経験がどれだけ複雑か教えてくれます。時にはゆっくりでもいいんです。企業の規模にもよるけどスピードはとても重要です。何かを解決するのに5分掛かるのか、それとも1分しか掛からないのか。

Mixpanelの場合はとても複雑なフローがありました。会員登録はもちろんのこと、コードを書けなくてはいけませんでした。とても複雑だったんです。これがマイナス面でもありました。私達は不確かでした。人々が…Google AnalyticsではコピーしてJavaScriptをペーストするだけ。Mixpanelでは実際にコードを辿らないといけないからですね。だからこんな質問を自分達に問い掛けたんです。これは十分に簡単なことなのか?スピードは私達にとっても最も重要でした。どれだけ速くこれを人ができるか。

ここで、役立つことを教えましょう。

f:id:foundx_caster:20190912025647j:plain
私が見た企業がやっていることで、一般的にはあまり良くないことをお知らせしましょう。

第一に皆さんはスタートアップです。皆さんは詐欺トラブルには縁がありませんよね。皆さんのサービスをスパミングする人はあまりいないでしょうし、偽アカウント登録者もあまりいないでしょう。こういった問題を抱えていなければ、その問題のために最適化する必要はありません。これだけは理解しておいてください。

一般的にメールや文章確認は最大のユーザー減少の原因になっています。まさに100%の人の内もどってきてくれてメールの確認をクリックしてくれるのは30%から40%くらい。それを最適化するためにたくさんの時間をついやして、状況を更に最悪にさせるのは、それが迷惑メール扱いされないことを神に祈るしかないということ。本当に恐ろしい経験なんです。本当に本当に気を付けて、これだとたくさんのユーザーを失ってしまいます。自身の初期ユーザー経験を繰り返し改善することはとても重要なことなんです。これは終わりの見えない工程。これは一生続く作業なんです。特に、製品が変化するにつれて誰か一人でも責任を取ってくれる役割をつけたり、このことにだけ集中して考えてくれる人がいることがとても重要です。

そして最後に、多くの企業と製品はあまり上手ではありませんが、ユーザーが広げてくれる機能を製品の中に入れてみることです。Mixpanelの事例ではこれは不可能でした。何故かというと、個人データが必要で会員登録してもらわないといけないからです。そして実験してみたんです。例えばJavaScriptをコピー、ペーストして会員登録せずに、私達でそのデータを集めてその後に会員登録するやり方はどうかと。実験はしたんですがですね。これを達成できたらとても素晴らしいことなんです。これを達成した良い例としてAirbnbとGoogleがいます。ただ、このルールには例外があります。例えばPinterestは会員登録を必須条件としています。以前はそうではなかったんですが、現在はそうなんです。それには納得できる理由があります。

f:id:foundx_caster:20190912025852j:plain
最後に大事なことを一つ言い残したいんですが、皆また製品を使ってくれているかどうか。

f:id:foundx_caster:20190912025941j:plain
私にとってはこのメトリクスがほとんどのスタートアップが大いに無視していることだと思います。そして大体これを理由に、何百万人とユーザーがいても潰れてしまった企業を見ました。覚えている限り、15の異なった企業が、口コミで成長してその後消えてしまいました。企業は死んでしまったのです。

f:id:foundx_caster:20190912030104j:plain
これを私は「鮫のヒレ効果」と名付けました。何故これを「鮫のヒレ効果」と呼んでいるかというと、一つはMixpanelでは最初のデータ標準設定の線の色が青だからです。私にはいつもこれが水の中にいるヒレに見えていたんです。

皆さんたちは必死になって、口コミで広がる方法を見つけようとするでしょう。FacebookとかInstagramとか何でもいい、とてつもなく口コミで広がって「見ろよ。黄金を掘り当てた、数え切れない程のユーザーを得て私の人生は最高だ。億万長者だ。嬉しすぎる」って皆さんはなるでしょう。ただ問題があります。あまり早い段階でこういったことが起こると、リテンションを考えずに懐疑的になり、企業にとって損害になります。

どうなるかというとアプリはひろく広まり、最終的にはユーザー喪失率がある限度まで達して新しいユーザーを得ることができなくなります。いつだって極めて理性の働く人間でいようと思っていてもそれはとても難しいことなんです。アプリがバイラル化し広がれば、皆さんはただ「オーマイゴッド、この瞬間を利用しなきゃ」「私がこのチャンスをものにできなかったら、私が解読できなかったら、ライバルが見つけて先をこされたらどうしよう、だから最適化、最適化、最適化」と、あまり価値がない方向へ行ってしまう。そしてユーザーを全て失い、復活させるのはとてもとても難しくなります。

リアクティべーションキャンペーンをしたことがある人に話を聞いてみるといいでしょう。一般的にリアクティベーションキャンペーンは上手くいかないですね。ユーザーはあの製品をもう一度使ってみてもいいかも、とチャンスを与えてくれるまで、再度考え直してもらえるまで、ユーザーを失ってしまったら戻って来ない。

こんな返答をしてはよくないです。起こってしまったことに対してこう返答する人が多い。「あーあ、こんなにユーザーを失ったのはアプリに価値がなかったからです。」とか「もう一度ユーザーへメールでも送ってみようでしょうか。戻ってきてくれるかもしれない。」これは本当におすすめしません。維持する方法を真剣に考えて欲しい、

f:id:foundx_caster:20190912030330j:plain
このような人になって欲しくないからですね。この「鮫のヒレ効果」はとてもとても悪であります。

Livingsocialはとても良い例です。たくさんの人はLivingsocialが元々Facebook上のアプリでグルーポンとか取引関連とは何ら関係がないと思っているでしょうけど、その後とてつもない速さで口コミが広がったんです。何の製品だったかは詳しく覚えていないんですが。Livingsocialは、グルーポンと競合するためには企業全体を方向転換しなくてはいけないと考えました。当時のアプリはリテンションに特化したものではなかったからですね。

f:id:foundx_caster:20190912030426j:plain
割と単純に、人がどれくらいリピートして製品を使ってくれるかってことを計算する方法があるんです。ほとんどの人が知っていると願っていますが、分かり易い例えを上げると、新規ユーザーを把握することです。新しいユーザー、たった今会員になった人の内、何パーセントが一週間後、または30日後にもどってくるか。より期間を空けた状態で見ることがとても重要なんです。一週間後っていうのはメトリクスとしては厳しくありません。そして重要なのはどれくらい短期間の内にユーザーを失ったかを見ること。そして新しいユーザーをどのように増やすか方法を考えないといけないけど、それに対して新しいユーザーはどんどん多くなってくるから、把握するのが大変になりますよね。

2つ目は単純にデイリーアクティブユーザーについて。賛成しない人もいると思いますが、私は月間アクティブユーザーは無能なメトリクスだと思っています。これはユーザー登録者の数とも似ていて…だってユーザー登録者の数って馬鹿げたメトリクスだと思いませんか? 確か7、8年前にLinkedinが出てきて「我々は2憶のユーザー登録者数がいる」って発表していて、私は誰もLinkedinを使っている人の数になんか感心があるわけないって思っていたのを覚えているでしょう。今の月間アクティブユーザー数がそれにとても近いと私は最近になって考えています。デイリーアクティブユーザーを維持するのはとても大変なことなんです。ほら、だって毎日の中で使っている製品はどれだけあるでしょうか?スマホを開いてみてください。今入っているアプリの中で実際に毎日使っているものってどれくらいでしょう。とても厳しいメトリクスだと思うんです。

例えばBtoB企業でこのような考えがあるとしましょう。「う~ん。解らないけど今営業をかけているから、確実に確実にデイリーアクティブユーザーを維持しているのでしょうか。特に土曜日と日曜日って」。そして実際に日頃の利用率とチャーンレートの強い相関に気付いたんです。製品を使わないから支払わないという人の率のことです。ユーザー数も少なくてよくて、デイリーアクティブユーザー1.4人が1ドルのチャーンを10%以下に減らします。すごいことです。なのでデイリーアクティブユーザー数を測定することはとても重要なんです。

最後に再度BtoBの観点から話をしましょう。BtoB企業は起業して間もなくの時によく間違えること。それはBtoB企業だけにいえることではありません。サブスクリプションを取り入れている企業が該当します。そんな企業が存在することも、どんな形でサブスクリプションを提供しているのかもわらないけど、瞑想アプリをやっているとかそんな感じのことです。月次レベニューチャーン、つまりお客様に月々請求してたら、年間で請求する企業はたくさんあるけれど、ほとんどのスタートアップが月間で始めます。年間の制約は時々、初期採用者にとっては難しいことだからですね。ただレベニューチャーンを計算するだけです。

ある事例を挙げてみましょう。そうだなぁ、レべニューチャーンが月々7%だとしましょう。よし、もしかすると皆さんは「やったぁ。残りの93%のドルを手元においておける。これって本当にすごいことです。俺ってすごいすごいすごい、今絶好調だ」ってね、ただ問題点があります。7%のマンスリーチャーン(月間解約率)でこれを12ヶ月で計算すると、実際58%を年間収益より損失していることになります。これは結構厳しいことです。

何故かこれは数学的に誰にも直感的じゃないんです。それは私にもなぜだかはわかりません。私自身も始めの頃数学的に直感的じゃなかったんです。マーケティングやランディングページをよく見せるためにたくさんのエネルギーを使って、開始の流れも改善しているのにです。こんなに努力しているのにリテンションしてなければその7%を毎月損失して、何かしらその58%分を、年が明けるまでに埋めていかないといけないんです。

例えばこんな考えをしていたら「すごい100万ドル儲かって58万ドルの損害ですが、この状態で一年を迎える」。成長のためには、これ以外のこともしなくてはいけなくなる。ある一定まで収益が、ぐんと上がれば、それを保つことにとても難しさを感じ、とても長いアーク状の「鮫のヒレ効果」となっていることに気付くでしょう。

自分でマンスリーチャーンレートを見ることがとても重要です。負債問題の原因ですから。ただ負債にも最悪のものもあります。取り返しのつかない負債です。同じ比率であっても最終的にユーザーを得ていれば起こることです。

期間としては4、5年後のことです。この話をするのには理由があって、ある創業者達と話をしていたんですが、初期の頃のMixpanelもとても苦しんでいたことなんです。解決策として製品をあらゆる方向で利用したり、それは料金面でもそう。これに関してはたくさんの方法で試みることができるけど、私自身このことで悩まされてたくさんの悪夢を経験して今までで一番の不眠の原因にもなりましました。これはとても重要なことですから、今ここにいるBtoB企業の皆に伝えたい。この数字に関して本当に考えてください。グラフのようにですね。そして「私達の成長率は、解約され続けた場合はいくつでしょう」ってこと。これはとても重要なんです。

それじゃあ、2点確認したいことがあります。まず、ここにいるほとんどの人がユーザー数がゼロだから、「一体何を計算したらいいんだ?もし50以下のユーザー数だった場合は?」ってなってると思います。

f:id:foundx_caster:20190912031034j:plain


実は「ユーザーと話をする」以外に良い方法が見つかりませんでした。Mixpanelが実践した事例を皆にも教えてあげたいんですが、いいでしょうか。

当時ユーザー数がゼロで、よだれがでるメトリクスとしか書いていないあのページだったとき、ある手段を踏みました。確か10か11とか12人の顧客がいて全員をGchatなどのインスタントメッセンジャーに追加してみたんです。最近の人達は何を使うかよく解らないんですが、WhatsAppとかでしょうか。実はWhatsAppとかGchat、何でもいいんですが、そこで顧客にせがんで問いただしたんです。確か一度ファネルUIのデザインを再検討していました。私達は元々垂直ファネルを使っていたんです。ですが競合他社が水平のファネルでその方が使い易そうに感じたんです。顧客も水平の方が直感的に感じたでしょうし。正直どうやったらデータを集めれば良いかわからなかった。だってどちらのUIが好みかなんて、どうしたら知ることができるでしょう?私と共同創業者しかいない中でそんな特徴のABテスト、できっこないでしょう。これを計る現実的なやり方なんかなかったんです。

私がしたことといえば、私がより優れていたと思った水平ファネルのUIをかなり手を抜いてグレースケールで作ってみて、垂直の方は、もっと美しいカラフルな色にした版のものを作成してコントロールグループとしました。そして11人の顧客にどっちが良いか聞いたんです。そしてこれを印象付けたくて、Gustafも言っていたけど、A/Bテストで重要なのはデルタ、「違い」です。正確にはABテストではなかったが、IM上で11人の顧客に聞いた所、後日フィードバックと共に11人中10人が水平ファネルが良いって言ってくれたんです。

そこからはひたすら作って、築いて、そこからは順調に進んで成功したから振り返ってみると正しい判断でしました。グラフを見ることよりも顧客と話をするのは、うんざりしてしまうかもしれないけど避けては通れないことだと思います。今のは顧客と話をすることで得ることができる素晴らしさの一例です。

どんなにデータを細かく分割りして、区切ろうと、どれだけ数学的になろうと、お客様に話すことで得られる情報より価値があることはないし、自身の直感も構築されるから絶対にやるべきです。当時私がやっておけば良かったと思っていることがあるんですが、それは書き留めておけば良かったということです。たくさんのフィードバックを書き留めておけば良かった。きっと役に立ったでしょうし。私の共同創業者も従業員の将来を支えて次の出発地へ旅立たせてあげることができたでしょう。役割を果たすというよりも私と旅をしているかのように感じて欲しかった、私には彼等が分散しているように感じたから。

最後に伝えたいことは、最初にも言ったことでもあります。非常に多くの人がアナリティクスに関して間違えることなんですが、考えすぎて、必要以上にややこしくしているんです。洗練されすぎていないといけないって考えすぎて、様々な予想もしないコーホートを把握していないといけないとか、ダッシュボードに30項目のうんざりするような仕事量を記しています。ミッションコントロールで負荷が掛かりすぎています。これは必要ないんですよ。私もそんな状態になったけどうまくは行かなかった。この方法では会社を経営するのはとても難しかったことを覚えています。

ここでもう一つ起こる出来事があります。チームを立ち上げる時に彼等に困惑を与えているということ。30のうんざりする項目の中でどれから取り掛かるべきか?私が必要だと思うことを紹介しましょう。

f:id:foundx_caster:20190912031511j:plain
人間は、簡素化していることを必要とするから一つ目指すべきメトリクスを決めることが重要です。この場合の目指すべきものは企業に賭けている数字が重要です。その数字が下がってしまったら会社が潰れても文句は言えません。その数字が上昇すれば、皆さんは宇宙最大の前進をしました。

そのメトリクスとは何か?選択したメトリクスを一生とはいいませんが、6ヶ月間は変えないこと。そのことに時間を費やして、実際このメトリクスは間違っていると気付いたとき、選択をすることが初めてだったでしょうし、だいたい最初のメトリクスは正しくありません。そうした場合には変更しても良いでしょう。ただ、次の6ヶ月も専心して欲しいと思います。そして優先することを決めて、始めにやらなければいけないことが、それをプリントアウトしてオフィス中に貼り付けることでも良いので是非やって欲しいです。そうすればチームの皆は熱狂的に意識をして、会議へ訪れた時に「そうだ、数字が下がったけど、どうすれば良いでしょう?」ってなる。

どうして数字が下がったのか、上がったのかを発見した時。その時に洗練され、磨き上げれば良い。その時は数字を細かく分割りして、維持することを理解して、ファネルを計算したりすればいい。ただ、シンプルにまとめることですよ。

次に実現不可能なことはやろうとしないこと。3つか5つに他にやるべきことをしぼって、少ない方がいい。それに集中するんです。大企業も…ほとんどの大企業はこれをしなくって、仕事への勢いを困惑させています。監視していた数字があるのは構わないが、そればかりに囚われては良くない。

それじゃあ、ここまででしょうか。

f:id:foundx_caster:20190912031732j:plain
今日は基礎的な話をしました。もっと高度なテーマを希望してる人には用意があるから後程読んでみてください。本当に役立つことが書いてあります。

私のお気に入りはAndrew Chenの「次の機能の誤信(The next feature fallacy)」です。次に作り出す機能が企業の軌跡を変えてしまうと考えてしまう傾向に関するものです。例えば次に出す機能はとてもすごく、私たちも大成功するでしょう、と。本当にこの記事をおすすめします。絶対に読んだ方が良いです。高度なものを探しているのであれば、私のお気に入りでもあるからフォローしたり読む価値はあると思います。今日私が話したことよりもたくさんの知識を与えてくれるはずです。

最高、ありがとう。Geoff、質疑応答の時間にしましょう。オッケー、それじゃあ、どうします。

Geoff Ralston
私が選ぶんでしょうか?

Suhail Doshi
私は平等でいたいんです。どの話し手も皆最前列から選んでるでしょうか。どうでしょう。

女性
コンバージョンとはどういうものを指すのでしょうか。ページ訪問から登録に至った人とするのか、登録者とアプリを使っている人とすべきなのか。

Suhail Doshi
うん、問題点ですね。いいメトリクスは何かってことです。5つのステップを踏まえた上で、ページ訪問から新規登録、製品使用、この工程の中でいいコンバージョンレートは何だとろうと考えた時。メトリクスのチャート部分はビジネスによると思うんです。BtoBビジネスの場合、ページ訪問から新規登録までは4〜5%のコンバージョンレートが妥当だと思います。確かSlackの創業者Stewartと互いのランディングページが似ているから意見交換をしたことがあります。Slackのコンバージョンレートを聞いた時、ページ訪問から新規登録までは4〜5%って結論になりましました。これがAirbnbの場合になるとまた話は別だからわらないんですが。彼らの場合はランディングページから予約したい目的地の第一希望を検索できるからですね。Mixpanelはブログにたくさんのメトリクスを公表しています。マーケティングチームは細かくメトリクスを発表するんですが、ゲーム会社とかeコマース、BtoB企業、ソーシャル系、動画系とか色々あると思うんですが、リテンションはどれくらいであるべきか。これらの企業を検索してみると様々なメトリクス報告を見ることができると思うんですが、ほんとうにビジネスによりけりって感じでしょうか。

男性
会員登録の新規登録プロセスですが、数字が異なるのをどのように分析すれば良いですか。例えばアカウントを作成して、名前、パスワードと様々な手順を踏んだもの、対して、GoogleやLinkedInを使った簡易的なサインアップどちらが良いですか。またこれはどうやってトランスファーされますか。後に述べた一回クリックのオプションの方が会員を増やせますか。またそれを使わないといけないことによってユーザーは減少すると思いますか?

Suhail Doshi
質問は何が一番コンバージョンにふさわしいかってことでしょうか。例えば、Facebookみたいにソーシャルボタンを押すだけで認証されるものと、一般的な新規登録とだとどちらが、みたいな。この手の質問に答えるには、もっと細かな情報が必要でしょう。今の質問だけだとはっきりしないし、ここで私は答えを出すことはできません。言えることとしては、全く別の競合でない業界の友達で、そういうことをやっている人に聞いてみることでしょうか。「皆さんのコンバージョンレートはどんな感じ?何か試してみたことはある?」って。この数字って実は現実ではそこまで隠すことではないと思うんです。競合に聞くわけにもいかないですが。こういったことってすごく隠さなきゃいけないことでもないから、もしかしたら数字を教えてくれるかもしれないし、そうすると皆さんは貴重な6ヶ月を無駄にしないですみます。それか自分でやってみてください。別に秘密にする必要はないから、私だったらそれを解決する方法を教える。でもスタートアップや大企業に働いている友達に聞いてたら彼らも実は話を共有したかったりして、良いんじゃないでしょうか。

男性
ユーザーが製品を簡単に始められる方法を話してくれましたよね。それで製品を使ってみてってところの後に出てくるスライドなのですが (聞き取れず)。シンプルにしつつ情報をページ閲覧者に伝えるというバランスはどうやってとっているのでしょうか?なぜユーザーはあなたの製品を使うのでしょうか?ブランドロゴを消したのは認知度がすでに上がったからで…

Suhail Doshi
はい。その通りです。

男性
その2つはどうやってバランスをとっているんですか。

Suhail Doshi
ああ。そうですね。ここで質問なんですがAirbnbのランディングページはとてつもなくシンプルです。もしたくさんの人がAirbnbについて知っていて、Airbnbをなんのために使うのかも知っている状態だとします。そこで、シンプルな状態と複雑なのとのバランスをどうするのか。

とても良い例がCraigslistです。何がってクレイジーなんです。フロントページに行くと、完全にイカれてる。Amazonだってそう。Amazon.comです。Amazonはすごいブランド認知されています。Amazon.comへ行ってみると「すげぇ。」ってなるでしょう。何百って数のものが一度でやり取りされています。そうでしょう?どうやってこの企業はバランスを見つけたんでしょう、どうやってこんな複雑なことを管理する方法を見つけたんでしょうって。それは正しい方向へと導いてくれる原理が最も重要であるということ。何のために最適化をするのか。そうでしょう。

Youtubeの場合を挙げてみましょう。とても良い例だからYoutubeの話をしましょう。YoutubeはGoogleのように、よく見るものは?何が見たい?って機能にすることができるのにしていません。こう考えてみましょう。Youtubeのチームは何のために最適化するのでしょうか。彼等はただ皆に動画を見てもらいたいだけなのか?Airbnbはどんなホテルでもただ検索してもらいたいだけのためなのか?なぜホテルじゃなくてAirbnbか。チームは最初に仮説を開発するということがとても大事なんです。何が一番重要か考えて、そこから試して、理解していくこと。またデルタの話に戻るけど、つまり人が何に引き寄せられるかってことです。とても簡単な体験なのに、皆困惑していて、それに時間を取られたくないとか、でも皆さんから頼んでみると新しい情報が入ってくるかもしれません。大切なのは誰かに始めてもらうのに、追加することは最小限であること。Amazonはあのフロントページを何千回とテストをした後、最適だって判断したんじゃないでしょうか。

男性
ご自身の経験からでよいのですが、2分を超える動画は短いといえるか…

Suhail Doshi
そうですね。製品にもよるけど。Mixpanelでの事例を話すると…えっと質問は動画ですね。1、2分のチュートリアル動画は効果的か。難しい問題ですね。私らもフローの中でチュートリアル動画は作ったことはあるんですが、あまり見る人はいなかったですね。この実験からいえることは、チュートリアル動画をみる人は少ないってこと。たしか最初の3ステップを作ったくらいで削除しちゃったんですが。

けど、そこから面白いこともわかったんです。結果を見たり、計測したりしながら、結果としてわかったことなんですが。Mixpanelの特徴は、ユーザーが取っている全ての行動を監視することができるということ。私は文字通り全てのユーザーはもちろん、その人が製品を使ってとる行動も全てを見ていたんです。まるで不気味な人みたいでしょう。最終的に…これを何百回とやっている内に、何百回も見ていると、新しい感覚が生まれるんです。そうだなぁ、何て説明すればいいかなぁ。アイディアや仮説が生まれてきて、そこ理論と実践が必要となってくる。企業っていうのは理論に偏りがちで最終的には間違った方向に行くこともあるけどですね。変な方向に最適化しちゃう。めっちゃ黄色くてめっちゃ大きいボタンを採用しちゃうとかですね。でもそれって別にユーザーは幸せじゃないですよね。

話が逸れたけど、質問に答えましょう。何が解ったかというと、たくさんの人がサイドメニューオプションをランダムにクリックしていたんです。仮説としては、ユーザーは皆まだMixpanelをちゃんと統合できてないから、見るものなんてないのに、ただリテンションとかファネルをクリックしてなんでそんなことするんでしょう?と思った。私の仮説は、彼らは製品がどんなことをするのか、何をしてくれるのか、好奇心があることに気付いたんです。だから私等はABテストを実施しました。画像を見るだけのレギュラーバージョンと、動画をみるバージョンとでですね。そして、ユーザーが受容する要因を調べたんです。そうすると、最初の受容、コンバージョンレートを左右するものは動画だったんです。ずば抜けて。もっと簡単なテストも実施していました。ユーザーにメールで動画を添付して「この動画を見てください。超基礎的な内容です」ってメッセージ入りで。ウェブサイトに載せることすらしなかったんですが、素晴らしいコンバージョンレートでした。私達は動画を追加することに決めました。なんの表示も付ける予定のなかったタブ全てにですね。だから今から私がいうことはとても重要なんです。ものにもよるけど、重要なのは自分で実験による仮説を開発すること。机上の理論じゃなくて実践します。それから理論で分析します。そうすれば仮説が実際に正しかったのかがわかるからです。

Geoff Ralston
一番後方の方。

男性
質問があります。チャーンについてですが、レベニューチャーンはどのような関係性がありますか。

Suhail Doshi
そう。年間で58%の収益損失があります。

男性
リテンションを見るように言ってましたよね。

Suhail Doshi
そう、この2つはちょっと違うんです。一つ目はユーザリテンションでもう一つはドルチャーン(レベニューチャーン)。ドルチャーンの場合は、例えば誰も使わない製品があるけど企業は金額を支払い続けたとします。おそらく、多くの企業は支出や従業員数を切り詰めてくることになると思う。それに関する予算も削減されるからですね。ドルチャーン(レべニューチャーン)に関しては、たくさんの…例えばBtoB企業。その製品を使うユーザーがたくさんいるかもしれないし、例え一人でも使うユーザーがいれば、企業はその製品にお金を使い続けます。リテンション率は40%とかでもいいかもしれません。企業がお金を払い続けることができるならですね。でも、ドルチャーンが毎年40%失われていく場合はとても厳しいし、リテンションにもよくありません。だから、ユーザーリテンションとドルチャーンっていうのは完全に連動性があるってわけでもないんです。直接関係しているわけではない。メトリクスとしては例えば、チャットアプリみたいなのは使用頻度も高く使われてて、リテンションは60-70%くらいです。極めてリテンションが高い部類ですね。Slackみたいなものだとおそらく80%くらいのリテンションです。信じられない数字です。その一方でMixpanelは始めた当初の最初の年はたしか30とか40%のリテンションで、あまりよくはありませんでした。始めた頃の数年はこんな感じでした。

男性
メトリクスは確か4個ありましたですよね。あれはつまりハードウェアスタートアップで、構築したものをやりとげないといけない感じでしょうか。

Suhail Doshi
うん。質問は、あのメトリクスはハードウェアスタートアップに適応できるかってことでしょうか。できない理由はないと思いますが。私らはJawboneと長い間お付き合いがあってFitbitとも仕事をしました。ほとんどのハードウェアは…皆さんのハードウェア企業はソフトウェア部品が付いているものでしょうか?

男性
サブスクリプションモデルといったところです。

Suhail Doshi
わかりました。そしたらハードウェア企業でサブスクリプションなんですね。できりましょう。ハードウェア企業にとってはついていくのが大変かもしれないけど、それはできることですよ。今すぐにでもできる。ほとんどのハードウェアは何かしらインターネットに接続されているから、できない理由が思いつかないよ。例えばほとんどスクーターの会社は全てハードウェアに繋がっていて、それぞれにソフトウェア部品が付いているんです。たいした違いはないでしょうか。

男性
(聞き取れず)

Suhail Doshi
初めは様々な企業規模を対象にしていたんですが、修正した第2弾のMixpanelのランディングページは確か2012年。単純に、最初の取り決めはせず全く異なった仕上がりにしたんです。もっとマーケティングや、単純にどうやったらここの段階から次の段階へ行けるかを解決できるかということに特化したんです。ここでの要点は、私の顧客がどんな人達なのか私はさっぱり解っていなかったことは伝わっていますよね。そこから数年後、ユーザーと話してみて、どの位の規模の企業なのか聞いてて、会員登録してくれたら、ここでやってもらってもいいんですが、私達は実行しなかったけど、たくさんの時間を使いました…当時Mixpanelに会員登録をしてくれた全員がスタートアップだったのが判明しました。私達の事例ですが、それを中小企業って呼んでいました。

男性
(聞き取れず)

Suhail Doshi
大企業と取引しないって結論が出るまで、6ヶ月は掛からなかったですね。彼等に向けた製品自体もなかったからです。需要がなかったから。それに時間を費やすこともなかったから。私達の製品を喜んで試してくれた人達はリスクを負っても良いと思ってくれている企業でした。こういった企業は元々何もないところからスタートしているからやり易かったのです。何もない企業を狙った方がリスクを負ってもだいたい喜んでくれます。私がよく利用するコツがあるんですが、料金を請求して「ノー」って言われてしまったら、彼等に無料で提供するんです。何故ならばその後のフィードバックの方が重要だから。いつも料金を払ってくれそうかどうか様子を伺うんですが、だいたいは中小企業だってことが判明したんです。私等にとってこれは閃きでした。思いっきり顔を引っぱたかれたかのように。理解するのに、そこまで難しいことではなかった。

男性
(聞き取れず)

Suhail Doshi
ここで正したいんですが、新しいユーザーを取り込みたくて必然的に製品を作っていたわけじゃないんです。質問は「パスワードを忘れた」機能を作らない決断に至ったことでしょうか。生活の質の製品対新規ユーザーを得る製品を作るタイミングの違いはなんなのか。そう、私達はしませんでした。新規ユーザーを得るのに製品構築だけが必ずではないと思ったから。私らは新規ユーザーを得ることと既に存在するユーザー維持のために製品構築をしました。他の製品との差別化になるような特徴造りに焦点を置いた。そうでしょう。これは、他の可能性がある選択肢よりも明らかに差別化することができる。一つ、異ならないことを挙げるのであれば、「パスワードを忘れた」機能があるかどうかでしょう。それはあまり重要なことではないから不要リスト一覧に入れるべきです。

要するにこういうことです。それを構築したことで、果たして問題にすらなるのか。それとも、「パスワードを忘れた」機能って要望が増えているのであれば、この肯定を手作業でやるのは、じれったいって事例になってしまえば話は別ですが。そしたらそれを製品として造るべきです。製品を作らなければ、ログインしてもらえないし、そしたら顧客を維持できなくてそうなってしまえば失ってしまいます。フライホイール効果になってしまって、それをしないと維持することができません。実をいうとMixpanelは「パスワードを忘れた」機能を確かに12から18ヶ月は作りませんでした。最終的に私等は、皆、何度も試していることに気付きました。さっきユーザーの動きを全て監視していた話をしましたよね、その時私は5回位ログイン画面に行くのを知ったんです。私はとても困惑しました。「一体何故ログイン画面へ5回も行くんだ」ってですね。それで「それはきっとログインできないからなんじゃないかな」って思ったんです。「パスワードを忘れた」ボタンを押さない人もいて、ひたすら試しているんです。誰もが経験したことがあると思うんだ、例えば銀行とかでね、面倒だから「明日やるからいいや」って誰もがなるでしょう。そういったことが起こることも予測して、それをしなかったとしても、これに関しては後から振り返ってみると補うことができたんです。

そこから…今のところFacebookが使っている優秀な秘訣があるんですが私達にもわかっちゃったんです。それがMixpanelへログインするのを3回誤ってしまった場合、3回目でこういった文章のメールを送るんです。「たった今メールを送りましました。メールを開いたらボタンをクリックするだけで、すぐにログインが可能です。忘れてしまった?心配は不要。パスワードを変える心配もいりません。ログインして下さい。」これが結果的に大きなユーザーのリテンションに関しての効果を得ることができた。私達は当時維持することを目標に頑張っていたからですね。

Geoff Ralston
こっちからもいくつか質問を受けようか。

男性
(聞こえず)

Suhail Doshi
プロダクトマーケットフィットの正しい測定をどうするか?どうやってプロダクトマーケットフィットを計算するか?もうすでに誰かが話をされていたことがある話題…私が良いと思った話をすると、量的な傾向対、本質傾向です。本質傾向として挙げるならば、皆さんの製品を誰かがその友達へと喜んで広めてくれたりそういったことですね。これの量的な傾向はリテンションを計ることです。例えば何人の…いってしまえばデイリーアクティブユーザーを計るってこと。何パーセントの人が、一週間後、30日後に再び戻って来てくれたかを計算することなんです。どれだけの人がその製品を必要としていて、それがないと生きていても辛いとまで思ってもらえるか。どのように製品を使っているかによってそれは計算することができるから、量的な計算はメトリクスを探ること、皆さんの産業では30%としましょう。覚えておいて欲しいんですが、そのメトリクスはきっと平均的な数字で、皆さんの望みは平均以上でしょう。そのメトリクスを皆さんは大幅に超えることができたら…皆さんはきっとプロダクトマーケットフィットを超える。それが一点。

もう一つは全体的なリピート率を計算してみるといいでしょう。一日にどれくらいの頻度で、とか。厳しいメトリクススにしてみるのも良い。例えばDAUを使ってみましょう。「1つのことしかしていない人をデイリーアクティブユーザーとは言いたくないな。もっとたくさんのこと…デイリーアクティブユーザーは動画を5件見たら1DAUってカウントされるようにしよう」とか。このメトリクスに関しては厳しくても構いません。だから私は月間アクティブユーザーは無能なメトリクスだと思っています。一度動画を見たきり戻ってきてないユーザーを数えるのはあまりビジネスに良くないからですね。方針(North Star)に対して厳しくっていうのはそういうこと、そしたらプロダクトマーケットフィットを達成できる。そう。ああ、そうだ、Mixpanelでは30とか40%のリテンションで、とても厳しかったですね。当時はプロダクトマーケットフィットを見つけられてはいなかったから。

Geoff Ralston
オッケー。最後の質問にしましょう。

男性
従来のスタートアップの格言で一般的に間違っていることがあれば一つ教えてください。

Suhail Doshi
それはPeter Thielっぽい質問です。従来のスタートアップの格言で間違っていること?

男性
はい、何かスタートアップに関して。

Suhail Doshi
一般的なスタートアップでってことですか?

Geoff Ralston
とても難しい質問ですね。

Suhail Doshi
最後なだけに厳しい質問ですね。いい質問なんですが。なんでしょう、わからない。もうちょっと考える時間が必要です。ただ一つ明確に言えることはMixpanelを立ち上げて10年間やってきてわかったこと…今日皆の前で話をしてみて伝えること…人間である以上物事を深く考えすぎてしまうと思うんですが、それって全てにおいて言えることで。例えば、第一段階の製品を完成させてその後第二段階に到達します。そしたら「オッケー、できた」ってなって私等はやったぞ問題を解決したってなる。そして時々気を取られて次の製品に取り掛かるんですが、それって本当はまだ解決してなくて例えば、リテンションに問題があったり、ネガティブマージンに関して操作したり、そういったこと。同じことが数字でも起こる。例えば3つメトリクスを選んでもっと継続して経営面で複雑になっていって、そこに更に次の20個を足してこうすることによって…状況を良くしようと望んでやっています。こういったことは全て気を紛らわす行為で間違っていると私は思っています。

平均的な創業者には、退屈なことに集中を向けるのはとても難しいことだと私は思うんです。まるで注意欠陥障害があるみたいですが、私等は簡単に気を取られてしまう。そういった場合集中するのって難しい。同じことを4、5年やっていたらもう挑戦的に思わなくなってしまう。それって創業者がよく間違ってしまうことなんです。「Suhailそれは間違っているよ」ってだれかに言われるまでわからないまま。どんな理由であれ、創業者は皆これを繰り返す。そこに何かあるはずです。わからないけど。誰にでもこれが正しいと思える知恵があるはずです。私は間違っていた。だから作るべきではない新しい製品を作ってしまったしあらゆるものも計算しすぎてしまった。最適化しすぎ。最適化しなくても良いところまであらゆるものも最適化しすぎてしまいました。そんなとこでしょうか。ありがとう。

Geoff Ralston
Suhailありがとう。

 

記事情報

この記事は原著者の許可を得て翻訳・公開するものです。
原文: How to Measure Your Product (2018)

FoundX Review はスタートアップに関する情報やノウハウを届けるメディアです

運営元