メトリクス – PM Library

この記事は、Oleg Yaによるプロダクトマネジメントの基礎と、人々に必要とされるプロダクトを作るための連載の一部です。

今回は、プロダクトの付加価値を測定する方法を学びます。

簡単な例を使って、さまざまな種類のプロダクトでどのように機能するかを紹介します。これまでの記事で、なぜ付加価値を高めることがプロダクト業務の核心であるのかについて説明しました。また、プロダクトメトリクスが必ずしも問題解決の効果を明確に特徴付けるものではないことを説明し、問題解決効率と付加価値メトリクスという概念を導入しました。

効率や付加価値の測定は、意外と複雑です。このエッセイでは、それらを測定するための試行錯誤の方法を探っていきます。

この無料のGrowth Skills Assessment Testで、あなたのプロダクトマネジメントとデータのスキルをテストしてください。
GoPracticeによるシミュレータでデータ駆動型のプロダクトマネジメントを学びましょう。

▼本記事の内容

この記事は、「How to measure the added value of a product」を著者の了解を得た上で翻訳し、公開するものです。

著者: Oleg Ya
翻訳者: 渡辺圭祐

付加価値測定の課題

プロダクトの問題解決効果や付加価値を測定することは、いくつかの理由から困難です。

効率性は、プロダクトそのものだけでなく、それが使用されるタスクにも依存します。例えば、SUVがアイスランドの広い道路を走るのと、ローマの狭い道路を走るのとでは、その性能は大きく異なります。
プロダクトの有効性は、その状況に応じて変化します。例えば、日陰のテーブルの付加価値は、涼しい日と暑い日とでは大きく異なります。
プロダクトの価値は主観的なものです。ドラマ映画が好きな人もいれば、コメディ映画が好きな人もいます。黒が好きな人もいれば、紫が好きな人もいます。
価値観は必ずしも合理的なものではありません。人は自分の認知バイアスに影響されることもあれば、不完全な情報を持っていて感情的に判断することもあります。

にもかかわらず、一般に人々は価値について非常によく理解しています。私たちは、どの靴がランニングに適しているか、どの靴が劇場に行くのに適しているかを知っています。どのテレビシリーズが面白くて、どのテレビシリーズがつまらないかも知っています。また、ある仕事をするときに、どの社員がより適任であるかということもわかります。

これらの判断には、たとえ定量的に測定できなくても、問題に対するさまざまな解決策の有効性や価値を判断し、比較できることが必要です。

しかし、他人のためにプロダクトを作るとなると、事態はさらに複雑になります。プロダクトの有効性を評価する方法は、タスク、コンテクスト、個人の特性によって異なるからです。

ですから、プロダクトの効果や代替品との比較による付加価値を測定することは、プロダクトワークの基本中の基本なのです。そのような測定なしに、プロダクトを良くすることの意味を語ることはできないでしょう。しかし、その前に、付加価値を測定するためのコンテキストを絞り込む必要があります。

特定の「ジョブ」の中で競合と比較した付加価値の測定

ここでは、プロダクトの付加価値を測定することについて、次のような話はしないことにします。

特定の競争相手（代替品）に関して。
特定の競合他社（代替品）に対して、または「片付けるべきジョブ」（Job To Be Done）の特定のタスクの中で。

ここでは、クレイトン・クリステンセン版JTBDのフレームワークに従って「Job To Be Done」を定義することにします。

人が解決したい問題
その問題が発生する背景

プロダクトの付加価値をどう評価するか

プロダクトの付加価値を推定するための大まかなプロセスは以下の通りです。

ステップ1．「片付けるべきジョブ」を解決する有効性を定義する変数を決定する。重要：変数は、問題を解決する特定の方法に依存すべきではありません。それらは「ジョブ」によって定義されるため、どのような方法の有効性を測定するのにも適しているはずです。

例えば、「ジョンはUberを使って空港まで行きたい。」という表現は、問題を解決する特定の方法を参照しているので、適切ではありません。しかし、「ジョンはできるだけ早く空港に行きたい」という表現は、問題を解決するさまざまな方法に適用できるので、適しています。目的地に着くまでの時間を使って、さまざまな解決策の効率を比較することができるのです。

ステップ2．これらの変数に基づいて、利用可能な解決策を比較します。

すべての特性が1つの測定単位で測定される場合、それらを組み合わせてプロダクトの有効性を特徴付ける1つの指標にする。
もし特性が異なる単位で測定されるのであれば、ユーザーにとっての各要素の重みと重要性を理解するようにする。そして、それに基づいて、どのプロダクトがよりよく問題を解決してくれるかを理解する。

例えば、ジョンが移動に費やす時間を基準に、空港へのさまざまな移動方法を比較することができます。しかし、空港までのさまざまな移動手段のコストと利便性の両方を考慮する必要があるかもしれません。その場合、ジョンにとって何が最も重要なのかに基づいて、それらの要因に優先順位を付ける必要があります。

この方法は、具体的な「片付けるべきジョブ」と「状況」によって、さまざまに応用することができます。以下、いくつかの例を見て、あなたのプロダクトの付加価値を測定するために、この方法を適用するのに役立てましょう。議論をしやすくするために、例を簡略化しています。

効率性の変数が共通の単位である場合の付加価値の測定

オンラインマーケットプレイスで決済を受け付けるという「片付けるべきジョブ」を考えてみましょう。

現在利用している決済代行会社は、決済ごとに3%の手数料を取っています。そこに競合するサービスが現れ、競争力のある2%の手数料でオンライン決済を提供します。

この段階で、2番目のプロバイダーの付加価値は、御社の売上高の1％のになります。御社の事業規模であれば、この付加価値でサービスを統合し、実験を行うことができます。

新サービスを統合して一部のユーザーに提供した後、新しいプロバイダーの決済スループット（開始されたトランザクションのうち正常に処理された割合）が古いプロバイダーより悪いことに気づきました。この問題のために、古いプロバイダーの0.3%に比べ、新しいプロバイダーは売上高の1.5%を失うことになります。

現在、オンライン決済プロバイダーの効率性を評価するための 2 つの特性があります。サービスの手数料率と決済スループットです。これらの特性は両方とも同じ単位で測定されるので、それぞれのソリューションの全体的な有効性を特徴付ける複合的な指標を計算することができます。

実験を始めてから1ヵ月後、もうひとつの重要な変数である、各プロバイダーがどれだけ効果的に不正取引を検知しブロックしているかについての最初のデータが届きました。

この場合、旧サービスはよりずさんな作業で0.5%の不正取引があったのに対し、新プロバイダーは0.1%まで不正取引を削減しました。

3つの特性はすべて同じ単位で測定されるため、オンライン決済ソリューションの効率性を特徴付ける1つの指標に簡単にまとめることができます。この結合された指標は、異なるソリューションの付加価値を評価し、比較するのに役立ちます。

導き出された変数が、決済受け入れの問題を解決する有効性を完全に特徴づけるものであれば、新しい支払いプロバイダーは、古いプロバイダーと比較して付加価値を生み出すことになります。旧サービスでは、マーケットの売上高の 3.8% のコストがかかっていたのに対し、新サービスでは 3.6% でした。したがって、新サービスは売上高に対して 0.2%の付加価値を持つことになります。

この例では、「片付けるべきジョブ」のすべての特性が共通の測定単位を持ち、その結果、単一の効率指標を導出することができました。しかし、これは常に可能なことではありません。別の「ジョブ」の例を見てみましょう。

効率変数に異なる単位がある場合の付加価値測定

ネットで商品を買うというジョブを考えてみましょう。

まず、問題解決の効率を決定する変数を定義します。

プロダクトの入手可能性：プロダクトが入手できなければ、問題を解決することは不可能である。
商品のコスト：店頭での商品価格が安ければ安いほど、購入者にとってはありがたい。
配送料：送料は安ければ安いほどよい。
配送スピード：購入者が商品を受け取るのが早ければ早いほど良い。
配送の信頼性：定期的に配送に支障をきたすようなサービスであれば、他のサービスを選択する理由になる可能性がある。
返送の条件と費用：購入者は、商品が合わなかった場合、簡単に返品できることを望んでいる。

オンライン決済の例では、問題解決のためのパフォーマンス変数はすべて売上高に占める割合として測定されたので、総合的なパフォーマンス指標を簡単に導き出すことができました。しかし、オンラインショッピングのユースケースの場合、状況は異なります。

配送スピードは時間で、コストはお金で、信頼性は時間通りに配送された注文の割合で測定されます。これらの情報を複合して1つの効率指標にすることはできません。

代わりに、それぞれの変数を個別に比較して、利用可能なオンラインストアの付加価値を計算する必要があります。

これらの変数を比較することで、自社プロダクト（あるオンラインストア）がユーザーにとって付加価値を生み出しているかどうかを把握することができます。

また、この方法を発展させ、ショップのさまざまなカテゴリーの商品について、これらの変数を計算することもできます。これにより、自社プロダクトの効果が高いユースケースと低いユースケースを把握することができます。

効率性の変数（異なるカテゴリーの商品の品揃えと価格、コスト、信頼性、配送の容易さ、返品条件など）に関して、自社のオンラインストアと他社プロダクトを比較するダッシュボードがあれば、自社の効率性が高いところと遅れているところを理解することができます。例えば、プレミアムブランドから高価な服を買うという問題解決においては競合他社より優れているかもしれませんが、スポーツシューズのカテゴリーでは大きく遅れをとっているのではないでしょうか。

多くの場合、効率性の変数で自社プロダクトを代替品と比較することで、ユーザー行動やマーケットシェアの動態を理解することができます。これは、より広範なプロダクト戦略について考え始めるための良い基礎となります。これらの変数に対する理解やプロダクトの関連性能を、プロジェクトの優先順位付けや実行のガイドとして使用する必要があります。

以前の記事で、私たちは同様の方法を用いて、通常のタクシーサービスと比較したUberの付加価値を評価しました。すべての変数を1つの指標にまとめることができなかったので、それぞれの変数について個別にプロダクトを比較しました。

アマゾンのチームはどのように顧客の問題解決の効率を高めて構築していくか

『Invent and Wander（発明と放浪）』は、アマゾンの創業者ジェフ・ベゾスが株主に宛てたスピーチや手紙を集めたものです。

これらの手紙は、ベゾスが創業当初から、顧客の問題解決の効率を高める方法を見つけることを中心にプロダクト作りを行ってきたことを明確に示しています。次の引用がそれをよく表しています。

「今後10年で何が変わるのか」という質問をよく受けます。これは非常に興味深い質問で、よくある質問です。しかし、「今後10年で変わらないものは何か」という質問はほとんどありません。そして、この2つの質問のうち、実は2番目の質問の方がより重要であると申し上げたいのです。なぜなら、時間的に安定しているものを中心にビジネス戦略を構築することができるからです。［中略］私たちの小売ビジネスでは、お客様が低価格を望んでいることは分かっていますし、それは10年後も同じだとも思っています。お客様は、迅速な配達を希望し、豊富な品揃えを求めるのです。10年後にお客様がやってきて、「ジェフ、アマゾンは大好きだけど、もう少し価格が高ければいいのに」とか「アマゾンは大好きだけど、もう少しゆっくり配達してくれたらいいのに」と言う未来は想像もつかないでしょう。ありえないことです。だから、私たちがこうしたことに力を注ぎ、それを紡ぎ出すことで、今日注いだエネルギーが10年後にもお客さまに還元されることが分かっているのです。長期的に見ても真実であるとわかっているものがあれば、それに多くのエネルギーを注ぐことができるのです。
ジェフ・ベゾス

低価格、迅速な配達、豊富な品揃え。アマゾンのプロジェクトのほとんどは、顧客の問題を解決するために、これらの点を改善することを目的としています。以下はその例です。

2004年に開始されたプライム契約は、契約者のコストと配送時間を削減しました。この値下げにより需要が増え、商品の固定費の割合が減少したため、再び値下げが可能になりました。
サードパーティー向けマーケットプレイスの立ち上げにより、利用できる商品の幅が広がり、アマゾン自社商品との競争も激化し、消費者の価格も低下しました。
FBA（Fulfilled by Amazon）の開始により、マーケットプレイスからの商品の配送の信頼性とスピードが向上し、再び需要が高まり、価格が低下しました。

下のグラフは、米国の様々なマーケットプレイスにおいて、納期が2日以内で購入可能な商品数を示しています。

アマゾンは競合他社を大きく引き離しており、他のプレーヤーが直接競合するチャンスはもはやありません。

販売者にとっては、アマゾンに商品を置く方が収益性が高い。売上が高いということは、アマゾンがより効率的に問題を解決してくれることを意味します。
その結果、アマゾンは最も多くの販売者を抱え、ひいてはほとんどのカテゴリーで最も優れた商品のセレクションを持っているのです。
販売者の数が多いということは、競争が激化し、アマゾンが競合他社に比べて低価格であることを保証することになります。
アマゾンが販売チャネルとして重要であるため、販売者はアマゾンの厳しい要件を遵守し、高いレベルのサービスを提供することを余儀なくされます。

このように、アマゾンは直接の競合他社の多くよりも効率的にエンドユーザーの問題を解決しているのです。アマゾンの顧客が、ウォルマートやイーベイを含む代替品に乗り換える理由はないのです。

長年にわたるオンラインショッピング体験の効率化のための一貫した取り組みにより、アマゾンは代替品よりも大きな付加価値を生み出し、米国をはじめとする各国のEコマースマーケットにおける優位性の基盤となっているのです。

変数の重要性は解決する問題や文脈によって異なる

もしアマゾンがオンラインショッピングの問題を解決するあらゆる面で強いのであれば、他のEコマースプラットフォームはどのように対抗できるのでしょうか。

それは簡単なことです。特定のタスクやコンテキストの中では、アマゾンは効率性の面で競合他社に負けることがあるのです。

例えば、高価なデザイナーズ・ブランドの購入には、アマゾンよりもファーフェッチの方が適しています。多くの高価な衣類やアクセサリーのブランドは、安価な代替品を遠ざけるために、アマゾンへの出品を渋っています。一方、ファーフェッチは高級品の販売に力を入れており、このセグメントではより完全で高品質な品揃えを実現することができます。

アリエクスプレスは、他の店舗があまりカバーしていない地域に住む人々が低価格の商品を購入するという問題を解決するのに適しています（オンライン、オフラインともに）。このようなタスクや状況では、配送時間や返品の利便性はあまり重要ではありません（アリエクスプレスの平均配送時間は数週間で、返品には購入した商品よりも多くの費用がかかることがよくあります）。このユースケースで重要な変数は、低価格と、地元の店舗では手に入らない「ユニークな」品揃えです。

フランスのVeepeeのようなフラッシュセールサービスは、売れ残りから在庫を形成するため、ブランド品を最大70％割引で提供することができます。もし、あなたが新しいコレクションの中から特定のモデルのナイキスニーカーを必要としているなら、このサービスは役に立ちません。もし、あなたがナイキのスニーカーを大幅に値引きして買いたいだけなら、Veepeeはアマゾンを凌駕するでしょう。

マイケル・ポーターが言ったように、あなたの目標は業界で一番になることではありません。特定のセグメントのタスクとコンテキストに合わせたユニークなプロダクトを提供することです。タスクとコンテクストを絞り込むことで、付加価値を生み出すセグメントを見つけ、そこに最適化することができます。そのために、特定の「片付けるべきジョブ」のコンテクストで付加価値を評価するのです。

「デート相手を探す」というタスクの付加価値測定

上記では、オンライン決済やショッピングの付加価値を評価するアプローチを考えました。1つ目のケースでは、すべてのパフォーマンス変数を1つの指標に還元することができました。2つ目のケースでは、変数を分離し、それぞれの変数に基づいたソリューションを比較しました。

しかし、変数の選択と比較がもっと難しいタスクがあります。その一例が、デートの相手を見つけるというタスクです。

出会い系サイトやアプリを利用したことがある人なら、多くのプロフィールに目を通し、メッセージを書き、相手候補と関係を築き、会う約束をするなど、この活動には努力と時間が必要なことを知っているはずです。

この場合、「ジョブ」を理解した上で、パフォーマンス指標を定義することができます。例えば、1回のデートに要する時間と労力を一つの選択肢とすることができます。

例えば、2つのデートアプリをダウンロードし、それぞれに1時間かけたとしましょう。

1つ目のアプリでは、7件のマッチングと4件のチャットが成立し、2件のデートの約束を取り付けたとします。
2つ目のアプリでは、2件のマッチングと1件のアクティブなチャット、そして1件のデートの約束をしました。

最初のプロダクトでは、時間と労力の投資に対してより大きなリターンを得ました。つまり、より多くの価値を生み出しました。このアプリケーションに時間と労力を投資し続ける可能性が高くなります。

この指標は、「ジョブ」の有効性をかなりよく特徴づけています。しかし、どのように測ればいいのでしょうか？

最も簡単な方法は、実際のプロダクト使用データに基づいています。例えば、ユーザーがデートやアクティブなチャット（デートの良い代理指標）を得るためにどれくらいの労力（アプリ内の時間、閲覧したプロフィール、送信したメッセージ）がかかるか、などです。

このような指標は簡単に計算できますが、競合プロダクトに対して計算することができないため、自社のパフォーマンスが競合プロダクトと比べてどうなのかがわからないという問題があります。付加価値を生み出しているのか、そうでないのか。

もう一つの方法は、定期的に、自社プロダクトと競合プロダクトに同じ労力を投入してもらう調査を行い、その結果（アクティブチャットや日付）を比較することです。この方法はコストがかかりますが、代替品との関係で付加価値を分析することができます。

ソリューションのパフォーマンス指標を定義することが不可能なタスク

問題解決の効率や付加価値を評価するための指標を定義することが非常に困難なタスクが数多く存在します。

例えば、夜の余暇活動として、本を読むより映画が良いのかどうか、どのように判断すれば良いのでしょうか。Netflixの新シリーズは、プレイステーションの新しいゲームよりも面白いでしょうか？

タスクによっては、効率の客観的な尺度を定義することが不可能なものもあります。このような場合は、プロダクトメトリクスに目を向け、ユーザーのフィードバックやアクティビティに基づいて効果を測定する必要があります（プロダクトメトリクス）。

前回の記事では、これは最善の方法ではないことを説明しました。理想的には、パフォーマンス・メトリクスは、問題を解決するための特定の方法（つまり、特定のプロダクト）に縛られるべきではありません。しかし、状況によっては、この方法に頼らざるを得ないこともあります。

同じようなジャンルのモバイルゲームでは、どのプロダクトがユーザーの問題を最もよく解決しているかを比較するために、リテンションとエンゲージメントが良い指標になるでしょう。映画の場合、ユーザーレビューに基づく平均評価は、どのプロダクトがより楽しい時間を過ごすのに役立つかを理解するのに役立ちます。

付加価値は重要な成長ドライバー

人々が新しいプロダクトを選ぶのは、そのプロダクトが自分の生活をより良くしてくれるからです。だからこそ、付加価値を高めることがプロダクト・ワークの核となるのです。

このような仕事を意識的に行うには、プロダクトの付加価値を代替品と比較して測定できるようにする必要があります。

ステップ1．課題を解決する有効性を特徴づける変数を決定する。重要：選択する変数は、問題を解決する方法に依存してはなりません。それらは問題そのものによって定義され、したがって、どのような解決策の有効性を測定するのにも適しているはずです。

ステップ2．これらの変数に基づいて、問題を解決するために利用可能なプロダクトを比較する。

すべての特性が共通の単位で測定される場合、プロダクトの有効性を特徴付けるために複合指標を使用することができます。
もし、特性が異なる単位で測定されているのであれば、それぞれの要素がユーザーにとってどのような重みと重要性を持っているのかを理解するようにします。そして、それに基づいて、どのプロダクトがより良い問題解決につながるかを理解するのです。
場合によっては、あなた自身の「ジョブ」に対する理解から、パフォーマンス指標を定義する必要があります。

タスクやコンテキストによっては、プロダクトに結びつかないパフォーマンス指標を決めることはできないでよう（例えば、仕事が終わった夜に見る映画を選ぶなど）。そのような場合は、プロダクトメトリクスを使用することができます。

付加価値の測定は複雑ですが、プロダクト開発に有意義に取り組むためには非常に重要です。