NPOコンサルタント堤大介のブログ - 朝ぼらけタイガー

NPOなど公益組織のコンサルタント。NPO関連の話題の他、読んだ本のレビューなどを書きます。

改善し続けるための仮説思考4ステップ 〜PubliCoニュースレター事例紹介〜

※本記事は前職株式PubliCo時代のメディアPubliCoジャーナルに執筆した記事を移行したものです。(元記事の公開日:2017.6.8)

f:id:minutes22:20180630165616j:plain

PubliCoでは公益組織のコンサルティングを行う際にマーケティング・広報のツールとしてメールマガジンの改善に取り組むことも多くありますが、私達自身も自社のニュースレターを通して改善の実践を行っています。

 

本記事では自社で運用しているPubliCoニュースレターにおいて創刊からの数号の間にどのような改善を行ってきたのかを具体的に紹介しながら、特にその背景にある改善のための考え方についてお伝えできればと思います。

 

■改善サイクルのための仮説思考4ステップ

Webに限らずマーケティングを実践する中では改善するということが求められます。 特にWebマーケティングは様々な数値を計測することができるため、数字を元にした改善を行いやすいことがその特徴と言えます。

 

しかし、並んだ数字をただ眺めていても改善にはつながりません。

数字というデータから課題を特定し、改善策を検討していくことが必要となります。

 

とは言え、いきなり「課題発見」や「改善策の検討」を考えていくというのは簡単ではありませんので、以下では実際にPubliCoニュースレターでこれまでにどのようなことを考えながら改善を行ってきたのかを具体的に紹介します。

 

改善のために必要なのは、「問い」や「仮説」を立てた上で施策を「実行」し「検証」していくという作業です。この一連の作業を分かりやすくするために4つのステップに分けて紹介していきます。

 

4つのステップとは、

 

  1. 知りたいこと :何を知りたいのか、つまり「問い」を立てるということです。何よりもまず「問い」がなければ「答え」もないのです。
  2. 考えたこと :次のステップは「知りたいこと」に対して自分なりの答えを考えることです。つまり「仮説を立てる」というステップです。
  3. 試したこと:仮説を考えたら次は実際に試してみます。自分が立てた仮説を検証するためにどのようなことを試せば良いのか?という観点から考えることがポイントです。
  4. 分かったこと:検証を行った結果、分かったことは何かということです。当初知りたかったことを知ることはできたのか、結果を見て判断します。

 

の4つです。 それぞれはとてもシンプルですので、以下の具体例でイメージを掴んだ後は、ぜひ自団体のマーケティングについても4つのステップに当てはめながら考えてみてください。

 

■仮説思考の改善サイクル1周目:配信に適した時間は何時か?

f:id:minutes22:20180630165641j:plain

ステップ①知りたいこと

PubliCoニュースレターの運用を開始した時点で一番初めに知りたいと考えたことは「配信に適した時間帯は何時か?」ということでした。 ニュースレターを配信していくにあたり、「いつ送るか」ということは読者の方に定期的に情報をお届けするためにまず最初に決めるべきことですが、創刊時点で決めてしまうのではなく一番見てもらいやすい日程を知りたいと考えました。

 

ステップ②考えたこと

どの時間帯が良いのか?という「問い」を立てたら、次に考えるのは「仮説」です。 私が創刊時点で考えた仮説は「配信時間帯は朝が適しているだろう」ということでした。 なぜなら、PubliCoニュースレターの読者は業務用のアドレスでの登録が多いためです。 登録経路は名刺交換とHP上の登録フォーム経由の大きく二つの経路がありましたが、どちらの経路からの登録も業務用のアドレスでの登録が多くありました。 そのため、「職場で朝PCを開いた際のメールチェックで開封する」という読者の方が多いのではないかと考えたのです。

 

ステップ③試したこと

「仮説」を考えたら、次は実際に試してみます。「検証」のステップです。 配信に適した時間帯を知るために試したのは実際に配信時間を変えて複数の配信を行って比較するということです。 実際に創刊号(13:00)、第2号(8:00)、第3号(18:00)と配信時間を変更してテストしました。

 

※…複数のパターンを比較する際には、比較する点以外の条件をなるべく一致させることが重要ですので、より厳密に実施するためには同じ号で配信時間を変えてテストをしてみる方が適切といえます。配信号が異なると、配信対象者や配信原稿など様々な条件が異なり、数値の良し悪しの原因が本当に配信時間の違いによるものなのかが分からなくなってしまう可能性があるためです。PubliCoニュースレターではこれまでの他のメールの運用経験から配信時間のテストにはそこまでの厳密性を求めない、という判断をした上でテストを行いました。

 

ステップ④分かったこと

実際に配信時間を変えてみた結果色々なことが分かりました。 まず、配信時間帯による差はほとんどありませんでした。ただ、強いて言うなら朝や昼頃よりも夕方の配信が最も開封率が高いという当初立てていた仮説とは異なる結果となりました。現在では、結果に基づき夕方に固定して配信を行っています。

 

また、仮説や知りたかったこととは異なりますが、「配信直後の開封が圧倒的に多い」ということが分かりました。これは配信する時間帯によらず一致した傾向でした。

 

さらに、「開封率は良いが、クリック率は良くない」ということも分かりました。 PubliCoニュースレターの目的の一つは、PubliCoが発信する公益組織のマネジメントに関する情報をお伝えすることであり、この目的を達成するためにはメールを開封しただけでは不十分で、URLをクリックしてリンク先の記事を読んでもらうことが必要です。クリック率が低いという状況は望ましくありません。

 

■仮説思考の改善サイクル2周目:クリック率の改善方法を探る

f:id:minutes22:20180630165705j:plain

第3号までの配信を通して「クリック率が低い」という課題が見えてきましたので、続く第4号ではこの課題に取り組みます。

 

ステップ①知りたいこと

新たな配信でも4ステップを順番に進めていきます。まずは知りたいことの設定です。 課題となっているのは「クリック率が低い」ということ。知りたいことに言い換えるなら「クリック率を上げる方法」ということができます。

 

ステップ②考えたこと

クリック率を上げるにはどうしたら良いか?この点について編集会議で議論し、構成の工夫や件名や書き出しによる訴求などいくつかの方法を検討しましたが、今回は「記事URLにリード文をつける」という施策を考えました。記事を読んで欲しいという狙いがあったため、それ以前の記事タイトルとURLのみという構成から各記事の内容を紹介するリード文をつけるという形式に変更することが最もクリック率の向上に効果的なのではないか?と考えたからです。

 

ステップ③試したこと

そこで、実際に「リード文有り」と「リード文無し」の2パターンの原稿を作って配信を行いました。このように複数パターンを作成してユーザの反応を見る手法をA/Bテストといいます。PubliCoでニュースレターの配信に使用しているベンチマークメールにはA/Bテストの機能がついていますので、この機能を利用することでどちらのパターンが効果が良かったのかということをしっかりと分析することができます。

 

ステップ④分かったこと

配信の結果、「リード文有り」の方がクリック率が高いという結果がでました。仮説通りです。 しかし、リード文有りのものもリード文無しのものもどちらも前月号に比べるとクリック率が下がってしまいました。 そもそもの課題であった「クリック率を上げる」という点はそのまま残ってしまったということです。これはなぜでしょうか。

 

■仮説思考の改善サイクル3周目:新規読者の反応は良いのか?

f:id:minutes22:20180630165724j:plain

第4号の配信で試したリード文については有りの方がクリック率が上がるということは分かりましたが、全体のクリック率は下がってしまったということはリード文以外に何か前月までと異なった条件があったのかもしれません。次はその点について考えることにしました。

 

ステップ①知りたいこと

リード文をつけた以外に第4号と第3号までの違いを検討したところ、「第4号は新規読者の割合が多い」という点が大きな違いとして見つかりました。 PubliCoニュースレターはHPの登録フォームからの登録の他に、名刺交換者へもお送りしていますが、3月は講演など多くの方と名刺交換をする機会が多くありその方たちを読者に迎えたために新規読者の割合が大きく高まっていたのです。そこで新たな知りたいこととして「新規読者の反応は良かったのか?」を設定しました

 

ステップ②考えたこと

当初、新規読者の反応は良いだろうと考えていました。知り合ったばかりの人たちの方が関心を高く持ってもらいやすいと考えていたためです。しかしクリック率が下がってしまったという結果が出ていることから「新規読者の反応が悪かったのではないか?」という仮説を考えました。 もしこの仮説通りの結果が出た場合、新しい読者の方向けのフォローアップの施策を検討していく必要があるかもしれません。

 

ステップ③試したこと

次は実際に検証していきます。新規読者の反応が良かったのか悪かったのかを検証するために、第4号と第3号の配信リストを詳細分析することにしました。 第3号、第4号の配信リストをダウンロードした上で、それぞれを新規読者と既存読者に分けて開封率やクリック率にどのような違いがあったのかを分析しました。

 

ステップ④分かったこと

分析の結果、大きく2つのことが分かりました。

 

  1. 開封率は新規読者の方が高い
  2. クリック率は新規読者も既存読者も変わらない

 

まず「開封率に関しては新規読者の方が高い」ということです。新規読者の方が反応が良いだろうと当初考えていたことはある程度当たっていたようです。 ただ、一方でクリックという行動まではつながっていないということも分かりました。

 

ステップ①の「知りたかったこと」に戻って整理してみると、新規読者は開封まではしてくれているので反応が悪いわけではないということができそうです。 ただし、クリック率については新規読者も既存読者も変わらず良くないということで、第4号でクリック率が下がってしまった原因については分からないままになってしまいました。

 

今回ご紹介できる改善の実践はここまでです。 今後配信するニュースレターではクリック率を上げる方法について新たに仮説を立てて検証を行うための配信を行っていく予定です。

今後の実践についても定期的にご紹介していければと思っておりますので、どうぞお楽しみにお待ち下さい。

 

■仮説思考4ステップを実践するためのポイント

f:id:minutes22:20180630165744j:plain

最後に今回ご紹介した仮説思考4ステップについてポイントをまとめます。 まず何より大事なのは最初のステップ「知りたいこと」を必ず明確にするということです。 この点が明確になっていないとせっかく施策を実行してもその結果をうまく分析することができなくなってしまいます。

 

仮説を立て、施策を実行してみると様々なことが分かってきます。 元々知りたいと思っていたことの答えがはっきりと出ることばかりではありません。 答えが明確にならない一方で全く別の事実や新たな疑問につながることがあります。

 

例えば本記事の内容では、新規読者の反応は良かったのかという知りたいことに対して、開封はしてくれていたけれどクリックはあまりしていないということで答えは明確にはなりきりませんでしたが、他にクリック率を下げている(もしくは上がらない)要因があるのではないか?という新たな疑問を発見することにつながりました。

 

答えが明確に出ない原因としては仮説が間違っていた、ということが考えられますので、仮説の精度を高めていくということも重要ですが、そこにこだわりすぎるよりも大切なのは、試してみた施策の結果を受け止め、次は何を知りたいのかを継続的に考えていくことです。 1回の改善ですべてを解決することを目指すのではなく、改善の「サイクル」を回し続けていく、という意識を持つようにしましょう。