いつもは夜にブログを書いてますが、
今週は飲み会が三連夜重なって、ブログ書けないので朝から必死でブログ書いています。

ホームページを運用するうえで必ずやってほしいことに変更作業の記録というのは少し前に書きました。

デザインを変えただけでユーザー数が大幅に減ってしまった！ページ変更時には必ず指標をチェック。

変更するときには、どういった問題があって何のためにするのかしっかりと考えないといけません。
ほとんどの人は、なんとなくこっちのほうが格好いいからとか、ここが寂しいからボタンをつけたいとかが多い。
それでどういう効果を期待しているのか？

ホームページの改善というとアクセスの改善、コンバージョンの改善といったものになる。
最終的にはほとんどの人は売り上げの改善でしょう。
見た目はもちろん重要だけれど、主観的にいいと思ったものが必ずしも売上につながるとは限らない。
最近はこれが流行っているとか、この方が便利だろうというどれも主観的なものではいけない。

じゃあ、どうやったら確実に改善されるんだろう。
はじめはどうしても主観的な改善案になりがち。
複数のスタッフでミーティングすると、多角的に意見が出るだろうけれど、それぞれ主観的な意見が多い。
そのなかで、客観的に見るために顧客目線というものをもって改善案を出したりする。
そこにどれほど主観が入っているかはわからないけれど、決まった改善案で実際に動かしてみる。
この時、できればこの改善によってどの指標が改善されるのか、さらに言えば数値目標があればもっといいけれどそれは本題ではないけれど、
ここで変更した内容で改善したと思っている人がとても多いです。
改善されたかどうかは結果であって、この段階ではまだ単なる変更です。

で、結果改善されたのかどうかはそのあと数週間動かしてみて、データで比較します。
すると、変更の前後でデータが出ているので、この変更が改善だったか改悪だったのかがわかります。
ここをしないから、改善していると本人は思っているけれど、コンバージョンが実は下がってきたなんてことがあります。
で、その人はホームページが改悪されたとは思ってないから、
競合他社にお客をとられてるから問い合わせが減ったとか、最近は需要が減ってきたとか外的な要因に目を向けてしまったりしますね。

しっかりとデータをとって確認できていれば、変更によって改善されたのか改悪されたのか、あまり意味なかったのかがわかるので、
改善されていたらそれを採用して、改悪されてたら以前のものに戻せば状況は悪くなりません。
それをもって、さらに次の変更案を試して同じように改善できた場合だけ採用していく。

例えば、コンバージョンが改善で10%上がったとします。
同じく改悪されたら10%減るとします。
１年間一生懸命変更をしていって、改善5回、改悪5回だったとします。

もし、データをきっちりみて改善された時だけ採用した場合は、
1.1の5乗で1.61。60%もの改善になります。

一方、変更をすべて改善と考えてデータを見ていない人は、すべて適用してしまうので、
1.1の5乗×0.9の5乗で0.95。5%のダウン。
１年かけて変更してきたものがちっとも実になりません。

これを３年でも続けたら、
データをきちんと見てたほうはなんと４倍の改善。
何も考えずに運用してたら85%にさらにダウンしてしまってます。

数年後、どちらのホームページがお金を生むものになっているかはわかりますよね。

でデータを比較して決めるっていうのは結構勇気が要って、
変更後のデータが以前よりも悪くなった時は以前のものに戻すわけです。
その時って結構へこみます。
一生懸命考えて、時間をかけて変更したのに意味なかった・・・てね。
でも、それでパフォーマンスが悪くなるよりはいいでしょ。
これやったらダメだったってことを知ることも大切。

エジソンは
「私は失敗したことがない。ただ、1万通りの、うまく行かない方法を見つけただけだ。」
って言ってたよね。

こうして、確実に運用でホームページが良くなっていくことはわかった。
でも、普通に変更してデータを見比べるのはいろいろと課題がある。
データを１カ月で集める場合、結果が分かるまでに前後で２カ月の期間が必要。
変更前１カ月、変更後１カ月でそれぞれを比べないといけないから時間がかかる。
また、時期や期間が違ってくるので環境の違いに左右されやすい。
例えば期間が長かったら、一方は春の統計で、一方は夏の統計になってしまう。

ということで、その時に大切なのがABテスト。
複数のパターンを同時に動かして、それぞれのパターンでデータを出して判断するテスト。
1000人のアクセスがあれば、500人ずつに違うパターンを表示して、それぞれの行動を比較してどちらがいいか決める。
同時にテストを行うことで、通常の変更よりもメリットが多いです。

まず、同じ期間でテストをするのでそれぞれのデータの比較が確かです。
それと、同時に動かすことでリアルタイムに成果の比較ができて変化に気づきやすい。
それによって、テスト期間の短縮につながる可能性もあります。

ちなみに、ABテストを使って同時進行したからといって単純に期間が短くはなりません。
10000人のデータをとるのに２カ月かかるとすると、
普通に変更した場合は前の１カ月で5000人、後の１カ月で5000人のデータをとります。
ABテストは並行してテストをするとはいえ、１人に２パターン魅せるわけじゃなくて、それぞれ別のものを振り分けるので、パターン数で割ることになり結局期間は同じです。
１カ月目はAパターン2500人、Bパターン2500人、２カ月目もAパターン2500人、Bパターン2500人
で合計すると同じだけの回数と期間となります。

ということで、テストの大切さがちょっとはわかっていただけたかな。
これが分かっていないと、本当に運営は手探りの大変なものになりますよ。
あと、改善には時間がかかることがわかりましたね。
運営をさぼっておいて、急いで改善してくれって言われてもこれやっているところには勝てませんので、ちゃんと運営しているところが勝つのです。
がんばりましょー。

[RelService] [Service]