クラウドサーバーコンソールのリサーチ

01背景

顧客がサーバーを運用するコンソール

Arvan Cloudは、CDN、DNS、ストレージに加えて、「abrak」と呼ぶクラウドサーバーを販売している。顧客はコンソールの1つのページでサーバーを作り、別のページの一覧から運用する。それがサーバー一覧で、各行に操作のメニューがある。

2020年2月、ArvanのプロダクトデザイナーであるSinaは、コンソールのこの部分についてのリサーチを始めた。リサーチは2021年1月まで続き、顧客がそこで何をしていたか、何を求めていたか、ほかのクラウドは何を見せていたかを調べた。本ケーススタディは、その作業を起きた順にたどる。Arvanはその後コンソールを更新しているため、現在公開されているものは、ここで説明したものではない。

02アプローチ

5つの聞き方、1つのボード

作業の大半は1つのTrelloボードにある。2020年2月19日に作られ、主に11月まで書き足された。証拠の種類ごとにリストがあり、アナリティクス、顧客アンケート、チーム内アンケート、競合のページ、ページごとのレビューに分かれている。2月11日の小さなボードには、先に行った操作録画がある。

方法ごとに答える問いが違う。録画は、顧客が何をして、コンソールが何を返すかを示す。アナリティクスは、それをする人がどれだけいるかを示す。アンケートは、人々が何を求めるかを示す。競合は、ほかに何ができるかを示す。レビューは、何が間違っているかをページごとに示す。

数は、どのくらい多いかを教え、答えは、なぜかを教える。この調査には両方が必要だった。

03操作録画

問題の多くは、コンソールの返し方にあった

リサーチは、2020年2月11日に作った小さなボードから始まった。実際の顧客がコンソールを使う様子の録画を見て、何かがうまくいかない場面で画面を止め、問題ごとに1枚のカードを作り、その場面の分数をコメントに書いた。

12件の所見は、サーバーではなく、コンソールのCDN、チケット、支払い、通知、DNSの部分から出ている。うち10件は、人が操作したあとにコンソールが返す内容についてだ。自己矛盾したり繰り返したりするメッセージ、あるいは金額、理由、次の手順、戻る方法が抜けているメッセージである。

12件のうち10件の問題は、コンソールが何をさせるかではなく、何を返すかにあった。

04閲覧

10回の閲覧のうち7回は1つのページに集まった

最初の数字はGoogle Analyticsから得た。2019年5月1日から2020年3月14日までに、コンソールの主要11ページの閲覧数は82,027だった。サーバー一覧が71.9%、作成ページが9.8%を占め、ほかに5%に届いたページはない。

ページ滞在時間は、別のことを語っていた。インスタントレポート、SSHキー、ファイアウォールの各ページでは約5分、作成ページとサーバー一覧では約3分半だった。

2020年3月15日、Sinaは11ページを手書きで1位から11位まで順位付けし、それぞれに2つの期間の数字を添えた。10か月半と、そのうち直近の3か月半だ。

05クリック

作成ページのクリック10回のうち6回は、ボタンとメニューだった

コンソールでのクリック計測は2020年4月の最初の数日に始まり、Sinaが設定した。作成ページでは、4月1日から24日までに49,674クリックを数えた。6割がボタンとメニュー、データセンターの選択と、標準・マーケットプレイスの2つのタブには、それぞれ約8分の1だ。最もクリックされたOSはWindowsで1,456回、OS関連のクリックの3分の1だった。

サーバー一覧では、各行のメニューに65,066クリックがあった。その半数強は、メニューを開いただけだった。続いてサーバーコンソール(21.2%)、削除(7.0%)、停止、サイズ変更、再起動、再構築、スナップショットで、最後は1.3%だ。

ヘルプのリンクは、3つめの話を語った。4月のクリック716回のうち、4分の1は作成ページ(25.3%)、サーバー一覧は100回に1回ほど(1.3%)だった。

06顧客アンケート

最初は機能、次に見つからないこと

作成ページのHotjarアンケートは、ページの分かりやすさと、探しても見つからなかったものがあったかを尋ねた。Sinaは、コメント付きの回答のうち62件を取り込んだ。2020年3月29日までに届いた少なくとも466件からの抜き出しだ。

2020年5月17日、Sinaはそれを10のカテゴリ、計131タグにコーディングした。1件の回答に複数のタグが付くことがあるためだ。最も多いのは機能の要望(38)で、次に探しても見つからない(22)、説明やチュートリアルがない(16)が続く。そのあと、技術的な文言と、お金に関する文言(13と12)、遅さ(11)の順だ。

07チーム調査

チームが最初に挙げたもの

Google Formsによる短いチーム内アンケートが8件あり、どれも質問は1つだけだった。サーバー作成時に何が大事か、どのサイズが重要か、一覧のどの機能とフィルタを使うか。5件は回答8、1件は10、2件は19だった。

回答は少ないが、はっきりしていた。8人中5人がデータセンターをOSより上に置き、6人が価格をCPUより上に置いた。一覧については、8人中7人が検索を選び、19人の回答で最も選ばれたフィルタはステータス(16)、OS(14)、タグまたはラベル(12)だった。

8から19の回答では問いに決着は付かないが、まずどこを見るべきかは分かる。

08競合

4社の競合、サーバー作成の4つのやり方

2020年2月下旬から3月にかけて、Sinaは、Vultr、DigitalOcean、Linode、AWS EC2がサーバー作成をどう案内するかを取り込んだ。並べて読むと、3社はすべてを1ページに置き、AWSは手順に分けている。

取り込んだのは各社自身の画面なので、ここでは載せず、比較は言葉で行う。目立つのは価格だ。Vultr、DigitalOcean、Linodeは、選んでいる最中に月額と時間額を示し、VultrとLinodeはさらに合計を随時表示する。

09レビュー

2回のレビューで54件の所見

2020年2月19日から29日にかけて、Sinaは旧コンソールをページごとに調べ、32枚のカードを作った。サーバー一覧に8、ネットワークに6、コンソールのホームに5、ファイアウォールと通知・エラーにそれぞれ3、サーバー作成とイメージにそれぞれ2、ボリューム、制限、NOCに各1だ。たとえば、サーバーコンソールが見つけにくい、一覧に各サーバーのCPU、RAM、ディスクを出せる、あるフォームにキャンセルボタンがない、「アルバム」は「スナップショット」と書くべき、といった点がある。

2020年10月28日から11月26日には、できあがった新コンソールをレビューした。カードは22枚で、サーバー一覧に12、作成ウィザードに9、ボリュームに1だ。ラベルは、ビジュアルデザイン(10)、情報設計(7)、ユーザビリティ(3)、文言(2)で、4枚には「未完了」が付いている。

10利用状況

完全な週はどれも削除が最多だった

ボードには、新しいサーバー一覧の週ごとの集計もある。2020年10月18日から2021年1月17日までの14週で、操作は計20,175。最初と最後の週は途中までだ。削除はどの完全な週でも最多で、合計7,802、4割近くを占める。サイズ変更(3,849)と再起動(3,427)が続いた。

名前の変更とレスキューの利用は少なかった。タグは、アンケートが上位に挙げていた機能だが、12月27日の週に初めて現れ、最後までに計80回だった。

これらは新しい一覧の操作の数だ。4月の数は旧メニューのクリックなので、両者は比べられない。

11私の役割

Sinaの担当

Sinaは2020年2月から2021年1月まで、Arvan Cloudのプロダクトデザイナーとしてこのリサーチを進めた。ボードにデザインファイルはないため、本ケーススタディが示すのは、画面ではなく、リサーチとレビューである。

担当

操作録画のレビューと12件の所見
2020年4月に設定したクリック計測と、そこから読み取った数
コンソール11ページの順位付け
顧客アンケートのコーディング
チーム内アンケート
競合4社との比較
コンソールの2回のレビュー、54件の所見

共同担当

—

協働

—

12成果

リサーチが残したもの

このリサーチはコンソール全体の再設計につながった。ボードに記録されているのはリサーチとレビューであって再設計の作業そのものではないため、本ケーススタディが報告するのは、リサーチが何を生み出したかであり、再設計の中身ではない。

リサーチボード上のカード: 190; アナリティクス、顧客アンケート、チーム内アンケート、競合のキャプチャ、2回のレビュー。2020年2月〜2021年1月; 納品物 · リサーチボード
顧客の62件の回答に付けたタグ: 131; 10カテゴリ。最多は機能の要望で38; 納品物 · コーディングしたチャート、2020年5月17日
順位付けしたページ: 11; 手書きで。10か月半の閲覧数82,027から。サーバー一覧が71.9%を占めた; 納品物 · Google Analytics、2019年5月1日〜2020年3月14日
レビューの所見: 54; 2020年2月に旧コンソールで32件、10〜11月に新コンソールで22件; 納品物 · レビューのカード

納品したもの

190枚のカードのリサーチボードと、操作録画から12件の所見を載せた最初のボード
2020年4月からのコンソールのクリック計測
コンソール11ページの手書きの順位付け
顧客の回答をコーディングしたアンケート：131タグ
チーム内アンケート8件

13学んだこと

変えたいこと

01
クリック計測を先に始める
閲覧数は2019年5月までさかのぼれたが、クリック計測が始まったのは、レビューが進んでいた2020年4月になってからだ。メニューと作成ページの数は数週間分にとどまる。最初のカードと同時に有効にしていれば、数か月分になったはずだ。
02
見たものを数える
録画からは12件の所見が出たが、ボードには、録画を何本見たのか、各問題がどのくらいの頻度で起きたのかが残っていない。カードごとに回数を付けていれば、よくある問題と1度きりの問題を分けられたはずだ。
03
アンケートの合計を残す
少なくとも466件のうち62件を残し、コーディングしたチャートはその62件に基づいている。全体の合計がないので、62件が残りをどこまで代表するのかは言えない。
04
何が変わったかを書き留める
ボードに記録されているのは所見と数であって、そのあとコンソールで何が変わったかではない。カードごとに、変わったか否かと時期を一行書いていれば、リサーチと結果を結び付けられたはずだ。

言語

クラウドサーバーコンソールのリサーチ

顧客がサーバーを運用するコンソール

5つの聞き方、1つのボード

1年の流れ

問題の多くは、コンソールの返し方にあった

コンソールの返し方が悪かった6つの型