情報大工のひとりごと

コンテクストを考慮しない評価に意味はなし

マニュアルの比較評価やWebサイトのユーザビリティ評価などの結果を目にする機会がありますが、納得させられるものに出会うことは少ないようです。研究発表でも何回か取り上げた通り、基本的な評価の方法や評価軸といったものは存在するはずなのですが、なぜ納得させられるものが少ないのでしょうか。

その最大の原因は、それぞれの個別性、つまり市場におけるメーカーや製品のポジショニングであるとか、想定された目的であるとかを、きちんと織り込んで評価がなされていないことにあります。Webサイトの評価などはまだ良い方で、マニュアルの評価にあたっては評価者が実機に触れることがないどころか、評価対象となる製品カテゴリーに対する根本的な理解を欠いていることすら珍しくありません。「そのような立場の人間が評価した方が、初心者ユーザーにはフレンドリーなものになる」という意見はよく聞きますが、（言葉は悪いのですが）はじめからド初心者をある程度切り捨てる方針でマニュアルが制作されることは、決して珍しいことではありません。情報提供にかけるコストと対象ユーザーの割合を考慮して、現実的にそうした判断がなされることがほとんどなのです（もちろん大きな声では誰も言いませんよ）。

Webサイトの場合では、ターゲットユーザーの絞り込みを行っているサイトの評価に同じような問題がつきまといます。自サイトで取り扱う題材に興味があるユーザーを前提として、情報のカテゴリー分類基準やタイトル付けを決定しているようなところは、評価者を選ぶのです。評価やテスト担当者が運営側の想定ターゲットをはずれていると、思いっきりマイナスの方向にバイアスのかかったデータが出てきてしまいがちです。

マニュアルにしろWebサイトにしろ、それらがデザインされ、完成物として存在するまでのコンテクストを切り捨てた評価やランキングに、どれほどの意味があるでしょうか。もちろん、それ以前の一般レベルでの問題が多いマニュアルやWebサイトが多いことも確かです。ですが、結果を真剣に検討するに値するだけのアウトプットを出せないようでは、評価という業務にどれほど必然性があるのか疑問です。そろそろこうした面を真剣に考えないと、遅かれ早かれ評価する側が信頼を失うことになるのではないでしょうか。