相関性評価をやってみよう [評価者心得編]

事前準備編の次は、評価者心得なるものをお伝えしたいと思います。

1. 理想の検索結果をイメージする

評価者には「理想の検索結果をイメージする力」が必要です。当たり前ですが、理想検索結果を思い描けなければ評価・スコアリングなどできませんよね。

そして、評価結果に応じて検索エンジンをチューニングしていくわけですから、「検索結果が適切かどうかを判断する」行為は、「適切な検索結果を指し示す」行為ともいえます。いわば評価自体が検索結果の輪郭を描くことといえるでしょう。

ただ、万人向けの理想を描くことはなかなか難しいものです。特定商品を探すキーワードのような正解型の検索であれば簡単ですが、カテゴリ名キーワードやブランド名キーワードなどの探している商品があいまいな場合は、正解の検索結果というのはないといえます。

こういう場合の「理想の検索結果」とはなんでしょうか。悩んじゃいますよね。

そこで、「メインカスタマー」の設定を行います。「だれ」として評価するかを決めることで「理想の検索結果」をイメージしやすくなります。

とある総合ファッションサイトを評価することになったとします。キーワード「シャツ」の検索結果に「メンズシャツ」が多数表示されました。
メインカスタマーが男性であれば高評価の検索結果かもしれませんが、メインカスタマーが女性の場合は評価は逆になりますよね。

もちろん性別のほかにも年齢、家庭・子供有無、スキル度合い、利き腕、用途など、想定カスタマーの設定次第で理想の検索結果は異なります。

メインカスタマーになりきって理想の検索結果をイメージすること、それが大切です:)

2. 商品知識はあればあるほど良い

商品知識があったほうが理想の検索結果はイメージしやすく、評価しやすいものですが、数千・数万とあるすべての商品を使用したことのある人はいません(すべての洋服を着たことのある、すべての音楽を聴いたことのある、すべての映画を観たことのある、すべての本を読んだことのある人..etcも存在しませんよね)。

ですので、全商品に詳しくあれとは申しません。

ただ、サイトの取り扱い商品を把握しておくことはもちろんのこと、その商品カテゴリーの世で販売されている商品ラインナップを把握しておくことは肝心です。

なぜなら検索結果に表示されている商品を評価する行為よりも、検索結果に表示されていない商品を思いつくことのほうが難しいからです。存在を知らなければ理想の商品をピックアップできないわけですから。

次回は評価実践編です。

(つづく)