Google Assistantの音声検索のガイドラインが公開されたのでその情報のまとめ

Google Assistantの音声検索のガイドラインが公開されたのでその情報をまとめる。

音声検索のガイドラインのツイートログ

Google Research Blogでの発表

12月21日にGoogle Assistantにおける検索品質評価ガイドラインのような評価ガイドラインをものを公開した。Googleアシスタントではeyes-free technologyを利用しているため、独自のガイドラインが必要だと評価ガイドラインを発表したブログで述べられている。

f:id:sakura818uuu:20171230021854p:plain
Evaluation of Speech for the Google Assistant URL:https://research.googleblog.com/2017/12/evaluation-of-speech-for-google.html

音声検索のガイドラインの構成

Google Assistantの音声検索の評価ガイドラインは2017年12月13日にVersion 1.0として公開されている。

1. Introduction

Google Assistantの音声クエリについての説明。eye-freeの説明もここでされている。

2. Needs Met Rating

主に情報満足度に関する評価項目。回答結果はユーザーのニーズに答えられているかを評価する。Needs Met Ratingは検索品質評価ガイドラインのPart3にも(この音声検索のガイドラインよりはるかに)とても詳細に記載されているので、おそらくそれを踏襲した内容だと思われる。10の評価サンプルが表示されており、その評価サンプルの書き方自体は検索品質評価ガイドラインにとても似ている。

f:id:sakura818uuu:20171230031036p:plain
音声検索のガイドラインのNeeds Met Ratingの評価サンプル

3. Speech Quality Rating

評価基準のLength・Formulation・Elocutionの説明、そしてその評価サンプルが12個表示されている。評価サンプルはQuery(クエリ)・Spoken Response(音声回答結果)・Rating(評価の結果)・Discussion(補足情報やそれについての議論)の4項目がある。

f:id:sakura818uuu:20171230032013p:plain
音声検索のガイドラインのSpeech Quality Ratingの評価サンプル

評価基準のLength・Formulation・Elocutionの説明を以下に述べる。

  • Length…目で見る場合は回答結果の文章量が長くてもでも一瞬でスキャンすることができるが、音声検索ではそれが不可能である。音声検索では有用な量の情報を与えることが大切である。過去には文章を圧縮する研究なども行っている。
  • Formulation…回答の文法の正確性はどうか
  • Elocution…回答結果を話し言葉のように適切な発音や韻律で答えられているか

評価ツール

最後のページにこのGoogle Assistantの音声検索のガイドラインに沿った評価ツールと思われる画像が掲載されている。検索品質評価ガイドラインで公開されている評価ツールの画像にとても似ている。違いは音声検索なので音声のデータが組み込まれていることである。

f:id:sakura818uuu:20171230030324p:plain
Google Assistantの音声検索の評価ツール