エラー分析機能

アンサーロボのエラー分析機能では、あらかじめ設定したクエリごとの正誤比較を行うことができます。間違いやすい質問や、間違いの内容を把握することで、回答内容の品質を高めるためのヒントが得られます。

エラー分析のためのクエリ登録

エラー分析を行うために、正誤比較を行うクエリを登録する必要があります。大きく２つの登録の仕方があります。
※テスト用の質問として登録できる最大数は1000件となっています。

登録方法①：クエリを取り込み、登録する

実際にモデルに対してあったクエリをクエリログから取り込むことができます。取り込んだクエリはアノテーションを行い、正解となる回答IDと紐づけます。具体的な操作方法は　クエリログとエラー分析への活用　をご参照ください。

登録方法②：CSVで質問を登録する

テスト用質問をCSVで準備し、登録をすることができます。正解となる回答IDと紐づけると共に、「テストに使用する」として登録する必要があります。下記CSVサンプルを参考にしてデータを作成ください。
作成したCSVは「Annotation Manager」からアップロードし、テスト用の質問として登録をします。具体的な登録方法は　テストに使う質問の登録方法　をご参照ください。

エラー分析を行う

エラー分析画面に行く

エラー分析機能のページはメニュー「Annotation Manager」のサブメニューから選択してアクセスします。

全体とFAQごとのスコアを確認する

アクセスすると以下の図のような画面が表示されます。

ラジオボタンにより、アンサーロボのエラー分析結果を表示する設定になっていることを御確認ください。

スライドバーは、回答するかしないかのしきい値を定めますが、アンサーロボ契約においては機能しておりません。ご了承ください。

全体的なスコアの表の下には、より詳細な各FAQごとのスコアが表示されます。精度が低いFAQに対しては、重点的に学習データを増やすと良いでしょう。

項目用語

質問データ数	テスト用に登録した質問データのうち、該当するFAQIDが付与された質問データの数
回答数	アンサーロボが該当する回答を表示した数
正解数	回答数のうち、正解であった回答の数
精度	回答数に対する正解数の割合
再現率	質問データに付与されたFAQIDに対する正解数の割合

質問ごとの正誤を確認する

FAQごとのスコアの下には、各質問ごとの正誤比較を行う表が表示されます。間違いやすい質問や、間違いの内容を把握することで、学習データや回答内容の品質を高めるためのヒントが得られます。