自動音声認識（ASR）評価ツールについて

自動音声認識（ASR）評価ツールについて

自動音声認識（ASR）評価ツールを使うと、音声ファイルをバッチテストし、開発したスキルのASRの精度を測定できます。ASR評価ツールにより、テストサンプルのオーディオ発話をASRモデルに対してテストし、期待される文字起こしを実際の文字起こしと比較することができます。ツールが生成する評価レポートには、各テスト発話の精度指標と合否結果が出力されるため、レポートをもとに精度の問題を解決できます。

ASRの詳細については、自動音声認識（ASR）とはを参照してください。

ASR評価ツールはAlexa開発者コンソールで利用できます。ASR評価をプログラムで実行するには、自動音声認識APIリファレンスを参照してください。

ASR評価のメリット

スキルユーザーが期待する応答をAlexaから得られない場合、ASR評価ツールを使って音声認識の問題をトラブルシューティングし、スキルのパフォーマンスを改善できます。ASR評価ツールにより、スキルが認識を誤りがちな単語を特定しやすくなります。特定したら、これらの単語をサンプル発話やスロット値としてスキルモデルにマッピングし直すことで、認識精度を改善できます。

たとえば、コーヒー関連のスキルでユーザーがAlexaに「モカを注文して」と頼むことを想定しているのに、ASR評価ツールによってAlexaが時々「モカ」を「ミルク」と間違えて認識することがわかったとします。 この問題を解消するには、発話を対話モデルのインテントにマッピングします。こうすることで、スキル内でのAlexaの理解を改善できます。

ASR評価プロセスの概要

ASR評価ツールを使用して、スキルの音声認識精度と対話モデルを改善するには、次の手順を実行します。

ASR評価ツールを実行します。

  1. テストに使用する録音済みの発話のアノテーションセットを作成します。
  2. ASR評価ツールを実行します。
  3. ASR評価の結果をもとに、スキルの精度と対話モデルを改善します。