自動音声認識（ASR）評価を実行する
自動音声認識（ASR）評価ツールを使うと、音声ファイルをバッチテストし、開発したスキルのASRの精度を測定できます。ASR評価ツールにより、テストサンプルのオーディオ発話をASRモデルに対して一括でテストし、期待される文字起こしを実際の文字起こしと比較することができます。ツールが生成する評価レポートには、各テスト発話の精度指標と合否結果が出力されるため、レポートをもとに精度の問題を解決できます。また、見直しテストを作成し、定期的に、またはスキルの更新やデプロイの前に、自動でASR精度を測定することもできます。
このページでは、既存のアノテーションセットに対してASR評価を実行する方法について説明します。ASR評価用のアノテーションセットをまだ作成していない場合は、自動音声認識（ASR）のアノテーションセットを作成するを参照してください。
前提条件
ASR評価を実行するには、次のものが必要です。
- Amazon開発者アカウント。必要に応じてdeveloper.amazon.comを参照し、アカウントを作成してください。
- オーディオ発話の既存のアノテーションセット。アノテーションセットの作成手順については、自動音声認識（ASR）のアノテーションセットを作成するを参照してください。
アノテーションセットに対してASR評価を実行する
アノテーションセットに対してASR評価を実行するには
- アノテーションセットに移動します。
- Amazon開発者アカウントの認証情報を使い、Alexa開発者コンソールにログインします。
- 開発者コンソールでビルドタブに移動します。
- 左のナビゲーションでカスタムの下のアノテーションセットをクリックし、NLU評価タブ、ASR評価タブの順にクリックし、既存のアノテーションセットのリストを表示します。
-
ページの右上隅にあるモデルを評価ボタンをクリックします。
モデルを評価 ASR評価ウィンドウが開きます。
評価の実行 -
ASR評価ウィンドウのアノテーションソースドロップダウンリストで、評価するアノテーションセットを選択します。
-
評価を実行ボタンをクリックします。
ASR評価ツールによるテストが実行されます。テストが完了すると、ASR評価ウィンドウにテストの評価IDが表示されます。評価IDには、レポートのリンクが設定されています。
-
実行したテストの評価レポートを表示するには、評価IDのハイパーリンクをクリックします。
評価レポートには、[E] 期待 VS [A] 実行結果 文字起こし、各発話の合格／不合格、アノテーションセット全体の合格率が表示されます。全体の合格率は、アノテーションセットの全発話の加重平均です。
評価レポート
評価レポートでスキルパフォーマンスを改善する点を特定したら、自動音声認識（ASR）のテスト結果を改善するを参照して改善できます。