インテント履歴の確認



インテント履歴の確認

開発者コンソールのインテント履歴のページには、集計され、匿名化されたよく使われる発話と解決されたインテントが表示されます。このページを活用すると、ユーザーがどのようにスキルと対話するかを理解し、対話モデルの改善点を把握することができます。このページから、発話をインテントとスロットにマッピングすることもできます。

開発者コンソールでインテント履歴を確認する
開発者コンソールでインテント履歴を確認する

利用可能なデータ

インテント履歴のページに表示されるデータは、集計され、匿名化されています。つまり、スキルに送信されたすべての発話が表示されるわけではありません。

  • 特定の日について、あるロケールのデータを表示するためには、そのロケールに1日あたり少なくとも10人のユニークユーザーが存在する必要があります。たとえば、スキルの日本語バージョンには6月1日に20人のユニークユーザーが存在し、英語(米国)バージョンには同じ日に9人しかユニークユーザーが存在しないとします。この場合、日本語については6月1日のデータが表示されますが、英語(米国)については表示されません。

  • 表示される発話は、スキルに送信された発話のサブセットで、よく使用される発話のみを表示するようフィルタリングされています。つまり、ユーザー数で1日あたりのしきい値を満たしていたとしても、発話が表示されない場合もあるということです。

対象となるのは開発中、公開中、ベータテスト中のスキルのデータです。1日あたり10人のユニークユーザーという要件はすべてのスキルに適用されるため、開発中のスキルの場合、表示されるデータ件数が少なくなる可能性があります。

データは2つのタブに表示されます。

  • 未解決の発話には、まだ確認していない発話が表示されます。
  • 解決済みの発話には、確認済みで、かつ解決済みの発話が表示されます。発話を解決するには、発話をインテントまたはスロットにマッピングするか、解決済みとしてマークし、未解決の発話一覧から除外します。未解決の発話を確認して対話モデルを更新するを参照してください。

ページには以下の列が表示されます。|

説明

発話

ユーザーがスキルに対して話しかけた発話です。

信頼度

正しいインテントに解決される発話の信頼度です。のいずれかです。信頼度がのリクエストはインテントリクエストとしてスキルに送信されず、再プロンプトのトリガーとなります。

インテント

発話に一致するスキルのインテントです。信頼度がのリクエストの場合、もっとも可能性の高いと考えられるインテントが表示されます。ただし、このインテントはスキルに送信されません。

スロット

発話によって値が入ったスロットのリストです。

ダイアログ

発話がダイアログの一部の場合、発話によってトリガーされるダイアログのアクションが表示されます。ElicitSlotConfirmSlotConfirmIntentのいずれかです。

対話モデルのタイプ

発話がONE_SHOT対話として実行されたのか、MODAL対話として実行されたのかを表します。

  • ONE_SHOT: ユーザーはスキルを呼び出して単一のフレーズでインテントを伝えます。
  • MODAL: ユーザーは最初にスキルを呼び出してからインテントを伝えます。

アクション

未解決の発話には、発話をインテントやスロットにマッピングするマップボタンが表示されます。

解決済みの発話には、実行したアクションが表示されます。

  • マッピング済みの発話には、マッピングされたインテントまたはスロットが表示されます。テキストを編集した場合は、最終的な発話も表示されます。
  • マッピングなしで解決された発話には、「アクションなし」と表示されます。

未解決の発話を確認して対話モデルを更新するを参照してください。

結果の検索と絞り込み

インテント履歴の結果は、検索や絞り込みが可能です。自由に検索するには、検索キーワードを発話を検索ボックスに入力します。設定された条件で絞り込むには、条件を選択します。

  • 信頼度
  • ステージ(公開中、開発中)
  • 解決ステータス(解決済み、未解決)
  • 特定のビルトインインテント
  • 特定のカスタムインテント

適用をクリックすると、検索または絞り込みの結果が表示されます。

右上の書き出しオプションを使用して、結果を書き出すこともできます。

未解決の発話を確認して対話モデルを更新する

インテント履歴ページには、よく使用される発話が次の2つのタブに表示されます。未解決の発話解決済みの発話です。これらのタブでは、発話を確認し、対話モデルを更新して正しくルーティングされなかったフレーズが理解されるようにします。そして、発話を解決済みとしてマークします。

たとえば、AMAZON.FallbackIntentに送信された発話が、実際にはいずれかのカスタムインテントを起動すべきフレーズだったとします。この場合、インテント履歴からその発話を直接インテントにマッピングし、対話モデルを更新することができます。

既に正しくマッピングされた発話については、解決済みとしてマークされ、未解決の発話一覧から除外されます。対話モデルを変更する必要はありません。

インテントかスロットにマッピングするか、解決済みとしてマークするまで、発話は未解決の発話タブに残ります。

発話をインテントまたはスロットにマッピングする

1件の発話をインテントかスロットにマッピングするには、インテント履歴ページで未解決の発話タブをクリックします。デフォルトでは、未解決、解決済みのどちらのタブにも、最初の10件の発話のみが表示されます。他の発話を表示する場合は、さらに…件を表示をクリックする必要があります。

対話モデルの任意のインテントに発話をマッピングすると、その発話がサンプル発話のインテントセットに追加されます。

ダイアログモデルで必須スロットとして定義されたインテントスロットに発話をマッピングすると、その発話がスロット値を要求するユーザー発話に追加されます。

必要に応じて発話のテキストを編集できます。発話に含まれるスロット名には、波括弧({ })を使用します。

次の方法で、発話をインテントまたはスロットにマッピングします。

  1. 表の発話を検索してマップボタンをクリックします。
  2. 以下のいずれかを実行します。
    • インテントをマッピングするには、ドロップダウンリストからインテントを選択し、必要に応じて発話を編集します。
    • スロットをマッピングするには、スロットタブを選択してから、インテントとスロットの両方を選択します。ダイアログモデルで必須と設定されたスロットからのみ選択できることに注意してください。
  3. 発話をマップをクリックします。
  4. 対話モデルを保存してビルドします。

複数の発話を同じインテントまたはスロットに同時にマッピングすることもできます。この場合、発話のテキストは更新できないことに注意してください。選択された各発話は、インテントまたはスロットの発話にそのまま追加されます。

次の方法で、複数の発話を一度にマッピングします。

  1. マッピングする各発話のチェックボックスを選択します。
  2. 発話の表の上にある、一括マップをクリックします。
  3. ドロップダウンリストからインテントを選択するか、スロットタブに切り替えて、インテントとスロットの両方を選択します。ダイアログモデルで必須と設定されたスロットからのみ選択できることに注意してください。
  4. 発話をマップをクリックします。
  5. 対話モデルを保存してビルドします。

発話を別のインテントまたはスロットにマッピングすると、元の発話は解決済みの発話タブに移動します。修正した発話が将来、インテント履歴に表示されるほど頻繁に使用されたら、未解決の発話タブに新しい発話として表示されます。

発話を解決済みタブに手動で移動する

発話を別のインテントにマッピングせずに手動で解決すると、解決済みの発話タブに移動します。

1件以上の発話を解決するには、各発話のチェックボックスを選択してから解決をクリックします。

この方法で発話を解決すると、その発話は解決済みの発話に残ります。同じ発話が将来、インテント履歴に表示される条件を満たしても、解決済みとみなされ、解決済みの発話タブに表示されます。

インテント履歴とAMAZON.FallbackIntent

AMAZON.FallbackIntentこれらのロケールで利用できます)ビルトインインテントは、ユーザーの発話がスキルのどのインテントとも一致しない場合にトリガーされます。このインテントはインテント履歴のページに他のインテントと同じように表示されるため、対話モデルに一致しないよくある発話を確認できます。

この方法は、ユーザーが期待していると思われる機能や、スキルに追加すべき、意図が伝わりにくいよくあるフレーズを確認する際に便利です。たとえば「トリッププラン」スキルに対して、ユーザーのほとんどが目的地の天気について質問するのであれば、その機能をスキルに追加するとよいでしょう。

これらの結果を確認できるように、AMAZON.FallbackIntentを対話モデルに含めるようにしてください。