人工知能（AI）ツールの価値は、学習に使用したデータによって決まります。優れたユーザーエクスペリエンスをデザインするには、トレーニングデータを適切にデザインすることが重要です。Alexa Conversationsのダイアログ評価ツールは、AIを使用して、より良いトレーニングデータを提供し、AIとユーザーエクスペリエンスを効果的に向上させるための1つの方法です。
ダイアログ評価ツールを使用すると、Alexa Conversations AIツールのアクションに関するフィードバックを提供できます。この機能により、少ない労力で高品質な会話型トレーニングデータをデザインできます。そのためには、ツールを対話形式で操作して、ダイアログの各ターンで予測されるアクションと応答を確認します。必要に応じて修正しながら、ツールにフィードバックを提供します。このツールを使用すると、トレーニングデータのデザインに費やす時間も短縮できます。必要に応じて修正しながら、迅速に繰り返し処理を実行できます。
ask dialog --evaluateコマンドを使用して、Alexa Conversationsのスキルの評価を開始します。ダイアログの開始は、呼び出しフレーズです。ここでは、「ユーザー」役になって操作してください。Alexaとの会話は、自然に会話するときと同じ言葉で入力します。次に、スキルの応答を確認します。スキルの応答は満足できるものですか。 さらに会話を続けて、スキルの応答が不適切だと思われる場合は、ツールにフィードバックを伝えてください。そうすると修正フローが起動するので、出力を修正してツールに学習させることができます。エラーを修正したら、それまでと同じように会話を続け、ツールにすべてのフィードバックを行います。このフィードバックは重要です。改善されたトレーニング信号を通して、適切な行動を強化し、不適切な行動を抑制します。次の例は、評価ツールとの対話の方法を示しています。
> User: ケーキショップを開いて
> Alexa: いらっしゃいませ。ご注文はお決まりですか？
> User: ケーキを注文したいです
> Alexa: どのようなケーキをお探しですか？
Do you accept this response [y/n]? y
> User: 黄色のハーフシートケーキをください
> Alexa: わかりました。シートアイシング *with* *sheet icing*.
Do you accept this response [y/n]? n
In correction mode:
Prediction: type U0 {Color color0, Size size0, Icing icing0}
u0 = received<U0>(Invoke, "A {yellow|color0}
{half|size0} {sheet|icing0} cake.")
Is this correct [y/n]: n
Correction for type (press enter if no change):
type U1 {Color color0, Size size0}
Correction for event (press enter if no change):
u0 = received<U1>(Invoke, "A {yellow|color0}
{half sheet|size0} cake.")
----------------------------------
Prediction: response(confirmCakePropsApla,
ConfirmArgs {arguments=[color, size]}, surfaceForm?)
Is this correct [y/n]: y
----------------------------------
End of turn [y/n]: y
> Alexa: わかりました。黄色のハーフシートケーキですね詳細を確認する場合は、 verboseオプションを使用してください。修正モード以外でも、デフォルトで予測の詳細が表示されます。次の例は、verboseオプションの動作を示しています。
> User: ケーキを注文したいです
[acdl]: received(Invoke, "ケーキの注文をお願いします")
[info]: User request act is Invoke
> Alexa: どのようなケーキをお探しですか？
[acdl]: response(generalCakeRequestApla, Request {arguments = [color, size, icing]})
[info]: Alexa responds with generalCakeRequestApla to Request the
arguments color, size and icing for PlaceOrderAPI
Do you accept this response [y/n]? yダイアログ評価ツールを使用すると、簡単に改善処理を繰り返し、質の高いユーザーエクスペリエンスをデザインできます。