A/Bテストのトラブルシューティング
以下のページでは、A/Bテスト実施時によくある問題と、その解決策を紹介します。
A/Bテストの作成
問題： A/Bテストを作成した後、テストIDが表示されない
現象
ASK CLIまたはSMAPI APIを使ってA/Bテストを作成しても、応答にテストIDがありません。
解決方法
テストIDは、応答本文ではなく、応答ヘッダーに返されます。ヘッダーのテストIDを確認するには、--debugフラグを使ってテストを作成します。
例
ask smapi create-experiment --skill-id <skill-id> --experiment-name "my_experiment" --debug
既存テストのIDを取得するには、代わりにlist-experimentsコマンドを実行します。
問題：A/Bテストを作成すると、experiment-planned-durationがエラーを出す
現象
--experiment-planned-durationフラグを付けてA/Bテストを作成すると、テストの長さが有効でないというエラーが表示されます。
解決方法
--experiment-planned-durationフラグでは、ISO-8601形式で日付を表記する必要があります。たとえば、4週間という値を、ISO-8601形式でP4Wのように表記します。また、テストの長さが20週間を超えないようにしてください。
例
ask smapi create-experiment --skill-id <skill-id> --experiment-name "my_experiment" --experiment-planned-duration "P3W"
問題： スキルは認定に合格したのに、A/Bテストを作成できない
現象
スキルはA/Bテストの利用資格条件を満たしているのに、テストを作成できません。
解決方法
スキルは、Amazonのコンテンツガイドラインの順守を含む、Amazonの認定条件に合格する必要があります。これらのコンテンツガイドラインの詳細については、Alexaスキルのポリシーのテストを参照してください。
ユーザートリートメントのオーバーライド
問題： ほかのユーザーに対してユーザートリートメントのオーバーライドを追加できない
現象
A/Bテストのユーザートリートメントのオーバーライドに、別の開発者アカウントを追加しようとするとエラーが発生します。
解決方法
外部ユーザーをユーザートリートメントのオーバーライドに追加することはできません。つまり、自分のスキルにのみ、ユーザートリートメントのオーバーライド値を設定できます。この要件を満たすには、カスタマーIDやベンダーIDが、テストを実行するスキルに設定した情報と一致する必要があります。たとえば、自分が開発したスキルのオーバーライド値を設定することや、スキルと同じベンダーIDを共有する別の開発者のオーバーライド値を追加することは可能です。
カスタマーIDまたはベンダーIDがスキルと一致していることを確認したにもかかわらずエラーが解消しない場合は、正しい開発者アカウントでログインしていることを確認してください。
自分が所有するスキルにユーザートリートメントのオーバーライドを追加する
- 正しいカスタマーIDまたはベンダーIDを含む、Login with Amazon（LWA）の認証情報を使ってA/Bテストを認証します。たとえば、そのスキルに関連したアカウントで開発者コンソールにログインします。
-
set-customer-treatment-overrideCLIコマンドを実行し、テストに使用する適切なユーザートリートメントオーバーライド値を渡します。1つのテストにつき、追加できるユーザートリートメントオーバーライドは10個までです。
問題： 有効なA/Bテスト中にユーザートリートメントオーバーライドを変更できない
現象
set-customer-treatment-override CLIコマンドを使って自分のユーザーオーバーライド値を変更しようとすると、エラーが発生します。
解決方法
A/Bテストを開始し、ENABLED状態になった後で、ユーザートリートメントオーバーライドを変更することはできません。新しいユーザートリートメントオーバーライド値を使ってテストを実行するには、新しいテストを作成する必要があります。
分析
問題： A/Bテストの分析データが正しくない
現象
A/Bテストの分析を確認すると、データが正しくないか、古くなっています。
解決方法
一部のメトリクスは、確認できる状態になるまで2～5日かかる可能性があります。データが完全に誤りであると考えられる場合、list-experiment-metric-snapshots CLIコマンド、またはすべてのメトリクススナップショットを取得するAPIを使用する際に、正しいスキルIDとテストIDを渡していることを再確認してください。
問題： ダッシュボードにA/Bテスト分析がまったく表示されない
現象
テストを行っているにもかかわらず、A/Bテスト分析ダッシュボードにデータが表示されません。
解決方法
データの問題は、A/Bテストを正しく設定していないときに発生することがあります。この問題は、responseオブジェクトで正しいトリガー情報を送信していない場合に起こることがあります。応答には、スキルがA/BテストをトリガーしたかどうかをAlexaが判断するのに使う、experimentationオブジェクトとtriggeredExperimentsパラメーターが含まれます。両方ともテストメトリクスの算出に必要です。テストの応答に、experimentationオブジェクトとtriggeredExperimentsパラメーターが含まれていることを確認してください。
A/Bテストの一般的なリクエストと応答について詳しくは、スキルコードを更新するを参照してください。
その他
問題： A/Bテスト実施中にトリートメント割り当てアラーム（TAA）を受け取った
現象
A/Bテスト実施中に、トリートメント割り当てアラーム（TAA）通知を受け取ることがあります。TAAは、現在実施中のテストに問題があることを示す警告です。
たとえば、1,000万人の訪問者にテストを実施している場合、そのテストの分析期間全体で、コントロールグループ（C）に約500万人の訪問者、トリートメント1グループ（T1）に約500万人の訪問者を想定する必要があります。訪問者のCとT1間のバランスが、コントロールグループとトリートメントグループに想定される割合と著しく異なる場合に、TAAアラームを受け取る可能性があります。
解決方法
TAAアラームを受け取った場合は、テストを終了して、トリガーロジックにエラーがないかを調査する必要があります。トリガーロジックを調整した後もTAAを受け取り続ける場合は、Alexa開発者サポートに問い合わせてください。
問題： A/Bテスト中に露出率を下げることができない
現象
update-exposure CLIコマンドを使って露出率を下げようとするとエラーが発生します。
解決方法
A/Bテストの実施中は、露出率を下げることができません。露出率を下げるには、新しいテストを作成する必要があります。
関連トピック
最終更新日: 2022 年 02 月 18 日