スキルのレポートとは



スキルのレポートとは

ユーザーがどのようにAlexaスキルと対話しているかを開発者側で把握できるよう、スキルの使用状況のメトリクスレポートを生成するツールセットが提供されています。スキルのメトリクスレポートを表示するには、Alexa Skills Kit開発者コンソールレポートページを参照してください。レポートAPIを使用してスキルのメトリクスレポートにアクセスすることもできます。

Alexaスキルのレポートダッシュボードへのアクセス

レポートダッシュボードにアクセスして利用可能なレポートを生成する方法については、スキルの使用状況のレポートを参照してください。

スキルで利用できるメトリクスの種類

カスタムスキルやスマートホームスキルなど、スキルのカテゴリーごとにさまざまなメトリクスレポートを利用できます(会議スキルで利用できるメトリクスレポートはありません)。 多くのメトリクスレポートは、スキルが開発中でも公開中でも利用できます。開発者コンソールのテストページからの呼び出しは、すべてのメトリクスレポートのデータから除外されます。

次の表に、スキルで使用できる各種メトリクスレポートの概要を示します。

メトリクス 説明 スキルの種類
アクション アクションあたりのユニークユーザー、アクションの総数、アクションあたりの発話総数です。 スマートホーム
ユーザー スキルのカテゴリーによって発話のメトリクスレポートの内容が異なります。

カスタム、フラッシュブリーフィング、スマートホームスキル:
スキルにアクセスしたユニークユーザーの総数です。
音楽、ラジオ、ポッドキャストスキル:
再生キューを作成したユニークユーザーの総数です。
カスタム

フラッシュブリーフィング

スマートホーム

音楽、ラジオ、ポッドキャスト
インテント インテントあたりのユニークユーザー、インテントあたりの発話総数、インテントの総数、失敗したインテントです。 カスタム
対話パス スキルと対話する際にユーザーが使用するパスです。たとえば、LaunchRequestの後に特定のインテントを呼び出したユーザーの割合を確認できます。 カスタム
再生キュー 再生キューの数、ユーザーあたりの平均再生キュー、再生キューの合計時間、再生キューの平均継続時間、ユーザーあたりの再生キュー継続時間です。 音楽、ラジオ、ポッドキャスト
再生 30秒以上続いた再生キューの割合(%)です。 音楽、ラジオ、ポッドキャスト
再生 ユーザーがスキルのコンテンツを再生した総回数です。 フラッシュブリーフィング
リテンション率(公開中のスキルのみ) ユーザーグループ(コホート)ごとのスキル使用率の時間推移です。12週の間にスキルの使用を再開したユーザーの数または割合を確認できます。 カスタム
セッション セッションの総数、成功終了セッションの種類(エラー終了しなかったセッション)、ユーザーあたりの平均セッション数です。セッションの総数に対するタイプ別の内訳(成功、失敗、応答なしの割合)も含まれます。 カスタム
トップメディアコンテンツ 最も再生されたコンテンツ項目です。 音楽、ラジオ、ポッドキャスト
発話 スキルのカテゴリーによって発話のメトリクスレポートの内容が異なります。

カスタムスキル:
発話の総数、平均発話数、発話応答です。
スマートホームスキル:
発話の総数とユーザーあたりの平均発話数です。
カスタム

スマートホーム

スキルのメトリクスの概要

レポートページの概要セクションには、スキルで利用できるメトリクスの概要が表示されます。各メトリクスは、チャートやグリッドなどで可視化して表示できます。これらのメトリクスデータは、PNG画像またはJPEG画像として書き出すことができます。また、CSV形式で生データをダウンロードすることもできます。

レポートページ
レポートページ

スキルの有効化とトークン取得のメトリクス

アカウントリンクを使用するスキルの場合、レポートページにアカウントリンクセクションが表示され、スキルの有効化とトークンの取得に関するメトリクスを確認できます。これらのメトリクスは、公開中のスキルで利用できます。

これらのメトリクスについて理解するには、まずアカウントリンクの開始と完了について理解する必要があります。詳細については、アカウントリンクとはを参照してください。

以下の表は、スキルの有効化で確認できるメトリクスの一覧です。これらのメトリクスには、確認した時間の2日前までのデータが表示されます。

メトリクス 説明 スキルの種類
有効化総数 このメトリクスの定義はスキルの種類によって異なります。

アカウントリンクを使用しないカスタムスキル、すべてのフラッシュブリーフィングスキル、アカウントリンクを使用しない音楽、ラジオ、ポッドキャストスキル:
スキルを有効にしたユニークユーザーの総数です。
スマートホーム、ビデオ、ベビーアクティビティスキル:
スキルを有効にし、アカウントリンクを完了したユニークユーザーの総数です。
スキルを有効化しても、そのスキルを起動しないユーザーもいます。ユニークユーザー数としてカウントされるのはスキルを起動したユーザーです。ユーザーによる有効化の数とユニークユーザー数に差が出るのはこのためです。
カスタム(アカウントリンクを使用しないもの)

フラッシュブリーフィング

音楽、ラジオ、ポッドキャスト(アカウントリンクなし)

スマートホーム

ビデオ
アカウントリンクイベントの総数 アカウントリンクの開始総数と完了総数の合計です。 カスタム(アカウントリンクを使用するもの)

音楽、ラジオ、ポッドキャスト(アカウントリンクあり)

スマートホーム
アカウントリンク完了率 アカウントリンクの正常完了率です。アカウントリンクの開始総数に対するアカウントリンクの完了総数の割合です。

Alexaアプリでのアカウントリンク(AlexaアプリのみのフローとAlexaアプリから開始されたアプリ間のアカウントリンク)と、アプリでのアカウントリンク(アプリ間アカウントリンクとLogin with Amazonのフォールバックフロー)を別々に確認できます。
カスタム(アカウントリンクを使用するもの)

音楽、ラジオ、ポッドキャスト(アカウントリンクあり)

スマートホーム

以下の表は、トークン取得で確認できるメトリクスの一覧です。これらのメトリクスは、ほぼリアルタイム(送信の数分後以内)で表示されます。

メトリクス 説明 スキルの種類
アクセストークンのリクエスト: 成功率 Alexaサービスからスキルの認可サーバーへの、アクセストークンのリクエストが成功した割合です。詳細については、Authorization Code Grantフローの概要を参照してください。 カスタム(アカウントリンク、Authorization code grantを使用するもの)

音楽、ラジオ、ポッドキャスト(アカウントリンクあり)

スマートホーム
アクセストークンの更新リクエスト: 成功率 Alexaサービスからスキルの認可サーバーへの、アクセストークンの更新リクエストが成功した割合です。詳細については、Authorization Code Grantフローの概要を参照してください。 カスタム(アカウントリンク、Authorization code grantを使用するもの)

音楽、ラジオ、ポッドキャスト(アカウントリンクあり)

スマートホーム
アクセストークンのリクエスト: エラー応答 Alexaサービスからスキルの認可サーバーへの、アクセストークンリクエストに対するエラー応答の数です。OAuth 2.0からのエラーの詳細については、OAuth 2.0認証フレームワーク仕様のError Responseを参照してください。Alexaサービスが認識できないOAuth 2.0エラーを受け取った場合、UNKNOWN_ERROR_CODEとして表示されます。TRANSIENT_ERRORは、Alexaサービスがパートナーサービスと通信できなかったことを表します。その他のエラーの場合、Alexaは、nullエラーを返します。 カスタム(アカウントリンク、Authorization code grantを使用するもの)

音楽、ラジオ、ポッドキャスト(アカウントリンクあり)

スマートホーム
アクセストークンの更新リクエスト: エラー応答 Alexaサービスからスキルの認可サーバーへの、アクセストークンの更新リクエストに対するエラー応答の数です。OAuth 2.0からのエラーの詳細については、OAuth 2.0認証フレームワーク仕様のError Responseを参照してください。Alexaサービスが認識できないOAuth 2.0エラーを受け取った場合、UNKNOWN_ERROR_CODEとして表示されます。TRANSIENT_ERRORは、Alexaサービスがパートナーサービスと通信できなかったことを表します。その他のエラーの場合、Alexaは、nullエラーを返します。 カスタム(アカウントリンク、Authorization code grantを使用するもの)

音楽、ラジオ、ポッドキャスト(アカウントリンクあり)

スマートホーム

運用メトリクス

レポートページの運用メトリクスセクションでは、検出、機能ディレクティブ、状態レポートの各ページに、それぞれデバイス検出、デバイス制御、状態クエリリクエストについてのレイテンシーと成功率のメトリクスが表示されます。各メトリクスは、チャートやグリッドなどのインフォグラフィックで可視化して表示されます。これらのデータは、PNGまたはJPEG画像として書き出すことができます。また、CSV形式で生データをダウンロードすることもできます。

運用メトリクスのレポートは、次の分析に基づきます。

  • レイテンシー – レイテンシーは、Alexaがスキルにリクエストを送信してから応答を受け取るまでの時間です。レイテンシーは、P99、P90、P50などのパーセンタイルを使用して測定されます。レイテンシーグラフのデータを選択メニュー(円アイコンで囲まれた3つの縦のドット)を使用して、パーセンタイル統計情報や平均を選択します。1つのグラフに複数の統計情報のオプションが表示されます。

    Works with Alexa認定を維持するには、製品の機能ディレクティブの最大レイテンシーをP90で1000ミリ秒、P50で800ミリ秒にする必要があります。詳細については、Works with Alexa認定要件を参照してください。

  • 成功率 – 成功率は、Alexaがスキルから受信した成功応答の合計数を、Alexaがスキルに送信したリクエストの合計数で割った数です。
  • リクエスト量 – レイテンシーと成功率のグラフのリクエスト量は、2番目のY軸に表示されます。グラフのデータを選択メニュー(円アイコンで囲まれた3つの縦のドット)を使用して、リクエスト量のオン/オフを切り替えることができます。
  • 正確率 – 正確率は、ReportStateディレクティブに対する応答が、以前に送信された変更レポートと一致した割合を示します。

    Works with Alexa認定を維持するには、変更レポートの精度が97%に達する必要があります。詳細については、Works with Alexa認定要件を参照してください。

運用メトリクスでは、次のレポートを利用できます。

  • 検出 – Alexaはスキルに検出リクエストを送信して、ユーザーのスマートデバイスを検出します。検出ページには、スキルに対するすべての検出リクエストについてのレイテンシーと成功率のグラフが表示されます。検出の詳細については、Alexa.Discoveryインターフェースを参照してください。
  • 機能ディレクティブ – ユーザーがAlexaにスマートデバイスの制御を依頼すると、Alexaは機能(ライトを点灯するなど)をトリガーするディレクティブリクエストをスキルに送信します。機能ディレクティブのページには、レイテンシータブと成功率タブがあります。どちらのタブにも、複数のグラフが表示されます。1つはすべての機能ディレクティブリクエストの集計で、もう1つはスキルでサポートされているすべての機能ごとに表示されます。機能のグラフには、すべてのディレクティブにわたる集計と、その機能に含まれるすべてのディレクティブについてのディレクティブごとの内訳が表示されます。機能ディレクティブの詳細については、スマートホームスキルAPIについてを参照してください。
  • 状態レポート – Alexaはエンドポイントの状態についての情報をリクエストするために、ReportStateディレクティブを送信します。状態レポートページには、スキルに対するすべての状態レポートリクエストについてのレイテンシーと成功率のグラフが表示されます。状態レポートの詳細については、スマートホームスキルの状態レポートについてを参照してください。
  • 変更レポート – デバイスの状態が何らかの理由で変化した場合(例:ライトの点灯)、デバイスはChangeReportイベントでその変化をAlexaにレポートします。その後、Alexaはユーザーに最新の状態を提供できます。変更レポートのページには、これらの変更レポートのレイテンシー正確率が表示されます。
    • レイテンシーレイテンシーは、Alexaがスキルにディレクティブを送信してから変更レポートを受け取るまでの時間です。レイテンシーにはAlexaに指示した操作のみが含まれ、人が実際に照明を点けるといったその他の操作は含まれません。一部のAlexa機能についてはレイテンシーチャートを利用できません。
    • 正確率正確率は、ReportStateディレクティブに対する応答が、以前に送信された変更レポートと一致した割合を示します。正確率には手動、Alexaへの指示のいずれの状態変更も含まれます。つまり、ユーザーが手動で照明を点けた場合もAlexaにリクエストした場合もどちらも対象となります。

      変更レポートの詳細については、ChangeReportイベントを使用して状態をレポートするを参照してください。

スキル内課金(ISP)メトリクス

Alexaのスキルには、2種類のスキル内購入オプションがあります。

  • 買い切り型と消費型 – 買い切り型と消費型は、単一トランザクションのスキル内課金です。買い切り型では、スキル内の機能やコンテンツへのアクセス(たとえば、ゲーム内での新しいレベルへのアクセスなど)のロックを解除します。消費型では、購入、消費、再購入を繰り返すコンテンツや機能(たとえば、ゲーム内での通貨やライフの延長など)を提供します。
  • サブスクリプション型 – プレミアムコンテンツやプレミアム機能に一定期間アクセスできるようにするスキル内課金です。ユーザーがサブスクリプションをキャンセルするまで、課金が定期的に発生します。
メトリクス 説明 適用されるスキル内課金の種類
総課金額 スキル内のすべての買い切り型および消費型商品に対する購入でオファーが受け入れられた総数です。消費型の場合は、同一ユーザーが繰り返し購入した場合も、総課金額に含まれます。 買い切り型と消費型
課金数 スキル内の個別の買い切り型または消費型商品に対してオファーが受け入れられた回数です。消費型の場合は、繰り返し購入も課金数に含まれます。 買い切り型と消費型
アクティブサブスクリプション スキルのアクティブなサブスクリプションの合計数を表します。後日有効期限が切れる有料サブスクリプションも含まれます。 サブスクリプション型
トライアルからのコンバージョン率 有料サブスクリプションに至った体験版サブスクリプションの割合を表します。 サブスクリプション型
チャーン 期限が切れたか、ユーザーがキャンセルしたアクティブな有料サブスクリプションの割合です。 サブスクリプション型
開始されたサブスクリプション 新規サブスクリプションの合計数です。 サブスクリプション型
オファーのインプレッション ユーザーにAmazonから購入を促すプロンプト(商品と価格を記載)が表示され、それによって購入するかしないかを決定した回数の合計です。オファーのインプレッションには、無料トライアルと有料オファーの両方が含まれます。消費型の場合は、同一アイテムの初回購入と繰り返し購入の両方が含まれます。オファーのインプレッションには、upsellディレクティブで提供されるメッセージは含まれません。 買い切り型と消費型、サブスクリプション型
オファーのコンバージョン率 ユーザーが新規トライアルまたは有料サブスクリプションのサインアップに至ったオファーのインプレッションの割合です。 サブスクリプション型
オファーの成立したアップセル 購入に至ったアップセルのインプレッションの割合です。オファーの成立したアップセルは、upsellディレクティブを使用している場合のみ利用できます。 買い切り型と消費型、サブスクリプション型
課金コンバージョン率 課金に至ったオファーのインプレッションの割合です。 買い切り型と消費型
アップセルコンバージョン率 購入に至ったアップセルのインプレッションの割合です。このメトリクスは、upsellディレクティブを使用している場合のみ利用できます。 買い切り型と消費型、サブスクリプション型
取り消されたサブスクリプション キャンセルされたトライアルサブスクリプションまたは期限が切れた有料サブスクリプションの合計数です。ユーザーが有料サブスクリプションを取り消した場合、ユーザーの課金期間が終了するまで、サブスクリプションはアクティブな状態です。 サブスクリプション型

パフォーマンスメトリクス

スキルのパフォーマンスメトリクスを使用して、スキルの性能を確認します。

  • エンドポイントのレイテンシー - エンドポイントのレイテンシーを使用すると、ユーザーの発話に対するスキルの応答性を確認できます。エンドポイントのレイテンシーの高いスキルは応答が遅く、ユーザーがもどかしさを感じる可能性があります。
  • エンドポイントのレスポンス - エンドポイントのレスポンスメトリクスは、一定の期間ごとにスキルが応答に成功した数と失敗した数を示します。スキルの応答がない場合、ユーザーは困惑し、満足度の低下につながります。ユーザーがスキルに応答しない場合、エンドポイントのレスポンスメトリクスのスコアは低下します。
  • インテントの信頼度インテントの信頼度メトリクスは、音声対話モデルのパフォーマンスを示します。信頼度設定のオプションは、高、中、低です。ユーザーリクエストの信頼度が低い場合、インテントリクエストはスキルに送信されず、再プロンプトが発生します。これは、ユーザーエクスペリエンスの低下につながります。
  • Estimated System ErrorsEstimated System Errorsメトリクスは、ASR/NLUやコンテキストから読み取ったシステムシグナルに基づいて、潜在的な会話ターンの成功率を予測します。このメトリクスを使用すると、頻繁に対話に失敗する発話を見直して経時的なスキル改善の累計を確認し、さらに精度を上げるためにスキルを変更できます。

ユーザー負荷のメトリクス

ユーザー負荷のメトリクスを使って、ユーザーがスキルとどのように対話するかを確認します。Alexaでは、さまざまなユーザーの対話パターンやその他のコンテキストに基づいたシグナルを使用して、ユーザーがスキルとの対話時に負荷を認識したかどうかを予測します。

  • ユーザー負荷の概要ユーザー負荷の概要ダッシュボードでは、スキルと、Alexaが潜在的なユーザー負荷の原因として特定した頻度の高い発話のリストとの相対的な傾向を確認できます。

  • 割り込み - 割り込みメトリクスでは、ユーザーがスキルの応答の途中に割り込んだ頻度を確認できます。割り込みの割合が高い場合、スキルの応答が長い、想定外のアップセルオプション、ユーザーにプロンプトに答える時間を十分に与えていない、といった原因が考えられます。

  • 終了終了メトリクスでは、ユーザーがスキルセッションを途中で終了した回数を確認できます。途中で終了する場合は、ユーザーがスキルのスコープ外のリクエストを行った、スロットの認識が正しくない、無指名の呼び出しの使い方が間違っている、といった原因が考えられます。

  • 未処理のリクエスト未処理のリクエストメトリクスでは、スキルがユーザーリクエストを処理できなかった回数を確認できます。スキルに関連する可能性のある新規ユーザーリクエストが、この未処理のリクエストに該当する場合があります。