スキルのレポートについて



スキルのレポートについて

ユーザーがどのようにAlexaスキルと対話しているかを開発者側で把握できるよう、スキルの使用状況のメトリクスレポートを生成するツールセットが提供されています。スキルのメトリクスレポートを表示するには、Alexa Skills Kit開発者コンソールレポートページを参照してください。レポートAPIを使用してスキルのメトリクスレポートにアクセスすることもできます。

Alexaスキルのレポートダッシュボードへのアクセス

レポートダッシュボードにアクセスして利用可能なレポートを生成する方法については、スキルの使用状況のレポートを参照してください。

スキルで利用できるメトリクスの種類

カスタムスキルやスマートホームスキルなど、スキルのカテゴリーごとにさまざまなメトリクスレポートを利用できます(会議スキルで利用できるメトリクスレポートはありません)。 また、多くのメトリクスレポートは、スキルが開発中でも公開中でも利用できます。開発者コンソールのテストページからの呼び出しは、すべてのメトリクスレポートのデータから除外されます。

次の表に、スキルで使用できる各種メトリクスレポートの概要を示します。

メトリクス 説明 スキルの種類
アクション アクションあたりのユニークユーザー、アクションの総数、アクションあたりの発話総数です。 スマートホーム
ユーザー スキルにアクセスしたユニークユーザーの総数です。 カスタム

フラッシュブリーフィング

スマートホーム
インテント インテントあたりのユニークユーザー、インテントあたりの発話総数、インテントの総数、失敗したインテントです。 カスタム
対話パス スキルと対話する際にユーザーが使用するパスです。たとえば、LaunchRequestの後に特定のインテントを呼び出したユーザーの割合を確認できます。 カスタム
再生 ユーザーがスキルのコンテンツを再生した総回数です。 フラッシュブリーフィング
リテンション率(公開中のスキルのみ) ユーザーグループ(コホート)ごとのスキル使用率の時間推移です。12週の間にスキルの使用を再開したユーザーの数または割合を確認できます。 カスタム
セッション セッションの総数、成功終了セッションの種類(エラー終了しなかったセッション)、ユーザーあたりの平均セッション数です。セッションの総数に対するタイプ別の内訳(成功、失敗、応答なしの割合)も含まれます。 カスタム
発話 スキルのカテゴリーによって発話のメトリクスレポートの内容が異なります。

カスタムスキル:
発話の総数、平均発話数、発話応答です。
スマートホームスキル:
発話の総数とユーザーあたりの平均発話数です。
カスタム

スマートホーム

スキルのメトリクスの概要

レポートページの概要セクションには、スキルで利用できるメトリクスの概要が表示されます。各メトリクスは、チャートやグリッドなどで可視化して表示できます。これらのメトリクスデータは、PNG画像またはJPEG画像として書き出すことができます。また、CSV形式で生データをダウンロードすることもできます。

レポートページ
レポートページ

スキルの有効化メトリクス

レポートページのスキルの有効化セクションには、以下の表で説明するように、スキルの有効化に関連するメトリクスが表示されます。これらのメトリクスは、公開中のスキルでのみ利用できます。

スキルの有効化メトリクスの多くは、アカウントリンクに関連しています。これらのメトリクスを最大限に活用するには、アカウントリンクの開始と完了について理解する必要があります。詳細については、アカウントリンクとはを参照してください。

メトリクス 説明 スキルの種類
アカウントリンク完了率 アカウントリンクの正常完了率です。アカウントリンクの開始総数に対するアカウントリンクの完了総数の割合です。 カスタム(アカウントリンクを使用するもの)

音楽(アカウントリンクを使用するもの)

スマートホーム
ユーザーあたりのアカウントリンク開始数 ユーザーあたりの平均アカウントリンク開始数です。 カスタム(アカウントリンクを使用するもの)

音楽(アカウントリンクを使用するもの)
アクセストークンのリクエスト: 成功率 Alexaサービスからスキルの認可サーバーへの、アクセストークンのリクエストが成功した割合です。詳細については、Authorization Code Grantフローの概要を参照してください。 カスタム(アカウントリンク、Authorization code grantを使用するもの)

音楽(アカウントリンクを使用するもの)

スマートホーム
アクセストークンのリクエスト: エラー応答 Alexaサービスからスキルの認可サーバーへの、アクセストークンのリクエストに対するエラー応答の数です。詳細については、OAuth 2.0認証フレームワーク仕様のError Responseを参照してください。 カスタム(アカウントリンク、Authorization code grantを使用するもの)

音楽(アカウントリンクを使用するもの)

スマートホーム
アクセストークンの更新リクエスト: 成功率 Alexaサービスからスキルの認可サーバーへの、アクセストークンの更新リクエストが成功した割合です。詳細については、Authorization Code Grantフローの概要を参照してください。 カスタム(アカウントリンク、Authorization code grantを使用するもの)

音楽(アカウントリンクを使用するもの)

スマートホーム
アクセストークンの更新リクエスト: エラー応答 Alexaサービスからスキルの認可サーバーへの、アクセストークンの更新リクエストに対するエラー応答の数です。詳細については、OAuth 2.0認証フレームワーク仕様のError Responseを参照してください。 カスタム(アカウントリンク、Authorization code grantを使用するもの)

音楽(アカウントリンクを使用するもの)

スマートホーム
アカウントリンクイベントの総数 アカウントリンクの開始総数と完了総数の合計です。 カスタム(アカウントリンクを使用するもの)

音楽(アカウントリンクを使用するもの)

スマートホーム
アカウントリンクを実行したユーザーの総数 以下を行ったユニークユーザーの総数です。
  • スキルの有効化
  • アカウントリンクの開始
  • アカウントリンクの完了
カスタム(アカウントリンクを使用するもの)

音楽(アカウントリンクを使用するもの)
ユーザーによる有効化 この指標の定義はスキルの種類によって異なります。

アカウントリンクを使用しないカスタムスキル、すべてのフラッシュブリーフィングスキル、アカウントリンクを使用しない音楽スキル:
スキルを有効にしたユニークユーザーの総数です。
スマートホーム、ビデオ、ベビーアクティビティスキル:
スキルを有効にし、アカウントリンクを完了したユニークユーザーの総数です。
注: スキルを有効にするだけで起動しないユーザーもいます。ユニークユーザー数としてカウントされるのはスキルを起動したユーザーだけです。ユーザーによる有効化の数とユニークユーザー数に差が出るのはこのためです。
カスタム(アカウントリンクを使用しないもの)

フラッシュブリーフィング

音楽(アカウントリンクを使用しないもの)

スマートホーム

ビデオ

パフォーマンスメトリクス

スキルのパフォーマンスメトリクスを使用して、スキルの性能を確認します。

  • エンドポイントのレイテンシー - エンドポイントのレイテンシーを使用すると、ユーザーの発話に対するスキルの応答性を確認できます。エンドポイントのレイテンシーの高いスキルは応答が遅く、ユーザーがもどかしさを感じる可能性があります。
  • エンドポイントのレスポンス - エンドポイントのレスポンスメトリクスは、一定の期間ごとにスキルが応答に成功した数と失敗した数を示します。スキルの応答がない場合、ユーザーは困惑し、満足度の低下につながります。エンドポイントが応答しない場合、エンドポイントのレスポンスメトリクスのスコアは低下します。
  • インテントの信頼度インテントの信頼度メトリクスは、音声対話モデルのパフォーマンスを示します。信頼度設定のオプションは、高、中、低です。ユーザーリクエストの信頼度が低い場合、インテントリクエストはスキルに送信されず、再プロンプトが発生します。これは、ユーザーエクスペリエンスの低下につながります。

運用メトリクス

レポートページの運用メトリクスセクションでは、検出、機能ディレクティブ、状態レポートの各ページに、それぞれデバイス検出、デバイス制御、状態クエリリクエストについてのレイテンシーと成功率のメトリクスが表示されます。各メトリクスは、チャートやグリッドなどで可視化して表示できます。これらのデータは、PNGまたはJPEG画像として書き出すことができます。また、CSV形式で生データをダウンロードすることもできます。

運用メトリクスのレポートは、次の分析に基づきます。

  • レイテンシー – レイテンシーは、Alexaがスキルにリクエストを送信してから、Alexaがスキルから応答を受け取るまでの時間です。レイテンシーは、P99、P90、P50などのパーセンタイルを使用して測定されます。レイテンシーグラフの運用統計情報メニュー(+アイコン)を使用すると、さまざまなパーセンタイルの統計情報や平均を選択できます。1つのグラフに複数の統計情報のオプションが表示されます。
  • 成功率 – 成功率は、Alexaがスキルから受信した成功応答の合計数を、Alexaがスキルに送信したリクエストの合計数で割った数です。
  • リクエスト量 – レイテンシーと成功率のグラフのリクエスト量は、2番目のY軸に表示されます。グラフの+アイコンを使用して、リクエスト量のオン/オフを切り替えることができます。
  • 正確率 – 正確率は、ReportStateディレクティブに対する応答が、以前に送信された変更レポートと一致した割合を示します。

運用メトリクスでは、次のレポートを利用できます。

  • 検出 – Alexaはスキルに検出リクエストを送信して、ユーザーのスマートデバイスを検出します。検出ページには、スキルに対するすべての検出リクエストについてのレイテンシーと成功率のグラフが表示されます。検出の詳細については、Alexa.Discoveryインターフェースを参照してください。
  • 機能ディレクティブ – ユーザーがAlexaにスマートデバイスの制御を依頼すると、Alexaは機能(ライトを点灯するなど)をトリガーするディレクティブリクエストをスキルに送信します。機能ディレクティブのページには、レイテンシータブと成功率タブがあります。どちらのタブにも、複数のグラフが表示されます。1つはすべての機能ディレクティブリクエストの集計で、もう1つはスキルでサポートされているすべての機能ごとに表示されます。機能のグラフには、すべてのディレクティブにわたる集計と、その機能に含まれるすべてのディレクティブについてのディレクティブごとの内訳が表示されます。機能ディレクティブの詳細については、スマートホームスキルAPIについてを参照してください。
  • 状態レポート – Alexaはエンドポイントの状態についての情報をリクエストするために、ReportStateディレクティブを送信します。状態レポートページには、スキルに対するすべての状態レポートリクエストについてのレイテンシーと成功率のグラフが表示されます。状態レポートの詳細については、スマートホームスキルの状態レポートについてを参照してください。
  • 変更レポート – デバイスの状態が何らかの理由で変化した場合(例:ライトの点灯)、デバイスはChangeReportイベントでその変化をAlexaにレポートします。その後、Alexaはユーザーに最新の状態を提供できます。変更レポートのページには、ReportStateディレクティブへの応答により確認された、これらの変更レポートの正確性が表示されます。変更レポートの詳細については、ChangeReportイベントを使用して状態をレポートするを参照してください。

スキル内課金(ISP)メトリクス

Alexaのスキルには、2種類のスキル内購入オプションがあります。

  • 買い切り型と消費型 – 買い切り型と消費型は、単一トランザクションのスキル内課金です。買い切り型では、スキル内の機能やコンテンツへのアクセス(たとえば、ゲーム内での新しいレベルへのアクセスなど)のロックを解除します。消費型では、購入、消費、再購入を繰り返すコンテンツや機能(たとえば、ゲーム内での通貨やライフの延長など)を提供します。
  • サブスクリプション型 – プレミアムコンテンツやプレミアム機能に一定期間アクセスできるようにするスキル内課金です。ユーザーがサブスクリプションをキャンセルするまで、課金が定期的に発生します。
メトリクス 説明 適用されるスキル内課金の種類
総課金額 スキル内のすべての買い切り型および消費型商品に対する購入でオファーが受け入れられた総数です。消費型の場合は、同一ユーザーが繰り返し購入した場合も、総課金額に含まれます。 買い切り型と消費型
課金数 スキル内の個別の買い切り型または消費型商品に対してオファーが受け入れられた回数です。消費型の場合は、繰り返し購入も課金数に含まれます。 買い切り型と消費型
アクティブサブスクリプション スキルのアクティブなサブスクリプションの合計数を表します。後日有効期限が切れるように設定されている有料サブスクリプションも含まれます。 サブスクリプション型
トライアルからのコンバージョン率 有料サブスクリプションに至った体験版サブスクリプションの割合を表します。 サブスクリプション型
チャーン 期限が切れたかキャンセルされたアクティブな有料サブスクリプションの割合です。 サブスクリプション型
開始されたサブスクリプション 新規サブスクリプションの合計数です。 サブスクリプション型
オファーのインプレッション ユーザーにAmazonから購入を促すプロンプト(商品と価格を記載)が表示され、それによって購入するかしないかを決定した回数の合計です。オファーのインプレッションには、無料トライアルと有料オファーがどちらも含まれます。消費型の場合は、同一アイテムの初回購入と繰り返し購入の両方が含まれます。オファーのインプレッションには、upsellディレクティブで提供されるメッセージは含まれません。 買い切り型と消費型、サブスクリプション型
オファーのコンバージョン率 ユーザーが新規トライアルまたは有料サブスクリプションのサインアップに至ったオファーのインプレッションの割合です。 サブスクリプション型
オファーの成立したアップセル 購入に至ったアップセルのインプレッションの割合です。オファーの成立したアップセルは、upsellディレクティブを使用している場合のみ利用できます。 買い切り型と消費型、サブスクリプション型
課金コンバージョン率 課金に至ったオファーのインプレッションの割合です。 買い切り型と消費型
アップセルコンバージョン率 購入に至ったアップセルのインプレッションの割合です。このメトリクスは、upsellディレクティブを使用している場合のみ利用できます。 買い切り型と消費型、サブスクリプション型
取り消されたサブスクリプション キャンセルされたトライアルサブスクリプションまたは期限が切れた有料サブスクリプションの合計数です。ユーザーが有料サブスクリプションを取り消した場合、ユーザーの課金期間が終了するまで、サブスクリプションはアクティブな状態です。 サブスクリプション型

開発者コンソール: