得意なこと
- 次のアクションが不明確な文章や、顧客の目的ではなくシステム側の用語で名付けられたボタン。
- 導線が長すぎる：価格、連絡先、またはチェックアウトに到達する前に、ペルソナの耐心やステップ数が尽きてしまう。
- 支払い前に人々が尋ねる内容への回答不足：運営者、合計金額、返金ポリシー、返信時間。
- デバイスによって表示が異なるページ：必要なリンクを隠すモバイルメニューや、画面より広いページ。
- 検索の基本：開いたすべてのページのタイトル、説明文、見出し、構造化データ。
苦手なこと
- ビジュアルデザインを評価しません。テキストとコントロールを読み取り、色、余白、画像は対象外です。画像は説明文としてのみ認識されます。
- ライブサイトではフォームを送信せず、パスワードやカード番号を入力したり、Googleなどのサービスでサインインしたりしません。サインアップと支払いが完了したとみなされるため、確認メールが届くかどうかは判断できません。
- ドメイン外に出ません：他のサイトへのリンクは、元のサイトに戻ります。
- 「購入する」という判断は意見であり、コンバージョン予測ではありません。
誤りがある場合があります
言語モデルは単語を誤読したり、問題を想像したり、テスト自体の動作をサイトのせいにする場合があります。各ノートにはその根拠となる手順とスクリーンショットが含まれており、真偽を判定できます。これらの判定に基づき、十分な数の検証が完了次第、モデルに関するページで真のノートの割合を公開します。
まだ人間が必要な場所
リリース前、変更後、毎週人間でテストしにくいページでAI訪問者を活用してください。製品が本当に必要か、使い心地はどうか、実際にいくら払うかといった、人間にしか答えられない質問には実顧客とのインタビューを残してください。両者は相乗効果があります：AIパネルが明らかな問題を排除するため、人間の時間はより難しい問題に注ぐことができます。
