位置データは正常系だけでなくエッジケースでもテストする
よく地図化された市の中心部の住所からは、システムが農村部のルート、係争中の国境、極地付近のクエリをどう扱うかについてほとんど何もわかりません。難しいケースを意図的にテストしてください。
固定の参照住所セットでカバレッジを測定する
カバレッジは、ジオコーダーが正しく処理できる世界の割合といった、1つの数値に集約できそうに聞こえます。しかし、その捉え方は明らかにするものより隠すもののほうが多いのです。カバレッジを測定する唯一の意味のある方法は、固定された再現可能な基準住所のセット全体にわたって、この住所そのものが見つかるか、どの精度で、どの信頼度で見つかるか、という具体的で個別の質問を数多く投げかけ、それを1つの数値にまとめようとするのではなく、回答のパターンを見ることです。
役に立つ基準セットを作るには、まず自分の目的にとって「カバレッジ」が何を意味する必要があるのかを決めることから始めます。世界中の消費者向け住所検索をテストするためのセットは、たとえば実際に事業を展開している特定の国々のカバレッジをテストするためのセットとは大きく異なるからです。妥当な基準セットは、複数の国から住所を集め、それぞれの国で都市部と農村部の例を意図的に含め、わかりやすい住所と並んで、集合住宅、農村部の配達ルート、新しく開発された地域など、難しいことがわかっている住所もいくつか含めます。簡単なケースだけで作られたセットは、実際のカバレッジを過大評価してしまうからです。
セットはテストのたびに作り直すのではなく、固定して長期にわたって再利用する必要があります。この種の測定の価値は、主に比較可能性から生まれるからです。まったく同じ基準セットを同じジオコーダーに対して数か月ごとに実行すれば、ある地域のカバレッジが本当に改善しているのか、横ばいなのか、後退しているのかがわかります。これは1回限りのテストでは決してわかりません。また、同じ入力に対する精度の分布を時系列で比較することもでき、これは単なる合格・不合格の件数よりもはるかに多くの情報をもたらすシグナルです。
セットを実行するときは、住所ごとに成功か失敗かの二択以上のことを記録してください。回答が返ってきたかどうかだけでなく、すべての結果について返された precision と confidence を記録します。city の精度で低い信頼度でしか解決されない住所と、house の精度で高い信頼度ですっきり解決される住所は、単純な合格・不合格の集計ではどちらも「見つかった」と数えられますが、意味のある形で異なる結果だからです。
これはまさに、当社を含め、評価しているあらゆるジオコーディングプロバイダーに対してご自身で行う価値のあるテストです。ベンダーのカバレッジに関する一般的な宣伝文句に頼るのではなく、ご自身のユーザーがいる場所を本当に代表する住所を使ってください。サポート範囲の大まかな感触はカバレッジのページで確認し、そのうえで、カバレッジが事業にとって本当に重要なユースケースでプロバイダーを決める前に、ジオコーディングのエンドポイントを通じてご自身の基準セットで検証してください。