位置データは正常系だけでなくエッジケースでもテストする
よく地図化された市の中心部の住所からは、システムが農村部のルート、係争中の国境、極地付近のクエリをどう扱うかについてほとんど何もわかりません。難しいケースを意図的にテストしてください。
既知の地点に対してジオコーディングの精度をどう測定しているか
既知の地点に対して一度も確認されたことのないジオコーダーは、自信たっぷりに推測しているだけです。精度を正直に測定する唯一の方法は、測量された基準点、公式の区画記録、検証済みの建物の位置などから、実際の座標がすでにわかっている住所を出発点にし、それをAPIが返すものと比較することです。
比較そのものは簡単です。返された緯度と経度を取り、既知の真の地点までの距離を測って記録します。本社の近くの住所だけでなく、大量で多様な住所に対してこれを行えば、すぐにパターンが見えてきます。ジオコーダーは、郊外の番地では数メートル以内に収まる一方で、地方の配達ルートの住所では1ブロック分ずれることがあり、その2つの結果はどちらも同時に正しいのです。
個々の距離の数値よりも重要なのは、誤差がレスポンスのprecisionフィールドとどう相関しているかです。houseとされた結果は、真の地点の周りに密集しているはずです。streetとされた結果は、特定の建物ではなく道路の区間に一致したものなので、平均するともっと離れているはずです。postcodeやcityとされた結果は、最初からはるかに粗い推定値として理解すべきです。誤差がprecisionのラベルに沿っていないなら、そのラベルは役割を果たしていません。
これは、カバレッジと精度を別々に測定しなければならない理由でもあります。カバレッジは、そもそも住所が見つかるかどうかを問います。精度は、見つかった場合に答えがどれだけ近いかを問います。ある国ではカバレッジが優れていて精度が平凡なこともあれば、その逆もありえます。1つの数値だけを報告すると、実際にどちらの問題を抱えているのかが隠れてしまいます。
私たちはMy Geocodeについて、すべてを混ぜ合わせた1つの精度の割合を公表していません。そうした数値は、まさに重要なばらつきを平らにならしてしまうからです。建物単位の詳細なデータがある国の住所と、郵便当局が地区しか管理していない国の住所は比較できず、それらを平均すると、どちらも表していない数値ができあがります。お伝えできるのは、この種のテストを自分で行う方法です。ユーザーが実際にいる場所に関係する基準となる住所を選び、返されるprecisionとconfidenceをあわせて確認し、自分の対象地域で見られた結果に基づいて独自のしきい値を設定してください。
私たちに限らず、どのジオコーディングプロバイダーを評価する場合でも、目立つ割合の数値ではなく、基準点によるテストを求めてください。自社のデータに自信のあるベンダーなら、その方法を見せてくれるはずです。ジオコーディングのエンドポイントに対して自分の住所をまとめて試し、自分の場所の組み合わせについて、precisionと距離がどう連動するかを見てください。APIが自社のプロダクトでどう振る舞うかを実際に予測できるのは、その数値だからです。