位置データは正常系だけでなくエッジケースでもテストする
よく地図化された市の中心部の住所からは、システムが農村部のルート、係争中の国境、極地付近のクエリをどう扱うかについてほとんど何もわかりません。難しいケースを意図的にテストしてください。
「正確度99%」という主張に意味を持たせるには定義が必要な理由
「正確度99%」のような数字は、正確で安心できるように聞こえます。そして、まさにそこが問題です。口調の正確さは意味の正確さと同じではありません。どのように測定したのか、どの基準セットに対してなのか、どの精度レベルでなのかを一切示さずに出された単なる正確度の割合は、実際に評価したり頼ったりできる技術的な主張というより、マーケティングのスローガンに近いものです。
このシリーズで一つひとつ取り上げてきた疑問、つまり基準セットがどのように作られたか、都市部と農村部の住所の両方が含まれていたか、その主張がhouseの精度を対象にしているのか、それともcityのようなより粗いものなのか、係争地や特殊なケースの場所がどう扱われたか、その数値が大きく異なる地域や国ごとのデータ品質の水準をまたいだ平均なのか、といった点はどれも、単一の正確度の数字が実際に意味するものを、ときには劇的に変えます。十分にカバーされた少数の国の、地図がよく整備された簡単な都市部の住所からなる基準セットに対して測定した99%という数値は、農村部の住所、郵便番号しかない地域、基礎データが比較的乏しい地域を含む、世界全体を代表する基準セットに対して測定した99%という数値とは、並べて印刷すると同じに見えても、まったく異なるものを表しています。
だからこそ、意味のある正確度の主張には、少なくとも次のことを明示する必要があります。何を測定したのか(houseレベルのルーフトップの正確度は、精度にかかわらない全体の一致成功率とは根本的に異なる主張です)、何に対して測定したのか(特定されていない社内のサンプルではなく、明示され、できれば再現可能な基準セット)、そして結果が地域や精度レベルによってどう異なったのか(その下にあるばらつきを必然的に隠してしまう1つの混合された数値にすべてをまとめるのではなく)です。このレベルの手法の詳細を喜んで共有するプロバイダーは、実際に評価し比較できるものを提供しています。単なる割合だけを示すプロバイダーは、ただ自分たちの言葉を信じてほしいと求めているのです。
My Geocodeについて、単一の混合された正確度やカバレッジの割合を公表していないのも、まさにこのためです。そのような数値は、地図がよく整備された都市とほとんど記録のない農村部、細かな郵便データがある国とない国といった、極めて異なる条件を必然的に平均することになり、実際にはユーザーの本当のクエリのどれにも対応しない平均的な場所を表すことになってしまいます。その代わりに私たちが提供できるのは、このシリーズを通じて取り上げてきた実際の手法です。基準点を使ったテスト、precisionとconfidenceが意味するもの、そしてデータの種類ごとの既知の一般的な制約です。これにより、自社のユーザーが実際にいる場所を代表する住所に対して自分で評価を行い、自社のアプリケーションにとって意味のある数値にたどり着けます。
プロバイダーを比較しているなら、数値そのものを求める前に、正確度の主張の裏にある手法を尋ねてください。デモやジオコーディングのエンドポイントに対して自社を代表するクエリを試し、自社のビジネスが実際に重視する住所にとって正確度が実際にどう見えるのか、自分なりの答えを出してください。そもそも役に立つ数値は、それしかないからです。