Качество данных

Почему заявлениям о точности «99 %» нужно определение, чтобы что-то значить

Число вроде «точность 99 %» звучит точно и обнадёживающе, и именно в этом его проблема. Точность тона не равна точности смысла, и голый процент точности, приведённый без объяснения того, как он измерялся, по какому эталонному набору и на каком уровне точности, ближе к рекламному слогану, чем к техническому утверждению, которое можно реально оценить или на которое можно положиться.

Каждый из вопросов, которые эта серия разбирала по отдельности (как был построен эталонный набор, были ли в нём представлены и городские, и сельские адреса, относится ли заявление к точности house или к чему-то более грубому, например city, как обрабатывались спорные или пограничные местоположения, является ли цифра средним по совершенно разным регионам или уровням качества данных стран), меняет то, что на самом деле означает одно число точности, иногда кардинально. Показатель 99 %, измеренный на эталонном наборе простых, хорошо картографированных городских адресов в нескольких хорошо покрытых странах, описывает совсем не то, что показатель 99 %, измеренный на глобально репрезентативном наборе, включающем сельские адреса, регионы только с почтовыми данными и районы со сравнительно скудными исходными данными, хотя напечатанные рядом эти два числа выглядят одинаково.

Именно поэтому содержательное заявление о точности должно как минимум указывать, что измерялось (точность до крыши на уровне house принципиально отличается от общей доли успешных совпадений без учёта уровня точности), относительно чего измерялось (заявленный и в идеале воспроизводимый эталонный набор, а не неопределённая внутренняя выборка) и как результаты различались по регионам и уровням точности, вместо того чтобы сводить всё к одной усреднённой цифре, которая неизбежно скрывает различия под собой. Провайдер, готовый поделиться такими методологическими подробностями, даёт вам то, что можно реально оценить и сравнить. Провайдер, предлагающий только голый процент, просит вас просто поверить ему на слово.

Именно поэтому мы и не публикуем для My Geocode единый усреднённый процент точности или покрытия. Любая такая цифра неизбежно усредняла бы совершенно разные условия, хорошо картографированные города и слабо документированные сельские районы, страны с детальными почтовыми данными и страны без них, так что описывала бы некое среднее местоположение, которое не соответствует ни одному реальному запросу ваших пользователей. Вместо этого мы можем предложить то, о чём шла речь на протяжении всей серии, сам метод: тестирование по контрольным точкам, смысл precision и confidence и известные общие ограничения каждого конкретного типа данных, чтобы вы могли сами провести оценку на адресах, которые действительно отражают, где находятся ваши пользователи, и получить число, которое что-то значит для вашего конкретного приложения.

Если вы сравниваете провайдеров, спрашивайте о методе, стоящем за любым заявлением о точности, прежде чем спрашивать само число. Попробуйте собственные репрезентативные запросы в демо или на эндпоинте прямого геокодирования и сами выясните, как на самом деле выглядит точность для адресов, которые действительно важны вашему бизнесу, ведь только это число с самого начала и могло быть вам полезно.