Наше мнение

В чём ошибается маркетинг «оценок достоверности»

Ответ геокодирования с оценкой уверенности 0.87 выглядит строже, чем ответ, который просто сообщает, есть совпадение или нет. В нём есть десятичная точка. Он подразумевает, что за ним стоит модель, откалиброванная по чему-то измеримому. Иногда так и есть. Но часто это число ближе к эвристике, облачённой в формат, который выглядит научно, и снаружи отличить одно от другого трудно.

Проблема голой оценки уверенности в том, что она отвечает на вопрос, который никто в таких терминах не задавал. Разработчику, который делает форму адреса, не нужна вероятность от нуля до единицы. Ему нужно знать нечто более конкретное: совпал ли номер дома или только улица. Найден ли почтовый индекс или только город. Это совпадение на уровне здания или откат к центроиду более широкой территории. Одно число с плавающей точкой сводит все эти полезные, применимые на практике подробности к одной цифре, которая выглядит точной, но сообщает меньше, чем простое описание.

Мы считаем, что честный вариант состоит в том, чтобы простыми словами описывать, что именно совпало, а не сжимать это в оценку, которая подразумевает больше уверенности, чем может обеспечить лежащий в основе метод. Это тем более важно, что прямое и обратное геокодирование относятся именно к тем функциям, где преувеличение точности наносит реальный ущерб дальше по цепочке. Адрес, распознанный на другом конце города, потому что оценка уверенности выше некоторого порога незаметно пропустила плохое совпадение, не погрешность округления. Это отправка, ушедшая не туда, или проверка зоны обслуживания, включившая клиента, который на самом деле находится за её пределами.

Мы не будем утверждать, что наше прямое геокодирование, обратное геокодирование или автодополнение уже обрабатывают любой шаблон адреса с проверенной точностью во всех случаях, потому что такое утверждение было бы именно тем преувеличением, о котором мы здесь говорим. Прямо мы можем сказать, что делают эндпоинты и как они устроены, не заворачивая описание в число, призванное сделать уверенность выше, чем позволяет реальность.

Оценка уверенности сама по себе не нечестна. При правильном использовании она действительно может обобщать что-то реальное о совпадении, особенно если она задокументирована достаточно ясно, чтобы разработчик видел, из чего на самом деле вычисляется число. Проблема возникает, когда оценка становится всем ответом, подаётся в маркетинге как доказательство точности, а не раскрывается как один сигнал из нескольких, а лежащий в основе метод остаётся неназванным. Число без объяснения не точнее слов. С ним просто труднее спорить, а это совсем другое дело.

Исправить это несложно, пусть даже на маркетинговой странице это выглядит менее выигрышно. Описывайте простым языком, что совпало, и позвольте разработчику самому решить, достаточно ли такого уровня детализации для того, что он строит. Совпадение на уровне улицы, описанное простыми словами, полезнее оценки 0.91 без всякого объяснения, потому что простой язык подсказывает, что проверить дальше, а голое число нет.