My Geocode

Миграция

Сравнение поддержки пакетной обработки у разных провайдеров

· 3 мин чтения · My Geocode · #batch-geocoding#bulk-processing#geocoding#migration#comparison

Потребности в массовом геокодировании, будь то обработка таблицы из нескольких тысяч адресов за раз или геокодирование всей клиентской базы в рамках разовой очистки данных, по-разному закрываются у разных провайдеров, и при планировании миграции эти различия важнее, чем может показаться на первый взгляд.

Некоторые провайдеры предлагают отдельный веб-интерфейс для массовой работы: загрузите CSV, дождитесь обработки, скачайте результаты с добавленными столбцами. Это подходит пользователям без технических навыков, например сотруднику операционного или маркетингового отдела, которому нужно один раз геокодировать адреса и который не хочет писать код, но это отдельный продукт, не связанный с программным API, и если вы на него полагаетесь, для него нужен собственный план миграции.

Другие провайдеры рассчитывают, что массовое геокодирование полностью выполняется через программный API: вы отправляете множество отдельных запросов, часто параллельно, и сами собираете результаты. Это даёт вызывающему приложению больше контроля, в том числе над логикой повторных попыток, ограничениями параллельности и обработкой частичных сбоев внутри большого пакета.

Несколько по-настоящему независимых от провайдера уроков применимы при любом подходе:

  • Всегда предусматривайте повторные попытки для отдельных неудачных запросов внутри большого пакета, поскольку пакетное задание, которое целиком падает из-за того, что один адрес из десяти тысяч вернул ошибку, является хрупкой архитектурой у любого провайдера
  • Соблюдайте лимит запросов или структуру квот, описанные в документации API, поскольку наивный цикл, отправляющий запросы как можно быстрее, чаще всего приводит массовое задание к троттлингу или неожиданным расходам
  • Логируйте достаточно подробностей по каждому запросу, а не только по пакету, чтобы неудачную часть можно было найти и обработать повторно, не перезапуская всё задание с нуля

Подход My Geocode к массовой обработке следует программной модели: запросы идут через те же эндпоинты, что и любой другой поиск, с теми же вариантами аутентификации (заголовок X-API-Key, Authorization: Bearer, HTTP Basic auth или параметр запроса) и той же видимостью квоты через заголовки ответа, такие как X-Quota-Used и X-Quota-Free-Remaining, в каждом отдельном запросе, как описано на странице /docs/rate-limits/. Для большого разового массового задания такая видимость квоты действительно полезна для автоматической регулировки темпа, поскольку скрипт может проверять X-Quota-Free-Remaining в каждом ответе и замедляться соответственно, а не угадывать безопасную частоту запросов.

Поскольку цена одинакова для всех эндпоинтов, предоплаченный баланс по 0,0001 € за запрос или Unlimited-ключ за 50 € в месяц, стоимость большого массового задания сводится к простому умножению, как только вы знаете, сколько адресов нужно обработать, без отдельного тарифа на массовую обработку, который пришлось бы согласовывать или сравнивать с вашим текущим использованием по запросам. Для команд, переносящих регулярный процесс массовой обработки, будь то ежемесячная очистка списка клиентов или разовый проект миграции данных, такая фиксированная и предсказуемая стоимость запроса обычно делает бюджетирование самой простой частью всего перехода.

Ещё в разделе «Миграция»