Calidad de los datos

Transliteración de nombres y diacríticos en los datos de direcciones

Una calle cuyo nombre lleva un carácter acentuado, una diéresis o un carácter de un alfabeto no latino puede aparecer legítimamente en varias formas escritas distintas, y todas pueden ser correctas según el contexto. Una calle alemana con diéresis puede escribirse con la diéresis intacta, o con la letra seguida de una "e" adicional como sustitución estándar cuando el carácter con diéresis no está disponible. Un nombre escrito originalmente en un alfabeto no latino puede transliterarse a caracteres latinos de más de una forma aceptada, ya que la transliteración es un conjunto de convenciones y no una única función determinista, y cada sistema toma decisiones distintas pero razonables.

Esto crea un problema real de coincidencia para la geocodificación. Si un usuario escribe una dirección con una grafía válida y los datos subyacentes se indexaron con otra grafía distinta e igual de válida, una búsqueda ingenua de coincidencia exacta falla aunque ambas formas se refieran claramente a la misma calle real. No es un error de datos en el sentido tradicional, ya que ambas grafías son correctas, pero produce el mismo síntoma de cara al usuario que un error: una búsqueda que no devuelve nada cuando claramente debería haber devuelto un resultado.

Una buena coincidencia de direcciones resuelve esto normalizando la entrada antes de compararla: eliminando o estandarizando los signos diacríticos, teniendo en cuenta las convenciones de sustitución conocidas y tolerando las transliteraciones alternativas habituales de cada región, en lugar de exigir una coincidencia exacta carácter por carácter con la forma en que los datos subyacentes almacenaron el nombre. En el fondo es un problema de coincidencia aproximada, y afecta directamente a la puntuación confidence devuelta para una coincidencia, ya que una dirección resuelta a través de una variante diacrítica o de transliteración tiene razonablemente una confianza algo distinta de la de una coincidencia con una cadena literal exacta.

Conviene probar específicamente tu propio tratamiento de la entrada de direcciones con nombres que contengan signos diacríticos y con lugares en los que la transliteración es habitual, en lugar de suponer que tu conjunto de direcciones de prueba, si se basa sobre todo en direcciones nacionales de un único alfabeto, representa toda la variedad de entradas que tus usuarios escribirán de verdad. Un formulario que estropea o rechaza en silencio una dirección internacional escrita correctamente supone una pérdida discreta pero real de tráfico aprovechable, y es uno de los problemas de calidad de datos más fáciles de detectar a tiempo con un conjunto de pruebas deliberadamente variado.

Si estás creando un campo de autocompletado o de entrada para direcciones internacionales, pruébalo directamente con una variedad de alfabetos y variantes diacríticas usando el endpoint de autocompletado de direcciones, en lugar de suponer que tus casos de prueba nacionales actuales cubren este tipo de entrada.