Hola chicos,
Necesito hacer una unión aproximada entre dos tablas y da como resultado un rendimiento muy malo al actualizar mi conjunto de datos. Permítanme explicar el contexto.
Tengo mi tabla de la izquierda que contiene hoy alrededor de 1,5 millones de líneas y seguirá creciendo. En esta tabla hay alrededor de 35 columnas.
Y hay una columna que contiene el nombre de una ciudad (tipo de texto). El contenido de esta columna es proporcionado por el usuario de la aplicación, por lo que para la misma ciudad, puedo tener múltiples variaciones con mayúsculas / minúsculas / errores, etc.
En el lado derecho, tengo una tabla (llamada ciudades) que contiene alrededor de 40K líneas. Hay 7 columnas en esta tabla. Y hay una columna que contiene todos los nombres únicos de ciudades disponibles en mi país. La columna está en mayúsculas, no hay error, limpia, etc.
Así que comencé a hacer una unión difusa entre ambas tablas para tratar de hacer coincidir el nombre de la ciudad de la tabla izquierda con el nombre de la ciudad limpia de la tabla derecha. Los ajustes de la unión difusa son:
- Nivel de similitud : 0.5
- Ignorar la distinción entre mayúsculas y minúsculas
- Solo 1 partido
Cuando termina la coincidencia, en la tabla de la izquierda, solo mantengo la columna del nombre de la ciudad de la tabla de la derecha, no toda la tabla.
Esto da como resultado alrededor del 99% del partido, lo cual está bien para mí.
Pero luego, cuando actualizo mi conjunto de datos, todas las tablas se actualizan con bastante rapidez, alrededor de 1 a 2 minutos (tengo alrededor de 20 tablas), excepto la tabla de la izquierda que contiene la nueva columna de la combinación aproximada. Esta tabla tarda mucho en actualizarse (entre 30 y 45 minutos). Lo cual realmente no es aceptable en el trabajo diario.
Entonces, ¿tienes algún consejo para que esta operación sea más rápida?
Gracias de antemano por su ayuda,
Saludos
