Solo Importar registros coincidentes con out mediante la consulta merge

[Anonymous]

Hola a todos

Tengo una tabla de dimensiones grandes (2M filas) y una tabla Fact con alrededor de 100k. La relación es 1:M entre Dimensión y Hecho.

Los registros de 100k en el hecho pueden hacer referencia a la misma clave en la dimensión para varios registros, pero en general el hecho sólo hace referencia a aproximadamente 10k claves unqiue en la dimensión. Sólo quiero cargar esos registros coincidentes de 10k en el modelo.

Si intento hacer una combinación interna, parece que tengo que importar toda la dimensión primero y luego hacer la combinación, por lo que no me ahorra ningún tiempo de actualización/ carga de datos en este caso. ¿Hay alguna manera de filtrar esa dimensión para importar solo los registros que existen en el hecho sin cargar toda la dimensión y usar el plegado de consultas para una carga óptima? Parece una tarea fácil, pero no pude ver una manera clara de lograr esto.

¡Gracias!

[camargos88]

Hola @Sicilian ,

"Si intento hacer una combinación interna, parece que tengo que importar toda la dimensión primero y luego hacer la combinación, por lo que no me ahorra ningún tiempo de actualización / carga de datos en este caso"

Puede comprobar si algún paso está rompiendo el plegado. Compruebe si tiene la opción "Ver consulta nativa".

https://docs.microsoft.com/pt-br/power-query/power-query-folding

Si PQ puede aplicar una consulta de plegado en el origen, la combinación (interna) debería funcionar.

[Anonymous]

Otro problema que olvidé mencionar al fusionar: ya no tengo mi dimensión independiente, que necesito tener claves únicas para unir a otras tablas. Si me fusiono en el hecho, ya no tendré claves únicas.

¿Es posible filtrar la columna Clave de dimensión en función de la lista de valores de claves en el hecho?

[camargos88]

@Sicilian ,

No es necesario expandir las filas de la tabla de hechos. Sólo déjalo después de la fusión.

Mantendrá la tabla de dimensiones con valores únicos.

[Anonymous]

Todavía tengo que cargar la dimensión completa para usarla como una consulta/origen de datos en la combinación, ¿correcto? ¿O debo cargar la dimensión en la consulta directa para usarla con la consulta importada combinada?

[camargos88]

@Sicilian ,

Si Power Query puede insertar la combinación (Consulta de plegado) en el origen, se realizará allí.

Cargue ambas tablas y combínelos, compruebe los pasos si puede ver la consulta nativa después o en el paso de combinación. Si puede ver la unión allí, PQ la está empujando a su fuente.

[Anonymous]

Puedo ver la consulta nativa en el hecho de que fusioné la dimensión con una combinación interna.

La propia tabla de dimensiones sigue cargando todas las filas de 2 m en el modelo. ¿Cómo puedo prevenir esto? ¿Necesito eliminarlo? ¿Cambiar a DQ? ¿Escribir una consulta SQL explícita causaría problemas de rendimiento? Si fusiono el hecho en la dimensión, la dimensión perderá la uniquidad.

[camargos88]

@Sicilian ,

Combínelos en la consulta de dimensión. No expanda la tabla de hechos, por lo que no duplicará sus datos.

Después de eso, simplemente suelte la nueva columna generada por la combinación.

La idea es fusionar y quitar la columna, manteniendo los valores únicos para su dimensión.

[Anonymous]

Creo que ya veo. También puedo expandir usando 'agregado', luego quitar la columna también para asegurarme de que el plegado de consultas se lleva a cabo.

Gracias por las respuestas rápidas!

[camargos88]

@Sicilian ,

No necesita este paso adicional para asegurar la consulta de plegado, una vez que los fusione, se aplicará el plegado. Simplemente elimine la columna con el contenido combinado de la tabla.