Consejos generales sobre la mejor manera de manejar grandes conjuntos de datos

[dapperscavenger]

Tengo un archivo que es alrededor de 5.5mb. La tabla principal en ella es 285k filas, que contienen productos por ubicación y fecha. Hay una segunda tabla de alrededor de 18K filas que contienen datos de clientes por producto.

Los códigos de producto no son únicos en ninguna de las tablas, así que los uní en M para evitar problemas con muchas a muchas relaciones

Cuando combino los dos juntos en powerquery la tabla aumenta a 1,4 millones de filas y el tamaño del archivo aumenta a 45mb.

Me preocupan los tiempos de actualización y el tamaño general del archivo. ¿Qué puedo hacer para reducir el tamaño del archivo y mantenerlo rápido?

¿O hay una mejor manera de combinar las tablas que mueven a muchos a muchos problemas de relación?

[BA_Pete · Accepted solution]

Hola @dapperscavenger ,

Por los sonidos de la misma, no es necesario unir estas tablas en absoluto, necesita una tabla de dimensiones.

En Power Query, cree una dimensión de productos de la siguiente manera:

1) Nueva fuente > Consulta en blanco

2) En la barra de fórmulas, ingrese:

= Table.Distinct(Table.SelectColumns(yourTableWithAllProductsIn, {"ProductCode", "ProductName"}))

Donde "yourTableWithAllProducts" es el nombre de una de las consultas que contiene todos los productos, y "ProductCode" y "ProductName" son los nombres de las columnas de esta consulta que desea conservar en la tabla de dimensiones.

A continuación, aplique esto al modelo de datos.

Una vez que las dos tablas originales (sin combinar/sin combinar) estén en el modelo con la nueva tabla de dimensiones de productos, realice relaciones entre la tabla de dimensiones y cada tabla de hechos de la siguiente manera:

dimension[ProductCode] a fact[ProductCode] - One to many respectivamente.

Ahora puede usar el campo ProductName de la tabla de dimensiones en cualquier objeto visual y esto filtrará correctamente los valores de hecho en las dos tablas de hechos.