Ayuda con grandes conjuntos de datos: ¿hay una manera más eficiente de hacerlo?

[Anonymous]

Tengo un conjunto de datos muy grande que estoy administrando en PowerBi. Todos los datos de origen se almacenan como extracto CSV de una base de datos de Amazon Redshift.

Datos de 2017 - 40 gb

Datos 2018 - 50 gb

Datos 2019 - 55 gb

Datos 2020 - 30 gb

Utilizo powerbi para consolidar todos los datos en un conjunto de datos/tabla masivo. Los datos de 2020 cambian constantemente dados nuevos resultados (nuevos datos de fin de mes).

Mi problema es cada mes cuando ejecuto el proceso (con nuevos datos 2020) PowerBi actualiza las tablas 2017 - 2019 aunque nada ha cambiado en absoluto.

¿Hay de todos modos alrededor de esto? Hace que este proceso tarde mucho más de lo necesario.

¡Agradezco su ayuda!

[v-yingjl]

Hola @GeraldZ ,

1. Dado que el conjunto de datos es tan grande, reduzca para combinarlos como un único conjunto de datos e intente deshabilitar 'Incluir en la actualización de informes' en el editor de consultas para los conjuntos de datos que no desea actualizar

2. Si realmente desea combinarlos, intente configurar la actualización incremental y publicar en el servicio power bi. Consulte este documento: Actualización incremental en Power BI

Best Looks,
Yingjie Li

Si este post ayuda, por favor considere Aceptarlo como la solución para ayudar a los otros miembros a encontrarlo más rápidamente.

[Syndicate_Admin]

Hola

He intentado eliminarlos de incluirlos en la actualización del informe, pero cuando combino las consultas a través de M, todavía tiene que escanear las tablas. Tarda una eternidad.

[Syndicate_Admin]

Cualquier ayuda en este? Mi conjunto de datos solo se está haciendo más grande y necesito poder actualizar esto más rápido.

Así que para ser claro tengo 4 consultas cada una entre 30-40 gbs. Creo una tabla consolidada usando la consulta de combinación en M. Pero cada vez que tengo un nuevo mes agregado al conjunto de datos, tiene que volver a cargar cada consulta en la tabla consolidada. Así que incluso si i añadir sólo un mes que tiene que recargar 4 años cada vez. ¿Alguna ayuda o sugerencia?

[mwegener]

Hola @GeraldZ ,

cargar los datos como una tabla de hechos anual y combinar los valores mediante dimensiones y medidas.

A continuación, puede actualizar una sola tabla si es necesario.

Mira esto.

https://www.youtube.com/watch?v=cnpndrrrD8I

[Syndicate_Admin]

Lo sentimos, esto no funciona, mis archivos son archivos csv que no tiene nada que ver con el hecho o la dimensión y son demasiado grandes para fusionarse con UNION.