Aumento del tamaño del archivo PBIX con flujo de datos

[swethabonthu]

Hola
Inicialmente tenía 3.8GB importado de BigQuery. Después de crear un informe, el tamaño del informe se comprimió a 1,2 GB, que es great!! Pero para que la actualización sea más rápida en el servicio, utilicé el flujo de datos. Para el mismo informe con los mismos datos, ahora noté que el tamaño del archivo PBIX subió a 2,8 GB mientras se usaba el flujo de datos. El problema es que mi panel se actualiza todos los días y mi panel de control pronto supera el límite de capacidad premium P1 del tamaño del panel de 3 GB.

Entiendo que esto es porque el motor VertiPaq en el escritorio es bastante bueno en la compresión de datos en la comparsión a . CSV en el flujo de datos. Quité todas las columnas que no son necesarias y me aseguré de que la precisión y los tipos de datos están en un formato compatible para una mejor compresión. ¿Cree que la clasificación de pocas columnas ayudaría a una mejor compresión? ¿Podría sugerir mejores técnicas de compresión al usar el flujo de datos?

[V-lianl-msft]

Hola @swethabonthu ,

Los flujos de datos son consultas de Power Query diseñadas en línea con la salida almacenada en Azure Data Lake Storage Gen2 como archivos CSV.

El motor Power bi utiliza una base de datos en columnas llamada VertiPaq en segundo plano, CSV se comprime de forma diferente.

Creo que podría considerar la optimización del rendimiento del flujo de datos desde el momento de la creación.

recomienda:

https://data-marc.com/2020/06/09/how-to-keep-your-power-bi-dataflows-organized-and-optimized/

https://docs.microsoft.com/en-us/power-bi/transform-model/service-dataflows-best-practices

Saludos
Liang
Si este post ayuda, entonces considera Aceptarlo como la solución para ayudar a los otros miembros a encontrarlo más rápidamente.

[parry2k]

@swethabonthu puede desactivar la fecha/hora automática si aún no está hecho. ¿Tiene muchas columnas con valores únicos?

Puede conectarse a su modelo desde DaxStudio y analizar su tabla/columnas en el analizador vertipaq para ver cuál no se está comprimiendo (tal vez muchos valores únicos) y luego ir desde allí para ver si puede ajustar las cosas. Es muy difícil de decir sin analizar su modelo.

Me gustaría❤ elogiossi mi solución ayudara.👉Si puedes pasar tiempo publicando la pregunta, también puedes hacer esfuerzos para dar a Kudos quien haya ayudado a resolver tu problema. ¡Es una muestra de agradecimiento!

⚡Visítenos enhttps://perytus.com, su ventanilla única para proyectos/formación/consulta relacionados con Power BI.⚡

[swethabonthu]

@parry2k,desencié La fecha/hora automática. He intentado todo para comprimir mis datos y como se mencionó, estoy muy contento de la compresión VertiPaq al importar datos de GoogleBigQuery.

Además, ya he analizado el modelo de DaxStudio. Mi problema es con la compresión durante el uso de un flujo de datos. Me encontré con muchas fuentes que mencionaron que el flujo de datos no es tan bueno como VertiPaq al considerar la compresión de datos. Al importar datos directamente desde BigQuery o cualquier otro origen, VertiPaq ordena automáticamente las columnas para una mejor compresión. Pero esto no sucede cuando uso el flujo de datos. Estoy más interesado en la compresión de datos mientras uso el flujo de datos específicamente.