@Denis_Slav
Hola, un flujo de datos es la versión en línea de PBI PowerQuery.
https://docs.microsoft.com/en-us/power-bi/transform-model/service-dataflows-create-use
En lugar de actualizar la lectura de dataSET de archivos, puede actualizar el dataFLOW primero semanalmente (o diariamente si lo desea) y, a continuación, actualizar la lectura del conjunto de datos desde el flujo de datos.
Lo probaría, pero honestamente no creo que ayude demasiado, ya que ya está utilizando el almacenamiento en la nube y el servicio informático.
Me pregunto por qué el tiempo de actualización 2h te molesta en primer lugar. Usted tiene que esperar una semana para obtener el nuevo archivo, así que ¿por qué esperar 2h más sería un problema?
Sin embargo, lo que podría hacer es dividir la consulta. En lugar de importar todos los datos históricos con cada actualización, cree una primera importación estática (deshabilitar la actualización) para, por ejemplo, el archivo 1-15 (por ejemplo, 28 GB) y una segunda importación dinámica para el archivo 16+. Debe anexar ambas consultas antes de cargar en el conjunto de datos. De esta manera, la actualización sólo leerá 2 archivos en lugar de 17 que deberían ser mucho más rápidos. Por supuesto, los 2 archivos se convertirán cada vez más con el tiempo, por lo tanto, tendrá que mover algunos archivos de la dinámica a la importación estática y actualizar el estático.
Una cosa que no tocamos hasta ahora es la complejidad de su consulta. Asegúrese de que no lo está doblando (es decir, fusionarse con otras tablas que crean un producto de matriz) o cosas de este tipo. Intente reducir la complejidad de la consulta con fines de prueba al mínimo: simplemente lea el archivo sin ninguna transformación.
Buena suerte, sigue intentándolo.
Alexander
