Skip to main content
cancel
Showing results for 
Search instead for 
Did you mean: 

Register now to learn Fabric in free live sessions led by the best Microsoft experts. From Apr 16 to May 9, in English and Spanish.

Reply
Syndicate_Admin
Administrator
Administrator

Uso de PBI para recopilar datos de más de 1000 archivos de Excel, ¿es escalable?

Hola, tenemos aproximadamente 100 archivos de Excel por mes, todos con exactamente el mismo formato. Cada archivo tiene menos de 2 MB de tamaño. Estamos guardando estos archivos en una carpeta Share Point. (Estos archivos son la salida de un modelo de simulación que se ejecuta como un complemento execl. Nos aseguramos de sobrescribir todo como texto antes de guardarlo en SharePoint, lo que reduce el tamaño del archivo)

Hemos creado un PowerBI que se conecta a esta carpeta y combina todos los datos en una tabla. Queremos que esta tabla sea una base de datos central en lugar de tener datos varados en archivos de Excel. Y luego podemos crear informes a partir de este conjunto de datos de PowerBI.

Hay algunas transformaciones en la consulta auxiliar para traer solo columnas relevantes, etc. Hemos tratado de mantener las transformaciones lo más mínimas posible (¿hay alguna manera de medir y compartir esta información?). El tamaño del archivo PBI Desktop es de 8MB.

Actualmente tenemos 124 archivos de Excel y el historial de actualización de programación de Power BI muestra que tardó 36 minutos en actualizarse.

Agregaremos aproximadamente 100 archivos cada mes.

1. ¿Es esta una solución sostenible, como en, el tiempo de actualización se alargará a medida que se agreguen más archivos a SharePoint? ¿En qué momento tenemos que empezar a preocuparnos por la escalabilidad?
2. Si pasamos a una capacidad premium y programamos la actualización 48 veces al día, ¿qué sucede si alguna actualización tarda más de media hora en completarse? ¿Veremos alguna vez datos actualizados?

He tratado de compartir todos los detalles, esta es la primera pregunta que estoy publicando aquí. Por favor, pregunte por cualquier otro detalle si eso puede ayudar.
¡Muchas gracias por intentar ayudarme!

1 ACCEPTED SOLUTION
Syndicate_Admin
Administrator
Administrator

1) Mi sospecha es que estarás bien durante unos meses, pero luego comenzarás a tener problemas. Creo que en premium el tiempo máximo de actualización es de 5 horas. La mayor parte del problema será sharepoint en lugar de número de archivos.

El hecho de que el archivo pbix tenga solo 8 MB no es una indicación de la cantidad de datos procesados debido a la compresión en uso.

Personalmente, me gustaría ingerir los archivos en una base de datos sql a medida que llegan usando ssis

o azure data factory. Alternativamente, eche un vistazo a guardarlos como csv en: https://docs.microsoft.com/en-us/azure/storage/blobs/create-data-lake-storage-account

También podrías mirar https://www.fourmoo.com/2020/06/10/how-you-can-incrementally-refresh-any-power-bi-data-source-this-e...

2) El servicio no permitirá que se inicie una nueva actualización mientras se está ejecutando, por lo que debería estar bien.

View solution in original post

2 REPLIES 2
Syndicate_Admin
Administrator
Administrator

Gracias @bcdobbs ,
Tengo un compañero de trabajo que me dice que debería considerar los flujos de datos junto con la carga de solo archivos calientes / nuevos con cada actualización. Por lo tanto, los archivos fríos / antiguos no necesitan ser leídos una y otra vez.
Tampoco estoy familiarizado con cómo hacerlo, por lo que será un escenario de prueba y aprendizaje. Estoy pensando que el último recurso tendrá que ser la base de datos SQL.

Syndicate_Admin
Administrator
Administrator

1) Mi sospecha es que estarás bien durante unos meses, pero luego comenzarás a tener problemas. Creo que en premium el tiempo máximo de actualización es de 5 horas. La mayor parte del problema será sharepoint en lugar de número de archivos.

El hecho de que el archivo pbix tenga solo 8 MB no es una indicación de la cantidad de datos procesados debido a la compresión en uso.

Personalmente, me gustaría ingerir los archivos en una base de datos sql a medida que llegan usando ssis

o azure data factory. Alternativamente, eche un vistazo a guardarlos como csv en: https://docs.microsoft.com/en-us/azure/storage/blobs/create-data-lake-storage-account

También podrías mirar https://www.fourmoo.com/2020/06/10/how-you-can-incrementally-refresh-any-power-bi-data-source-this-e...

2) El servicio no permitirá que se inicie una nueva actualización mientras se está ejecutando, por lo que debería estar bien.

Helpful resources

Announcements
Microsoft Fabric Learn Together

Microsoft Fabric Learn Together

Covering the world! 9:00-10:30 AM Sydney, 4:00-5:30 PM CET (Paris/Berlin), 7:00-8:30 PM Mexico City

PBI_APRIL_CAROUSEL1

Power BI Monthly Update - April 2024

Check out the April 2024 Power BI update to learn about new features.

April Fabric Community Update

Fabric Community Update - April 2024

Find out what's new and trending in the Fabric Community.