Skip to main content
cancel
Showing results for 
Search instead for 
Did you mean: 

Register now to learn Fabric in free live sessions led by the best Microsoft experts. From Apr 16 to May 9, in English and Spanish.

Reply
richard-powerbi
Post Patron
Post Patron

¿Es posible la actualización incremental en las propiedades del archivo?

Tengo una situación en la que los usuarios exportan archivos de Excel desde un programa de ingeniería. La cantidad de archivos de Excel que se están creando será aproximadamente 100-150 por año. Quiero obtener estos datos en el modelo de datos y específicamente en un flujo de datos. ¿Es posible diseñar algo en el entorno de Power BI de forma que solo se incluyan en la actualización archivos de Excel nuevos o modificados? (Q1)

Supongamos que combino archivos de Excel a través de Power Query e incluyo las columnas creadas/modificadas de las propiedades de archivo en la tabla resultante, ¿una actualización incremental en la configuración de Flujo de datos hará que solo se abran los archivos recién creados y modificados? ¿O se abrirán y leerán todos los archivos antes de que el motor se dé cuenta de que solo se necesitaba el 5% de los datos? (Q2)

6 REPLIES 6

Hola @richard-powerbi ,

P1 : la actualización incremental no detecta ningún cambio en los datos. Solo se actualizará un período continuo.

P2 - Creo que debe haber filtrado los archivos de Excel por fecha antes de combinarlos. Eso debería funcionar entonces.


Uso de la actualización incremental con flujos de datos de Power BI

https://docs.microsoft.com/en-us/power-bi/transform-model/service-dataflows-incremental-refresh

Did I answer your question?
Please mark my post as solution, this will also help others.
Please give Kudos for support.

Marcus Wegener works as Full Stack Power BI Engineer at BI or DIE.
His mission is clear: "Get the most out of data, with Power BI."
twitter - LinkedIn - YouTube - website - podcast


@mwegener pero si filtro los archivos de Excel antes de combinarlos elimino los datos antiguos.... ¿cómo es eso una solución?

Hola @richard-powerbi ,

los datos antiguos ya deben almacenarse en el servicio Power BI (flujo de datos).

El servicio Power BI controla los parámetros RangeStart y RangeEnd y, por lo tanto, filtra el período de observación de los nuevos datos.

Did I answer your question?
Please mark my post as solution, this will also help others.
Please give Kudos for support.

Marcus Wegener works as Full Stack Power BI Engineer at BI or DIE.
His mission is clear: "Get the most out of data, with Power BI."
twitter - LinkedIn - YouTube - website - podcast


@mwegener gracias entiendo las cosas en parte. ¿Puede confirmar a continuación el razonamiento y responder a algunas de las preguntas dentro?

Digamos que se trata de una consulta:

Paso 1: Fuente

Paso 2: Fuente de filtrado con RangeStart y RangeEnd

Paso 3-8: Todo tipo de transformaciones

Paso 9: Tabla de resultados

Esta es la tabla en el paso 2:

ÍndiceCreadoModificado
11-1-20205-1-2020
22-1-20202-1-2020
33-1-20204-1-2020
44-1-20204-1-2020
55-1-20205-1-2020

Usando RangeStart (4-1-2020) y RangeEnd (5-1-2020) solo en la columna Created cualquier cosa después del paso 2 se verá así en PQ Editor en el paso 9:

ÍndiceCreadoModificado
44-1-20204-1-2020
55-1-20205-1-2020

Al mismo tiempo, seguirá teniendo este aspecto en Dataflow (Dataflow elimina los filtros RangeStart y RangeEnd):

ÍndiceCreadoModificado
11-1-20205-1-2020
22-1-20202-1-2020
33-1-20204-1-2020
44-1-20204-1-2020
55-1-20205-1-2020

  • Es necesario tener las columnas Created y Modified disponibles en la tabla de resultados (paso 9), de lo contrario no puede seleccionarlas en la configuración de actualización incremental. Lo que significa que cualquier otra tabla como dimensiones, que hacen referencia a estos datos, también necesita tener estas columnas. Un problema que preveo es que en estas tablas de dimensiones se quitarán los duplicados, lo que hace que estas columnas sean inútiles. Por favor, dime que hay una solución para esto? O dime que esta suposición es correcta:
    • Cuando hay 5 tablas en un flujo de datos y 1 tabla es la 'tabla madre' (las otras 4 tablas hacen referencia a esta tabla) sólo es necesario configurar la actualización incremental para la tabla madre y la actualización incremental hará su magia en las 'tablas de niños', lo que significa que las tablas de elementos secundarios no necesitan tener las columnas Created y Modified.
  • La actualización incremental de flujos de datos examina las columnas Created y Modified de la tabla de resultados después del paso 9. No afecta al paso 2, excepto la eliminación de los filtros RangeStart y RangeEnd.
  • Para la columna Creado:
    • La parte 'del pasado' en 'Almacenar filas del pasado' y 'Actualizar filas del pasado' significa que es relativa a la última fecha de la columna Creado y no relativa a la fecha real en que se produce la actualización del flujo de datos.
    • Al establecer'Almacenar filas del pasado' en 4 días, solo los índices 2, 3, 4 y 5 estarán en la tabla de resultados del flujo de datos. El índice 1 se eliminará.
    • Al establecer 'Actualizar filas del pasado' en 2 días, solo se actualizarán los índices 4 y 5. Lo que significa que el índice 3 no se actualizará. Conclusión: establecer 'Actualizar filas del pasado' en cualquier cosa menos que 'Almacenar filas del pasado' es arriesgado si no sabes hasta dónde se revertirán los cambios. Lo que significa que el índice 2, 3, 4 y 5 estará en la tabla de resultados y solo se actualizarán los índices 4 y 5.
  • Para la columna modificada:
    • Establecer 'Sólo actualizar datos si cambia el valor máximo de este tcampo' significa que no se actualizará nada porqueel valor máximo de esta columna se evalúa para cada uno de losperíodos del intervalo incremental. Supongo que un punto en la actualización incremental es igual a la configuración 'Actualizar filas del pasado' y no es igual a la configuración 'Almacenar filas del pasado'. Lo que significa que el índice 3, aunque haya cambiado en los últimos 2 días, no se actualizará y, por lo tanto, tendrá datos obsoletos. La mismaceclusión que antes: establecer 'Actualizar filas del pasado' en algo menos que 'Almacenar filas del pasado' es arriesgado si no sabes hasta dónde volverán los cambios.
  • Con esta configuración, el índice 1 nunca se incluirá incluso cuando cambie.

¿Nadie?

Hola @richard-powerbi ,

He estado muy ocupado esta semana.

Desafortunadamente, no tengo experiencia con la actualización incremental de flujos de datos.

Aquí parece haber diferencias entre la actualización incremental de flujos de datos y conjuntos de datos.

Sin embargo, el concepto sólo es adecuado para tablas de hechos que no cambian después de un cierto punto en el tiempo.

Did I answer your question?
Please mark my post as solution, this will also help others.
Please give Kudos for support.

Marcus Wegener works as Full Stack Power BI Engineer at BI or DIE.
His mission is clear: "Get the most out of data, with Power BI."
twitter - LinkedIn - YouTube - website - podcast


Helpful resources

Announcements
Microsoft Fabric Learn Together

Microsoft Fabric Learn Together

Covering the world! 9:00-10:30 AM Sydney, 4:00-5:30 PM CET (Paris/Berlin), 7:00-8:30 PM Mexico City

PBI_APRIL_CAROUSEL1

Power BI Monthly Update - April 2024

Check out the April 2024 Power BI update to learn about new features.

April Fabric Community Update

Fabric Community Update - April 2024

Find out what's new and trending in the Fabric Community.