Skip to main content
cancel
Showing results for 
Search instead for 
Did you mean: 

Earn the coveted Fabric Analytics Engineer certification. 100% off your exam for a limited time only!

Reply
Syndicate_Admin
Administrator
Administrator

Actualización incremental en api teniendo en cuenta la última fecha modificada

Hola a todos

Estoy citando informes basados en datos de JIRA.

JIRA contiene entidades denominadas "Problemas" donde cada problema tiene campos de "Creado" y "Actualizado" para identificar cuándo se creó el problema y cuándo se modificó por última vez respectivamente.

Los datos se recuperan mediante API de REST. Y la actualización ocurre cada 4 horas.

Teniendo en cuenta que tengo acceso a un área de trabajo en capacidad Premium, me preguntaba si podía usar el mecanismo de actualización incremental para permitir actualizaciones más rápidas y conjuntos de datos más grandes.

La idea es extraer primero todas las entradas de los últimos 2 años, por ejemplo, y, en consecuencia, extraer solo aquellas cuestiones que se han creado/modificado solo en los últimos 2 días.

Cualquier problema se puede modificar en cualquier momento. Cuando hoy se modifica un problema creado hace mucho tiempo, quiero que se recupere en la actualización y reemplace la fila respectiva del conjunto de datos.

He leído y visto tantas publicaciones de blog / videos sobre esta característica, pero todavía estoy perplejo sobre si esto se puede hacer, y más específicamente la parte donde "Actualizado" es en los últimos 2 días.

En caso afirmativo, ¿debo extraer la columna Updated en la API y filtrarla para que esté entre RangeStart y RangeEnd, o debería filtrar en RangeStart y RangeEnd y la opción usar "Detectar cambios" al dar la columna "Actualizado"?

Gracias

1 ACCEPTED SOLUTION
Syndicate_Admin
Administrator
Administrator

La actualización incremental espera datos inmutables. Lo que está buscando es una actualización diferencial.

Una solución alternativa es hacer que el ámbito de actualización sea lo suficientemente grande como para que pueda convertir sus datos en el paradigma de partición de actualización incremental. Pregúntese cuál es el período máximo de tiempo promedio es que un cambio de problema todavía puede marcar la diferencia en su proceso de negocio y, a continuación, establecerlo como el período de cambio para la actualización incremental (por ejemplo, "última actualización en los últimos tres meses".

View solution in original post

6 REPLIES 6
Syndicate_Admin
Administrator
Administrator

as far as I know, you can't set it on nonfoldable queries. 

Eso es inexacto. El plegado es deseado pero no obligatorio. Todo lo que necesita es un valor DateTime o Date Integer que se pueda comparar con RangeStart y RangeEnd.

Syndicate_Admin
Administrator
Administrator

¡Hola a todos! ¿Alguien podría compartir conmigo cómo configurar la actualización incremental en la API de Jira? porque hasta donde yo sé, no se puede configurar en consultas no plegables. ¡Realmente aprecio su ayuda!

Syndicate_Admin
Administrator
Administrator

@karimm Aterricé aquí con el mismo problema EXACTO con Jira y las fechas actualizadas. ¿Qué terminaste haciendo?

Todo lo que se me ocurre es importar mi tabla [Jira Issues] usando la actualización incremental de los últimos 2 días, haciendo que haya claves de problema duplicadas. Así que mi tabla es básicamente un montón (en lugar de tener Issue Key como clave), con viejos registros obsoletos.

Luego, crearía una tabla {Issues} calculada en DAX usando alguna lógica sofisticada para obtener la fila con la marca de tiempo actualizada más reciente por clave de problema. Esa sería la tabla utilizada en informes/elementos visuales.

Otra solución complicada en la que pensé sería usar un datamart de Power BI para extraer los datos en un formato SQL, lo que haría que fuera un poco más fácil (al menos para mí) modelar la singularidad mientras obtenía actualizaciones de 5 segundos.

La única "solución" es monitorear la "limpieza" de la partición y periódicamente hacer actualizaciones completas de estas particiones si se ensucian demasiado.

Syndicate_Admin
Administrator
Administrator

La actualización incremental espera datos inmutables. Lo que está buscando es una actualización diferencial.

Una solución alternativa es hacer que el ámbito de actualización sea lo suficientemente grande como para que pueda convertir sus datos en el paradigma de partición de actualización incremental. Pregúntese cuál es el período máximo de tiempo promedio es que un cambio de problema todavía puede marcar la diferencia en su proceso de negocio y, a continuación, establecerlo como el período de cambio para la actualización incremental (por ejemplo, "última actualización en los últimos tres meses".

Muchas gracias por su respuesta. Muy apreciado.

Desafortunadamente, un problema podría crearse incluso hace 2 años y obtener actualización hoy mismo. Esto puede ocurrir principalmente debido a muchas automatizaciones que realizan actualizaciones masivas.

Así que el uso de la solución alternativa que sugirió, conducirá todavía a grandes particiones, algo que quería evitar.

Esperaba que el mecanismo de actualización incremental de Power BI me permitiera evitar la necesidad de un DWH más sofisticado. Parece que no se puede hacer en este caso 🙂

Gracias por su ayuda. ¡He aprendido algo importante!

P.S. No recuerdo haber visto la suposición de "datos inmutables" en la documentación. Supongo que debería mencionarse más explícitamente...

Helpful resources

Announcements
April AMA free

Microsoft Fabric AMA Livestream

Join us Tuesday, April 09, 9:00 – 10:00 AM PST for a live, expert-led Q&A session on all things Microsoft Fabric!

March Fabric Community Update

Fabric Community Update - March 2024

Find out what's new and trending in the Fabric Community.

Top Solution Authors