Incremental refresh saving deleted records in data source

[renecernitz]

Hello colleagues

First of all, I attach an image with the desired scenario in case the problem is not well understood.

If you have another approach to solve this issue, please feel free to exposed it.

Thanks in advance,

I need some advice on the following problem I have:

From Power BI I am connecting to a SalesForce table. The API has a restriction of 2000 rows, that is, when I update the tables the Power BI will only be able to update 2000 records. This is a problem for me because I would lose historical data.

I came up with the following solution:

1.- Configure the SalesForce report to only contain the previous day's data. With this, I solve the 2000 rows problem because the daily records will never exceed 2000 records.

2.- Configure the incremental update in Power BI to update only the data from the day before the update date.

I tested, from Power BI I connected to the SalesForce report with data only from the day 07/06/2022 then I configured the incremental update to update the data only from the day before the update date, i.e. today is 09/06/2022. When I update the table it will only update the data from the day 08/06/2022 (AND THE DATA I HAD ALREADY LOADED PREVIOUSLY SHOULD BE REMAIN). Therefore, you should have a table with data from 07/06 + 08/06.

This does not happen. When I update the table, it deletes the records of 06/07 and updates those of 06/08.

The question is, how can I keep data that have been deleted in the source and increase with the new data that appear in the source?

Do you have any other ideas on how to address this Salesforce API restriction the 2000 rows and be able to retain the historical data each time we update the query in PBI?

@amitchandak 

@tamerj1 

@Vijay_A_Verma 

@SpartaBI 

[Syndicate_Admin]

@Syndicate_Admin ,

De acuerdo con su declaración, creo que desea cargar datos en un período de dos días en su modelo de datos en lugar de un período de un día.

Creo que puede establecer "Actualizar datos incrementalmente a partir de la fecha de actualización" como desee en la configuración de actualización incremental.

Por ejemplo, si especificamos un período de actualización de 3 días, con cada operación de actualización, el servicio anula los parámetros RangeStart y RangeEnd para crear una consulta de filas con una fecha / hora dentro de un período de tres días, el comienzo y el final dependen de la fecha y hora actuales. Las filas con una fecha/hora en los últimos 3 días hasta el tiempo de operación de actualización actual se actualizan.

Para referencia:

Actualización incremental y datos en tiempo real para conjuntos de datos

Saludos
Rico Zhou

Si esta publicación ayuda, considere Aceptarla como la solución para ayudar a los otros miembros a encontrarla más rápidamente.