Sugerencias para corregir el informe con una gran cantidad de datos.

[Syndicate_Admin]

Hola

Necesito algunas ideas sobre cómo debería hacer esto correctamente.

Hace muchos meses creé un informe PBI en modo de importación. Desablé los parámetros con código SQL personalizado ( Obtener datos -> SQL Server -> opciones avanzadas -> Instrucción SQL ). Usé WHERE > "fecha" para obtener los datos que necesito en lugar de toda la tabla que se remonta a más de 10 años.

Ahora con este informe, la consulta para la actualización programada se hizo demasiado grande (porque su sobreescritura todos los días) y comenzó a causar problemas en nuestro almacén de datos, así que tuve que cerrarlo.

Debido a que utilicé "instrucción SQL" en opciones avanzadas, no puedo implementar la actualización incremental en ese informe.

Ahora necesito algunas sugerencias de lo que sería lo más correcto y lo más lógico que hacer para seguir funcionando este informe.

a) Hacer un informe completamente nuevo y evitar "declaraciones SQL". Use Obtener datos -> SQL Server, elija la tabla, haga clic en transformar datos y coloque filtros como para las últimas 1-2 semanas. Agregar actualización incremental. ( Problema1 - ¿Cómo puedo obtener los últimos 7-8 meses de datos en ese informe sin descargar todo en 1 ir? No puedo tener una ejecución de 1 tiempo para esa enorme consulta, necesito una solución para aspirar lentamente pero con seguridad esos datos dentro de ese informe. Problema2 - El antiguo informe que hice tiene tantas medidas y columnas personalizadas creadas que será un dolor para recrear todo. )

b) Trate de corregir el informe anterior y de alguna manera conseguir que la actualización incremental funcione (no hay idea de cómo o incluso si es posible atm ), ya que este informe ya tiene 6 meses de datos dentro de él y todas las medidas / columnas personalizadas que podría utilizar y sólo agregar las fechas que faltan. Estaba pensando tal vez haciendo una nueva consulta al igual que la anterior y cambiando el WHERE a las fechas im faltando y luego la fusión de esas 2 tablas, pero eso no sería una solución a largo plazo.

¿Cuáles serían sus sugerencias si estuviera en esta situación?

[Syndicate_Admin]

"Debido a que utilicé "instrucción SQL" en opciones avanzadas, no puedo implementar la actualización incremental en ese informe."

Eso no es necesariamente cierto. Siempre que incorpore los filtros RangeStart y RangeEnd en la consulta personalizada, puede usar la actualización incremental.

Lea acerca de "Query Folding". En su implementación básica significa que Power Query es perezoso y está intentando descargar la mayor cantidad posible de procesamiento al origen de datos ascendente.

Supongamos que tiene una conexión de tabla SQL. A continuación, realice un filtro en Power Query hasta los últimos dos años. Creería que Power Query tiene que hacer ese trabajo, pero lo que puede suceder realmente es que Power Query cambia la consulta "Seleccionar * de tabla" y agrega el filtro a ella e inserta la consulta modificada en el origen de datos. De esta forma, no se carga toda la tabla en Power Query y, a continuación, se tira lo que no desea: solo se le pregunta al origen por lo que desea.

Hay dos problemas con esto. En primer lugar: en algún momento se realiza una transformación que ya no se puede "doblar" y que debe hacerse en Power Query. En segundo lugar: Power Query supone que el origen de datos puede controlar la consulta plegada de forma oportuna. Esto es un gran problema si el origen de datos no está ajustado para los tipos de consultas que ejecuta (índices, estadísticas).

Trabajaría con los propietarios del origen de datos, les explicaría cómo funciona Power BI y, a continuación, vería si puede encontrar un problema de rendimiento mediante cualquiera de los siguientes: Modo de importación, Consulta directa, Agregación, Actualización incremental.