Error de memoria insuficiente: administración de varios conjuntos de datos

[Syndicate_Admin]

Así que un poco de un problema extraño herre. Tengo un gran número de consultas que estoy importando a Power BI. Actualmente tengo unas 600 consultas hasta el momento que he fusionado en 12 tablas. Deshabilito la carga en todas las demás consultas y solo uso las 12 tablas. Mi número final de consultas será de aproximadamente 3000-4000. Estas consultas son importaciones de un software de foro llamado Discourse, utilizo una consulta en blanco que enlaza con datos SQL almacenados allí.

He estado teniendo problemas con la memoria, Power BI se estaba ejecutando lentamente, pero ahora apenas puedo abrir el archivo y cada vez que intento actualizar recibo un error de memoria insuficiente y se bloquea. Parece estar abusando tanto de la memoria como de la CPU. Actualmente estoy usando un Windows 365 con CPU de 4 núcleos y memoria de 16 GB, pero estoy planeando actualizar a la memoria de 8 núcleos y 32 GB lo antes posible. Pero, ¿hay algo más que pueda hacer para evitar estos bloqueos o usar menos memoria y CPU?

Aquí hay un ejemplo de la consulta que uso si eso es útil:

= (queryID) => let
        resultCount = 1000,
        otherNameForPage = 0,

        GetPage = (otherNameForPage) =>
            let
                content1 = "params={""page"":""" & Number.ToText(otherNameForPage) & """}",
                RawData = Json.Document(Web.Contents(
                    "https://test.com/admin/plugins/explorer/queries",
                    [RelativePath=Number.ToText(queryID) & "/run",
                        Query=
                        [
                            params="{""page"":""" & Number.ToText(otherNameForPage) & """}"
                        ],

                        Headers = [ 
                        #"api-username"="XXX",
                        #"api-key"="XXX",
                        #"Content-Type" = "application/x-www-form-urlencoded"],
                        Content = Text.ToBinary(content1)
                    ]
                    
                ) ),
                resultCount = RawData[result_count]
            in
                if RawData[result_count] = 0 then null else RawData,
            Pages = List.Generate(
                () => [i = 0, RawData = GetPage(i)],
                each [RawData] <> null,
                each [i=[i]+1, RawData = GetPage(i)],
                each Table.Combine(let raw = [RawData] in List.Transform(raw[rows], each Table.FromRows({_}, raw[columns])))),
            Output = Table.Combine(Pages)
in
    Output

Básicamente me permite importar tablas SQL que están escritas en Discourse.

[Syndicate_Admin]

@dinoscool3 Estuve de acuerdo, guardar el flujo de datos es doloroso y Microsoft es consciente de ello, y espero que permita guardar el flujo de datos sin validación, cuando salgan esas características, debería ser bueno. Estás en el camino correcto. ¡¡Bien!!

Síguenos en LinkedIn (en inglés) y a nuestro YouTube (en inglés) canal

Más información sobre el formato condicional en Microsoft Reactor

Mi última entrada de blog El poder de usar grupos de cálculo con relaciones inactivas (Parte 1) (perytus.com) Yo lo haría ❤ Elogios si mi solución ayudó. 👉 Si puede dedicar tiempo a publicar la pregunta, también puede hacer esfuerzos para felicitar a quien ayudó a resolver su problema. ¡Es una muestra de agradecimiento!

⚡ Visítenos en https://perytus.com, su ventanilla única para proyectos/formación/consultoría relacionados con Power BI.

[Syndicate_Admin]

@dinoscool3 es más o menos PQ, pero en la nube, debería poder usarlo con bastante facilidad, aquí está el vínculo Introducción a los flujos de datos y la preparación de datos de autoservicio - Power BI | Documentos de Microsoft

✨ Síguenos en LinkedIn (en inglés) y a nuestro YouTube (en inglés) canal

Más información sobre el formato condicional en Microsoft Reactor

Mi última entrada de blog El poder de usar grupos de cálculo con relaciones inactivas (Parte 1) (perytus.com) Yo lo haría ❤ Elogios si mi solución ayudó. 👉 Si puede dedicar tiempo a publicar la pregunta, también puede hacer esfuerzos para felicitar a quien ayudó a resolver su problema. ¡Es una muestra de agradecimiento!

⚡ Visítenos en https://perytus.com, su ventanilla única para proyectos/formación/consultoría relacionados con Power BI.

[Syndicate_Admin · Accepted solution]

@dinoscool3 Recomendaría usar el flujo de datos de Power BI, procesar los datos en el flujo de datos y, a continuación, usarlos en Power BI. He trabajado con algunas transformaciones complejas / pesadas en el pasado donde el escritorio simplemente se rindió, pero el flujo de datos fue increíble para trabajar.

✨ Síguenos en LinkedIn (en inglés) y a nuestro YouTube (en inglés) canal

Más información sobre el formato condicional en Microsoft Reactor

Mi última entrada de blog El poder de usar grupos de cálculo con relaciones inactivas (Parte 1) (perytus.com) Yo lo haría ❤ Elogios si mi solución ayudó. 👉 Si puede dedicar tiempo a publicar la pregunta, también puede hacer esfuerzos para felicitar a quien ayudó a resolver su problema. ¡Es una muestra de agradecimiento!

⚡ Visítenos en https://perytus.com, su ventanilla única para proyectos/formación/consultoría relacionados con Power BI.

[Syndicate_Admin]

He marcado esto como una solución aceptada, porque es en cierto modo, pero parece que Microsoft tiene un problema con el ahorro de flujos de datos. La validación de la consulta tarda una eternidad en producirse. He estado sentado durante 2 horas hasta ahora esperando la importación de mis 800 mesas para ahorrar. Así que funciona, podría ser demasiado lento en este momento a menos que Microsoft lo arregle.

En cualquier caso, ¡gracias!

[Syndicate_Admin]

Interesante, no había pensado en eso antes. ¿Alguna buena documentación que pueda ver para comenzar?