¿Evitar la consulta directa vertiendo datos a CSV?

[Syndicate_Admin]

Necesito usar Direct Query para conectarme a un modelo de datos y los datos no se limpian y necesitan ser manipulados en gran medida. Sigo corriendo en el error en Power Query, "Este paso da como resultado una consulta que no se admite en el modo DirectQuery." La canalización de comunicación con el arquitecto de datos está haciendo que sea muy difícil hacer algo.

Para evitar la consulta de Direct, ¿podría crear una secuencia de comandos de Python para volcar los datos en mi Escritorio remoto como un archivo CSV o JSON cada 5 minutos y, a continuación, usar el modo de importación dentro de Power Bi, ¿funcionaría?

Mi script de Python captaría todos los datos de la carga inicial y, a continuación, cada 5 minutos buscaría nuevas filas en la base de datos.

[Syndicate_Admin · Accepted solution]

@juicyjames no puede hacer DQ a CSV, solo Importar. ¿Qué tan grande es un conjunto de datos que necesita ser DQ? Hay muchos factores cuando se trata de este tipo de discusión de modelado. Si necesita ser DQ, la mayoría de las veces desea que los datos se preparen/limpien/transformen en origen, ya que hay una transformación limitada que puede hacer en PQ. Una vez más, este no es un tamaño que se ajuste a todos, una gran cantidad de elementos entran en la discusión cuando se va entre DQ / Importar y modo mixto.

[Syndicate_Admin]

@juicyjames sí que funcionaría, el origen de datos de Power BI será un archivo CSV en lugar del sistema back-end. Una vez que tenga archivos CSV en modo de importación, puede realizar cambios según lo considere oportuno.

Pero conduce a una pregunta de por qué no puede utilizar Import en lugar de DQ prefiere tener pasos intermedios entre usar Python, etc.

Consulta mi última entrada de blog Comparando cliente seleccionado con otros clientes N principales | PeryTUS me gustaría ❤ Kudos si mi solución ayudara. 👉 Si puede pasar tiempo publicando la pregunta, también puede hacer esfuerzos para dar Felicitaciones a quien ayudó a resolver su problema. ¡Es una muestra de aprecio!

⚡Visítenos en https://perytus.com, su tienda integral para proyectos relacionados con Power BI/ formación / consultoría.⚡

[Syndicate_Admin]

Supongo que no entiendo completamente la canalización de datos, permítanme explicar más. Necesitan que los datos se actualicen tanto como sea posible y no pagan por los datos en vivo, así que creo que es por eso que eligen ir con DirectQuery. ¿Debería preocuparse el arquitecto de datos por limpiar estos datos antes de consultarlos? ¿O es posible mi solución con una secuencia de comandos de Python y posiblemente conectar DirectQuery a los archivos CSV después de que se haya limpiado en Python?