Estoy trabajando con más de 30 millones de filas de datos, cargando desde azure data lake gen 2. Está cargando 160 archivos csv en total y he utilizado filas #"filtradas en la consulta de energía para filtrar filas que no son necesarias. Además, he eliminado columnas no necesarias también. Las filas finales que deberían cargarse serían menos de un millón de filas.
Sin embargo, mi carga de datos se cargaba durante más de 2 horas y alrededor de 12 GB. Parece que todavía se está cargando, pero esperé más de media hora y no pasó de 12 GB. Probó muchas maneras diferentes unas cuantas veces y cada vez es lo mismo, no pasó de 10-12 GB.
parece que el filtro de datos escrito en la consulta de energía no se aplica en el origen antes de cargarse en power bi. Se siente como que power bi está cargando los datos completos antes de filtrar.
Tener búsqueda y encontrar la mayoría de las respuestas están en el uso de consulta avanzada para SQL. ¿Algún consejo sobre cómo solucionar esto con Azure Data Lake Gen 2?
