cancel
Showing results for 
Search instead for 
Did you mean: 
Reply
Syndicate_Admin
Administrator
Administrator

Actualización muy lenta en Power Query con filas ordenadas y duplicados eliminados

Hola a todos!

Me he quedado atascado durante mucho tiempo durante mi trabajo en PQ. Me gustaría mantener la fila más reciente en mi base de datos, así que utilicé:

#"Added Custom1" = Table.AddColumn(#"Columnas renombradas", "Fusionadas", cada [Número Est]&[ID]&[Lugar]&[Línea]),
#"Changed Type1" = Table.TransformColumnTypes(#"Added Custom1",{{"Merged", type text}}),
#"Sorted Rows" = Table.Buffer(Table.Sort(#"Changed Type1",{{"Action Date", Order.Descending}})),
#"Eliminados duplicados" = Table.Distinct(#"Sorted Rows", {"Merged"})

Y realizarlo es casi imposible. La vista previa de actualización tarda horas y también aplica esta consulta en PowerBI. Tengo que agregar otra transformación de tabla después de eliminar duplicados, como agregar columnas condicionales, tal vez fusionar consultas, pero no se puede hacer con ese rendimiento de tiempo.

También probé el método "Agrupar por" para eso, pero fue aún peor, ni siquiera pude cargar nombres de columna después de expandir datos, porque mi computadora portátil quería quemarse (Intel Core i7).

Tengo un archivo principal en Excel (260 MB, casi 1M filas) y cada mes quiero agregar un nuevo archivo (unos 20 MB). El origen de esta consulta es la ruta de la carpeta. Traté de dividir este archivo principal en 10 archivos separados y probar esto con formato CSV y borrar caché. Todo esto no ayudó.

Desde mi posición en el trabajo, no puedo usar SQL server o sth familiar, recibimos estos archivos de otros, ya está filtrado como necesitamos. Hasta ahora solo trabajo en PBI usando la ruta de Excel / CSV / carpeta como fuente.

¿Alguien podría escribir una pista para mí?

1 REPLY 1
Syndicate_Admin
Administrator
Administrator

@GloriaG ,

Para el rendimiento de referencia de Power Query, puede ver el comentario de pqian en este hilo.

Para obtener algunas sugerencias sobre cómo reducir el consumo de memoria, consulte si el siguiente artículo es útil para su escenario:

Sugerencia de rendimiento para Power BI; Habilitar carga absorbe memoria

Saludos
Equipo de Apoyo a la Comunidad _ kalyj

Si esta publicación ayuda, considere Aceptarlo como la solución para ayudar a los otros miembros a encontrarlo más rápidamente.

Helpful resources

Announcements
Carousel_PBI_Wave1

2023 Release Wave 1 Plans

Power BI release plans for 2023 release wave 1 describes all new features releasing from April 2023 through September 2023.

Power BI Summit Carousel 2

Global Power BI Training

Make sure you register today for the Power BI Summit 2023. Don't miss all of the great sessions and speakers!

BizApps LATAM 2023

Business Application LATAM Summit 2023

Join the biggest FREE Business Applications Event in LATAM this February.

Power Platform Bootcamp

Global Power Platform Bootcamp

In this bootcamp we will deep-dive into Microsoft’s Power Platform stack with hands-on sessions and labs, delivered to you by experts and community leaders.