PC se bloquea al hacer una unión a la izquierda

[Syndicate_Admin]

¡Gday todo!

Esta semana he estado teniendo un problema con una combinación izquierda powerquery.

Tengo 2 tablas, la tabla 1 contiene un id que se corresponde con un id único en la tabla 2.

Ahora quiero unir sólo 1 columna en la tabla 1 que existe en la tabla 2.

Ambos flujos de datos son de aproximadamente 500 MB cada uno.

Pero cuando me uno a ellos, todos mis 32GB de memoria se comen en como 1 minuto, lo que resulta en básicamente estrellar todo mi sistema.

¿Alguien tiene alguna idea de cómo podría ser esto? (He eliminado los valores nulos de ambas columnas id, por lo que a lo sumo, debería ser una relación de 1 a muchos).

[Syndicate_Admin]

No @decarsul

Está intentando conectar 2 Dataflows con 500MB cada uno, correcto? bueno, eso es un 1GB de datos para un conjunto de datos que no es posible para un conjunto de datos.

Su sistema debe haber sabido la verdad jajaja.

[Syndicate_Admin]

Y también,

¿Esto se aplica solo al espacio de trabajo en línea o también al cliente de escritorio?

[Syndicate_Admin]

Respondiendo a todas sus 3 preguntas:

1. Los límites cuentan para las licencias gratuitas y Pro
2. El tamaño de 10 GB es el límite para un área de trabajo, no para un conjunto de datos. un área de trabajo puede contener muchos conjuntos de datos, un conjunto de datos no puede tener un tamaño superior a 1 GB, el tamaño de todos los conjuntos de datos no puede superar los 10 GB en un área de trabajo
3. Misma respuesta que la pregunta 2

[Syndicate_Admin]

Que esto es más probable que mi problema, porque los flujos de datos combinados brutos a cabo más de 1 GB.

Pero, ¿por qué entonces esto no da una advertencia o un error? Pero en su lugar se 'atasca' en un bucle de clases y se come todos los recursos del sistema a un punto que ya no puede funcionar?

[Syndicate_Admin]

No tengo una respuesta a esta pregunta, podría estar relacionada con muchas cosas.

Pero sé con certeza que se puede trabajar en su conjunto de datos y / o sus flujos de datos para obtener lo que necesita.

[Syndicate_Admin]

Sé que también puede. Por ahora he agregado un filtro antes de unirme, para que no cargue en 10 años de datos, sino que cargue en los últimos 2 trimestres, lo que efectivamente hace que el conjunto de datos sea más pequeño.

[Syndicate_Admin]

aquí hay 2 artículos que pueden ayudarle en su esfuerzo

https://towardsdatascience.com/how-to-reduce-your-power-bi-model-size-by-90-76d7c4377f2d

https://towardsdatascience.com/power-bi-how-to-fit-200-million-rows-in-less-than-1gb-5eee310064b7

Buena suerte

[Syndicate_Admin]

Para eso puede usar paramaters o si tiene licencia premium, puede usar la actualización incremental en sus flujos de datos.

La cuestión está ahí y está clara. reduzca el tamaño de sus flujos de datos o muévase a la capacidad Premium y todo será bueno.

[Syndicate_Admin]

Para continuar con mi pregunta. Estoy preguntando por este post hecho en 2018.

De acuerdo con esto, puedo usar y cargar hasta 10GB

[Syndicate_Admin]

Hola Amina,

hmmm . . . bueno, eso <inserta la palabra cuss aquí> . . .

Me gustaría que me daría una advertencia o algo así, en lugar de bloquear completamente mi sistema tho.

oh btw, hace este límite cuenta sólo para usuarios libres, o también para pro usuarios?

Porque yo soy el último.

[Syndicate_Admin]

Intente hacerlo en el servicio Power BI o a través de flujos de datos de Power BI en caso de que tenga una capacidad Premium o una licencia Pro. Eso puede reducir el uso de la memoria.

Otras opciones serían filtrar las tablas por algunos criterios/rango y luego anexarlas. No es eficiente, pero sigue siendo una solución.

[Syndicate_Admin]

La fuente de datos son flujos de datos PowerBI en un entorno premium. Y tengo una licencia profesional.

Sí... i Ya skimmed tanto como i podría, este crashing es también la razón i soy sólo intentando a la izquierda unir 1 columnn en vez de 8 (cuál es el bare mínimo i necesidad).

Ill intente exportar los flujos de datos a 2 archivos csv y vea i si puede unirse a ellos de esa manera. Si eso funcionaría, debería apuntar a un problema dentro del DataFlow, ¿no?

[Syndicate_Admin]

Si está intentando unir los flujos de datos en el escritorio, seguirá consumiendo la memoria del sistema. Intente unirse a ellos en el servicio Power BI en Obtener datos.

La exportación de los CSV puede funcionar, pero aún así, si tienen un tamaño considerable, es probable que se bloqueen de nuevo.

Otra cosa que podría funcionar podría ser crear un nuevo flujo de datos que se una a los otros 2 flujos de datos, puede usar el concepto de entidades vinculadas ya que tiene un entorno Premium.

[Syndicate_Admin]

Sí i soy consciente toma recursos de sistema, pero i no ve cómo un 2x 500Mb puede comer arriba de 32Gb de ram. Realmente solo estoy 'agregando' 1 columna con un código postal.

Sí, puedo intentar unirlos en el flujo de datos en el entorno premium. A ver si eso funciona.

[Syndicate_Admin]

Lo siento, no consemecí su escenario! Tiene 2 flujos de datos, llama a estos flujos de datos a su escritorio y elige diferentes entidades de estos 2 flujos de datos. ¿En su modelo intenta unir (relación) 2 entidades de esos 2 flujos de datos y su sistema se bloquea?

¿Es este su problema?

[Syndicate_Admin]

Hago la combinación izquierda desde PowerQuery, no desde DAX relationmanager si eso es lo que quiere decir.

[Syndicate_Admin]

Lo sentimos, pero ¿por qué usar PowerQuery para unirse? Power Query es bueno para ETL (extracción, transformación y carga). El modelado (combinaciones y relaciones) se realiza en Power Bi Desktop y DAX.

[Syndicate_Admin]

Tal vez no estamos entendiendo. Yo geuss una mejor traducción sería 'fusión'?

La razón por la que lo estoy haciendo en Powerquery es para que no tenga que cargar la tabla que contiene más datos de los que necesito para el modelo. Pero lo necesito para crear un identificador único para poder hacer una relación con otra tabla.

[Syndicate_Admin · Accepted solution]

Ahh bien La fusión no es unirse. ahora entiendo y seguro que es un problema de tamaño que estás enfrentando.