El filtro de Power Query da como resultado una tabla vacía cuando no debería

[sdoggett]

Estoy intentando importar un conjunto de datos grande de Redshift a Power BI. Para que los datos sean más manejables para PowerBI, estoy tratando de filtrarlos para que solo tenga las filas que necesito en él. Sin embargo, uno de los valores que quiero incluir en el filtro no está en el cuadro desplegable cuando intento filtrar la columna. Hay un mensaje que dice "La lista puede estar incompleta" que se espera ya que el conjunto de datos es muy grande y PowerQuery sólo está mirando el top 1000.

Así que hice clic en "Filtros numéricos" y luego "iguales" e ingresé el valor que está en las filas que quiero mantener. Esto da como resultado un mensaje que dice "Esta tabla está vacía."

Pensé que esto podría ser sólo para la vista previa en Power Query, ya que el valor no estaba en la vista previa de fila intial 1000. Sin embargo, cuando hice clic en "Cerrar y aplicar", la tabla de datos de BI seguía vacía.

¿Qué pasa? Soy capaz de filtrar por los valores que Aparecen en la vista previa, pero eso no me ayuda.

Aquí está el código (redactado) que está en el editor avanzado, en caso de que ayude:

Dejar
Source: AmazonRedshift.Database(XXXXXX, XXXXXX, null),
fuente de origen [Nombre"fuente"]-[Datos],
tabla de origen [Nombre"tabla"]-[Datos],
"Rows1" á Table.SelectRows(table, each Date.IsInPreviousNYears([time_field], 1)),
"Columnas eliminadas" - Table.RemoveColumns(-"Rows1","XXXXXX"-),
"Tipo de cambio" - Table.TransformColumnTypes(-"Columnas eliminadas","XXXXX", tipo de texto),
"Eliminado otras columnas" - Table.SelectColumns(-"Changed Type","XXXXX", "XXXXX", "type", "column_to_filter_on", "time_field"-),
"Filas filtradas" - Table.SelectRows(-"Removed Other Columns", cada una ([type] <> 2 y [type] <> 4)),
"Filas filtradas2" - Table.SelectRows("Filas filtradas", cada [column_to_filter_on] a 9999)
En
"Filas filtradas2"

[PhilipTreacy]

Hola @sdoggett

Intente consultar el conjunto de datos desde la línea de comandos para confirmar que los datos están realmente allí como se esperaba

https://docs.aws.amazon.com/redshift/latest/mgmt/setting-up-rs-cli.html

https://towardsdatascience.com/redshift-from-the-command-line-5d6b3233f649

Phil

[PhilipTreacy]

@sdoggett

Bueno, si está seguro de que los datos que está filtrando están en el conjunto de datos, quite los últimos 2 pasos que están realizando el filtrado, cargue todo el conjunto de datos y compruebe los valores que espera que estén allí.

Phil

[sdoggett]

No puedo cargar todo el conjunto de datos, es demasiado grande. La tabla redshift a la que me estoy conectando tiene más de 100 millones de registros. Quiero filtrar esto solo a los registros que necesito para mi panel antes de que se cargue en PowerBI, pero el valor por el que quiero filtrar no aparece en la vista previa.

[v-eqin-msft]

Hola @sdoggett ,

Dudo que se pierda el paso que se muestra a continuación... Por favor, compruebe el tipo de datos del tipo y column_to_filter_on columnas son número. Y se podía ver la salida haciendo clic en los pasos aplicados cada uno.

#"Changed Type" = Table.TransformColumnTypes(Source,{{"type", Int64.Type}, {"column_to_filter_on", Int64.Type}})

¿He respondido a tu pregunta? Por favor, marque mi respuesta como solución. Muchas gracias.
Si no es así, cargue algunas muestras de datos insensibles y la salida esperada.

Saludos
Eyelyn Qin

[sdoggett]

Los campos de tipo y column_to_filter_on se importaron como números, por lo que este no es el problema.

[PhilipTreacy]

Hola @sdoggett

Los últimos 2 pasos de Filas filtradas están causando la tabla vacía. ¿Ha confirmado que los datos de origen contienen realmente los valores que desea conservar?

Compruebe el tipo de datos de los datos que está archivando. Aunque está filtrando números, si los datos se importan como texto, se filtrarán.

saludos

Phil

---

Si respondí a su pregunta por favor marque mi post como la solución.
Si mi respuesta ayudó a resolver su problema, déle un kudos haciendo clic en Thumbs Up.

[sdoggett]

Estoy seguro de que mi conjunto de datos de origen contiene el valor que quiero y que se importa como un número.

[amitchandak]

@sdoggett , Los dos últimos filtros podrían no estar causando datos. eliminar y comprobar el valor exacto en el campo.

Utilice la generación de perfiles de datos antes de estos pasos y compruebe los valores

https://docs.microsoft.com/en-us/power-query/data-profiling-tools

[sdoggett]

¿La herramienta de generación de perfiles de datos solo será para los datos de vista previa o para todo el conjunto de datos?