Consulta directa Recuento distinto Big Data

[Syndicate_Admin]

Foro de buen día

Tengo un problema al devolver un recuento distinto de clientes para un modelo de datos de gran tamaño debido al límite de datos de fila de 1M para la consulta directa a Azure Synapse. El problema que tenemos es que hay alrededor de 57 millones de registros de clientes. La consulta enviada a Synapse devuelve una lista distinta de claves de cliente filtradas según los filtros que se apliquen. Si miramos a los clientes de 1 tienda durante 1 día, no tengo problemas con la medida de recuento distinto, ya que el recuento de filas es inferior a 1M. Sin embargo, para todas las tiendas durante un día recibimos el error ya que el recuento de filas para el caso de uso es de 1,6 millones de filas.

¿Puede alguien compartir sugerencias o trucos que afecten a la consulta que se envía a la base de datos que realizará la agregación de recuentos distintos en el lado de la base de datos en lugar de devolver la lista distinta de valores a Power BI para realizar las agregaciones?

[Syndicate_Admin]

Hay @MattKarriker2

El origen en la nube tiene un límite de un millón de filas en Power BI. Si el informe no está en capacidad Premium, el resultado que devuelve la consulta también tiene un límite de un millón de filas o mostrará un error.

Para referencia: Limitaciones de DirectQuery

• Hay un límite de un millón de filas para las fuentes en la nube, con fuentes locales limitadas a una carga útil definida de aproximadamente 4 MB por fila (dependiendo del algoritmo de compresión propietario) o un tamaño de datos de 16 MB para todo el objeto visual. Se pueden elevar ciertos límites al usar la capacidad Premium. El límite no afecta a las agregaciones ni a los cálculos utilizados para crear el conjunto de datos devuelto mediante DirectQuery. Solo afecta a las filas devueltas. Las capacidades premium pueden establecer límites máximos de filas, como se describe en esta publicación.

  Por ejemplo, puede agregar 10 millones de filas con la consulta que se ejecuta en el origen de datos. La consulta devuelve con precisión los resultados de esa agregación a Power BI mediante DirectQuery si los datos de Power BI devueltos son inferiores a 1 millón de filas. Si se devuelven más de 1 millón de filas desde DirectQuery, Power BI devuelve un error (a menos que esté en la capacidad Premium y el recuento de filas esté por debajo del límite establecido por el administrador).

Aquí le sugiero que agregue algún filtro en su consulta, para mantener el resultado de su consulta retuen inferior a 1M.

O bien, puede colocar el informe y el conjunto de datos en el espacio de trabajo de capacidad Premium. El administrador de capacidad puede establecer el límite de filas en el portal de administración en power BI Service.

Para referencia: Conjuntos de datos

Recuento máximo de conjuntos de filas intermedias

El número máximo de filas intermedias devueltas por DirectQuery. El valor predeterminado es 1000000 y el rango permitido está entre 100000 y 2147483646. Tenga en cuenta que es posible que sea necesario limitar aún más el límite superior en función de lo que admita la fuente de datos.

Aquí hay una publicación con un problema similar al tuyo que espero que pueda ayudarte.

Para referencia: Limitación de 1 millón de filas de Direct Query en el área de trabajo de Power BI Premium

Saludos
Rico Zhou

Si esta publicación ayuda, considere Aceptarla como la solución para ayudar a los otros miembros a encontrarla más rápidamente.

[Syndicate_Admin]

Gracias @RicoZhou por su respuesta. Este conjunto de datos se encuentra en Premium Capacity GEN2. GEN2 no se puede configurar actualmente para el recuento de filas intermedias. El valor predeterminado de 1M es todo lo que está permitido.

Estoy buscando Consejos o Trucos para ajustar la consulta back-end enviada a la base de datos. Actualmente, la consulta producida desde Power BI selecciona una lista de claves de cliente en una consulta para volver a pasar a PBI y realizar el recuento distinto. Creo que esto se debe a que el atributo que queremos contar no está en la tabla de hechos en sí. Estoy buscando una manera de forzar la consulta backend a "seleccionar Count_Big(Distinct FieldName)" en lugar de "Select FieldName ... Agrupar por FieldName" y pasando esto de nuevo para un mayor conteo.

¿Se sabe que algún patrón DAX cambia la consulta back-end de esa manera?