Enfoque recomendado para un proyecto grande

[szelenko]

Hola amigos,

actualmente trabajando en un gran proyecto para una compañía de seguros.
Hasta ahora tengo aproximadamente 10 dimensiones y 8 tablas de hechos.

Dimensiones (algunas de ellas)
- Fecha
- Clientes
- Localizaciones
- Coberturas
- Vehículos
- Agentes

Hechos (algunos de ellos)
- Siniestro
- Ventas
- Pagos
- Acumulación de políticas
- Estado de los documentos requeridos

Base de datos de origen: Firebird, pero para fines de rendimiento tengo un almacén de datos en una máquina virtual Centos, donde se actualizan diariamente los datos, que aloja una copia de las tablas necesarias en una base de datos Postgres.
Para desarrollar las dimensiones y los hechos, uso Dremio en la máquina virtual.
Power bi se conecta a Dremio en modo de importación. (Actualmente, el servicio PBI no admite Dremio en modo de consulta directa).

Teniendo en cuenta el gran volumen de datos (por ejemplo, en la tabla de hechos de ventas hay aproximadamente 7 millones de registros) tuve que usar la actualización incremental, haciendo que solo se actualizara los registros más recientes.

En el informe tengo muy pocas columnas calculadas, trato de hacer todo en sql, en dremio.
Tengo muchas medidas, más de 150.

Actualmente tengo 60 páginas.

A medida que se incluyen más tablas de dimensiones y tablas de hechos, abrir el proyecto y crear medidas se vuelve extremadamente lento, casi imposible de trabajar.

Tener proyectos paralelos (tenedores) con menos tablas no es una opción, ya que las preguntas a resolver implican casi todas las dimensiones y hechos.
Estoy usando las mejores prácticas de modelado de estrellas y soy muy cuidadoso con la necesidad de incluir una mesa.

He intentado usar este proyecto como la fuente de un proyecto en blanco y mejora en gran medida la velocidad.

Mi pregunta es:
¿Qué ruta/opción es adecuada para proyectos grandes y complejos?
¿Debo tener un proyecto con el modelo de datos pero sin páginas ni gráficos, que sirve como origen para varios informes independientes?

Desafortunadamente, debido a la política de la empresa, no puedo compartir capturas de pantalla o más información.

Agradezco sus comentarios.
saludos.

[v-stephen-msft]

No @szelenko ,

¿Podría decirme si su problema ha sido resuelto?
Si es así, acédi es la solución. Más gente se beneficiará de ello.
O usted todavía está confundido al respecto, por favor proporcione más detalles sobre su problema.

Saludos
Stephen Tao

[v-stephen-msft]

No @szelenko ,

En primer lugar, Power BI Premium admite cargas de archivos de Power BI Desktop (.pbix) de hasta 10 GB de tamaño. Para obtener más información, consulte: ¿Qué es Power BI Premium?

En segundo lugar, en lugar de importar todos los datos a Power BI, intente usar el modo DirectQuery o una conexión en vivo.

Consulte: Usar DirectQuery en Power BI Desktop

¿DirectQuery, conexión en vivo o importación de datos? ¡Decisión difícil!

Si sigues el modo de importación, puedes seguir la guía de este artículo para optimizar su modelo de datos.

Saludos

Stephen Tao

Si este post ayuda,entonces considere Aceptarlo como la solución para ayudar a los otros miembros a encontrarlo más rápidamente.

[StefanoGrimaldi]

También recomendaría hacer una publicación de ideas: https://community.powerbi.com/t5/Custom-Visuals-Ideas/idb-p/CustomVisualsIdeas acerca de que Dremio no puede en consulta directa, vea si el equipo de Power BI puede trabajar en un conector para ello si una buena cantidad de personas lo necesita, esto puede ayudarle a optimizar aún más el modelo y enviar una instrucción a su SQL en él para que el origen procese parte de los datos antes de enviarlo a BI.

[StefanoGrimaldi]

Oye

que en la ruta de rigth en realidad, tirando como cosas básicas, tranformación, filtros, etc. en la fuente de datos para obtener un dato más limpio es una buena idea,

- tener un modelo principal como base para los informes hacen que el modelo grande mor sea manejable:

de esta manera usted tiene un modelo central y ellos en vivo conection a los informes, (también en diciembre lanzar allí una nueva capacidad que aumentan este tema características ( https://docs.microsoft.com/en-us/power-bi/connect-data/desktop-directquery-datasets-azure-analysis-s... ) esto agrega un nivel completamente nuevo a los modelos compuestos),

[szelenko]

Gracias Stefano (de acuerdo a tu captura al parecer hablas español al igual que yo 😀 ).

Voy a probar el enfoque planteado y además voy a consultar con algún partner de Microsoft si puedo armar el data warehouse en la nube para obtener los mejores resultados.

[littlemojopuppy · Accepted solution]

Tuve un proyecto similar... alrededor de 50 tablas, 800 medidas, 50 millones de registros. Desarrollé el modelo de datos en Azure Analysis Services y lo usé como origen de docenas de informes individuales. Mantenimiento simplificado ya que las medidas estaban ubicadas en el centro, el rendimiento era adecuado (utilizado S0 AAS por lo que era una especie de débil, pero más tarde actualizado a S1). Puede que no sea una opción para ti, pero si es posible vale la pena mirarlo.