Omitir particiones durante el procesamiento

[Syndicate_Admin]

Hola a todos

Tengo un caso de uso con algunos datos históricos que nunca se actualizan. Mi idea era lanzar todo esto en una partición de una dimensión histórica y etiquetar esta partición (tal vez con ciertas herramientas externas) como "no procesar durante la actualización de la tabla". Soy consciente del hecho de que puedo crear scripts o actualizar manualmente ciertas particiones. Pero en este caso sería más fácil simplemente implementar esta información en el model.bim, en lugar de crear ciertas estrategias de procesamiento.

Gracias a todos y saludos,

Konstantin

[Syndicate_Admin]

@rks Si tiene una consulta separada para esto, simplemente puede hacer clic con el botón derecho en la consulta y desmarcar "Incluir en la actualización del informe".

[Syndicate_Admin]

Hola @Greg_Deckler, gracias por la respuesta. Si no me equivoco, esto está en el nivel de la tabla, pero no en el nivel de partición. De forma predeterminada, todas las particiones de una tabla se están procesando. ¿Este indicador también está disponible en un nivel de partición?

[Syndicate_Admin · Accepted solution]

@rks Me falta demasiada información para ser muy específico aquí. Si pudiera proporcionar más información, podría ser más específico. Digamos que tiene una sola tabla con todos sus datos históricos y actuales. Elija un punto en el tiempo y cree una consulta que extraiga la información histórica. Carga. Deshabilite la actualización. Cree una segunda consulta que extraiga la información actual. Configure la actualización incremental en esta consulta. Anexe las dos consultas. Oculte la tabla histórica en el modelo de datos. Podrías hacer algo así, por ejemplo, pero, de nuevo, ni siquiera sé cuáles son tus sistemas de origen o qué es lo que realmente estás tratando de lograr.

[Syndicate_Admin]

Hola @Greg_Deckler mucho por tu explicación detallada. Pero todo esto es considerando la estrategia de procesamiento. Mi conclusión es que dentro del propio modelo solo puedo deshabilitar la actualización por tabla pero no por partición.

Mi scenaio es este:

* Tengo un servicio de análisis de Azure

* Tengo una dimensión con alrededor de 1 millón de filas que pueden cambiar regularmente

* Quiero programar una actualización de 30 minutos en el conjunto de datos

* Tengo un sistema heredado (fuente de datos) que proporciona otras 500.000 filas más o menos que nunca cambiarán

* Quería ahorrar algo de rendimiento de carga descuidando la partición que aloja los datos históricos que nunca más se actualizarán

* No quería actualizar al trabajo responsable del procesamiento, pero al mismo tiempo quería obtener un poco de aumento del rendimiento del procesamiento evitando la carga de datos innecesarios.