Skip to main content
cancel
Showing results for 
Search instead for 
Did you mean: 

Grow your Fabric skills and prepare for the DP-600 certification exam by completing the latest Microsoft Fabric challenge.

Reply
Syndicate_Admin
Administrator
Administrator

Velocidad de vinculación de Power BI a SharePoint a través de SharePoint.Files frente a SharePoint.Tables

Mi empresa tiene un SharePoint para archivos adjuntos para una aplicación.
Hay casi 80.000 archivos que ocupan 111 GB.

Estoy tratando de obtener una lista en Power BI de todos los archivos, su tamaño, su fecha de creación/modificación más dos columnas personalizadas de SharePoint asociadas a cada archivo para clasificarlo. No me importa el contenido real del archivo. El identificador de SharePoint es una ventaja, pero no es esencial.

Si vinculo a través de SharePoint.Files , puedo obtener toda la información de archivo necesaria, pero no puedo ver las dos columnas personalizadas de SharePoint.
Las únicas columnas son Contenido (que no necesito), Nombre, Extensión, Fecha de acceso (que no necesito), Fecha de modificación, Fecha de creación, Atributos (puedo obtener el tamaño del archivo desde aquí) y Ruta de la carpeta.
La ventaja de este método si la velocidad ... toda la actualización de consultas tarda menos de 2 minutos y lo hace por filas.

Si vinculo a través de SharePoint.Tables , muestra las dos columnas personalizadas de SharePoint que quiero, además del identificador, Creado, Modificado y una columna Archivo que puedo expandir para obtener el nombre, el tamaño y la extensión del archivo. Hay un gran número de otras columnas que se pueden ampliar, la mayoría de las cuales no me interesan. Hay enlaces URL al archivo en sí que podrían ser útiles.
El problema con esto es la velocidad ... se queda allí durante más de 20 minutos cargando progresivamente montones de MB y cancelé la actualización porque iba a ser demasiado lenta.

¿Me estoy perdiendo algo?
¿Existe un método híbrido entre estos dos en el que también pueda leer los valores de columna personalizados de SharePoint asociados a cada archivo? sin que el tiempo se agote?

1 ACCEPTED SOLUTION
Syndicate_Admin
Administrator
Administrator

El resultado final de esto fue que tuve que usar dos métodos para que la velocidad fuera aceptable.
Paso 1
Utilicé el método OData para obtener todo lo que quería aparte del tamaño del archivo.
A continuación, cree una clave principal basada en la carpeta y el nombre del archivo.
Paso 2
Utilicé el método de archivos de SharePoint para obtener la mitad de los datos, pero también el tamaño del archivo.
A continuación, cree una clave principal basada en la carpeta y el nombre del archivo.
Paso 3
Combine el paso 1 y el paso 2 para obtener el conjunto de datos completo.


Esta consulta solo tardó unos 10 minutos en ejecutarse en Power BI Desktop.
Todos los demás métodos agotaron el tiempo de espera después de 4 horas.

View solution in original post

6 REPLIES 6
Syndicate_Admin
Administrator
Administrator

El resultado final de esto fue que tuve que usar dos métodos para que la velocidad fuera aceptable.
Paso 1
Utilicé el método OData para obtener todo lo que quería aparte del tamaño del archivo.
A continuación, cree una clave principal basada en la carpeta y el nombre del archivo.
Paso 2
Utilicé el método de archivos de SharePoint para obtener la mitad de los datos, pero también el tamaño del archivo.
A continuación, cree una clave principal basada en la carpeta y el nombre del archivo.
Paso 3
Combine el paso 1 y el paso 2 para obtener el conjunto de datos completo.


Esta consulta solo tardó unos 10 minutos en ejecutarse en Power BI Desktop.
Todos los demás métodos agotaron el tiempo de espera después de 4 horas.

Syndicate_Admin
Administrator
Administrator

Me gusta el conector OData para obtener datos de columna de biblioteca personalizados. Aquí hay un tutorial al respecto para SP: https://youtu.be/yeIQ9jKln_I?si=9Mi4AUvVqYtzrsCZ

He usado esto en unos 100k archivos; Los tamaños de los archivos no deberían importar si solo está tratando de extraer metadatos.

Gracias @christinepayton que funciona mucho más rápido que el otro método.

A través del método SharePoint.Files (que es el más rápido) no puedo sacar las columnas personalizadas o el id ... pero puedo obtener todos los datos que quiero, incluido el tamaño del archivo.

A través del método OData (que es más lento pero menos de 5-10 minutos) parece que puedo obtener todo lo que necesito ... incluidas las columnas personalizadas y el identificador .... pero no veo de dónde sacar el tamaño del archivo. ¿Está esto incluido en alguna parte?

Es posible que tenga que combinar los dos resultados de la consulta utilizando la ruta de acceso de la carpeta y el nombre de archivo como clave principal si no hay otra alternativa.

Sí, tienes razón... Habría dicho que solo use el conector de lista SPO, porque eso obtendrá los campos y la columna de tamaño de archivo, pero lo acabo de probar ahora y la columna de tamaño de archivo está en blanco por alguna razón en mi biblioteca (?! idk).

Syndicate_Admin
Administrator
Administrator

Cree una vista personalizada que solo contenga las columnas que le interesen. Consuma esa vista.

Gracias.
Solo tengo acceso de lectura al sitio de SharePoint, por lo que no creo que tenga los derechos necesarios para hacerlo. Hablaré con el equipo la semana que viene.
Crear una vista personalizada de una biblioteca de documentos - Soporte técnico de Microsoft

Helpful resources

Announcements
RTI Forums Carousel3

New forum boards available in Real-Time Intelligence.

Ask questions in Eventhouse and KQL, Eventstream, and Reflex.

MayPowerBICarousel1

Power BI Monthly Update - May 2024

Check out the May 2024 Power BI update to learn about new features.