Uso de la IA para categorizar títulos, temas y nombres de equipos

[Shawn_Eary]

Este no es mi problema exacto, pero tengo uno muy similar a él. Supongamos que tengo el siguiente conjunto de datos:

Título del libro	Editor	Ventas
Cómo hacer que su X-Wife vuelva	Helpmasters of Chicago	$2,389,394
Fuego desde el espacio	Publicación de Destiny	$389,390
Cómo lucir genial a 45	Helpmasters of Chicago	$9,392,393
Ingeniería nuclear para The Total Stupid	IEEE Entertainment Division	$3,938,293
Uso de Retrologue 4 en Cubase 14.5	zSounds Press	$3,293,300
Por qué nunca debería haber vendido mi Amiga Comodoro	Comodoro Incorporated	$300,200
El alienígena de Galaxy 384	Editores psicópatas	$700,320
Cómo asaltar el área 51 sin ser atrapado, arrestado o asesinado...	Editores psicópatas	$76,382,393

Lo siento por los títulos extraños. Estoy en uno de esos estados de ánimo, pero ¿hay alguna manera en que Power BI podría usar fácilmente Inteligencia Artificial entrenada para mirar sólo los títulos de libros y editores anteriores y luego llegar a una suposición de si los libros son de ciencia ficción, autoayuda o instructivo? Después de usar y posiblemente entrenar la IA, los resultados representados deberían verse algo como esto...

Título del libro	Editor	Ventas	Clasificación
Cómo hacer que su X-Wife vuelva	Helpmasters of Chicago	$2,389,394	Autoayuda
Fuego desde el espacio	Publicación de Destiny	$389,390	Sci-Fi
Cómo lucir genial en 45+	Helpmasters of Chicago	$9,392,393	Autoayuda
Ingeniería nuclear para The Total Stupid	IEEE Entertainment Divison	$3,938,293	Instrucción
Uso de Retrologue 4 en Cubase 14.5	zSounds Press	$3,293,300	Instrucción
Por qué nunca debería haber vendido mi Amiga Comodoro	Comodoro Incorporated	$300,200	Autoayuda (Enfermedad mental)
El alienígena de Galaxy 384	Editores psicópatas	$700,320	Sci-Fi
Cómo asaltar el área 51 sin ser atrapado, arrestado o asesinado...	Editores psicópatas	$76,382,393	Instrucción

Tal vez, el ejemplo anterior es un poco demasiado tonto. En una línea similar a la anterior, me gustaría que Power BI incorporara una IA que realice categorizaciones basadas en los siguientes nombres de equipo:

Nombre del equipo

Cámara de vídeo con soporte de escritorio

Gemeinhardt flUtE (Azul)

Flauta Gemeinhardt (amarillo)

Flauta - Yammaha

Cubase 11.4 – Yammaha - Steinberg

Cubase 10.0 (DAW)

Cubase 5.0

3.0 Cubase

Piano Steinway

Yammaha – MotoRcYycle

Yammaha Motocicleta (versión gratuita de Cubase 10.5 con 😁 de compra)

Se espera que la IA esté capacitada para reconocer el equipo como en las siguientes categorías:

Nombre del equipo	Categoría
Cámara de vídeo con soporte de escritorio	Electrónica
Gemeinhardt flUtE (Azul)	Instrumento
Flauta Gemeinhardt (amarillo)	Instrumento
Flauta - Yammaha	Instrumento
Cubase 11.4 – Yammaha - Steinberg	Software
Cubase 10.0 (DAW)	Software
Cubase 5.0	Software
3.0 Cubase	Software
Steinway Piano	Instrumento
Yammaha – MotoRcYycle	Automotriz
Yammaha Motocicleta (versión gratuita de Cubase 10.5 con 😁 de compra)	Automotriz

Sé que usé títulos cómicos arriba, pero hablo en serio. De hecho, tengo un gran error de datos que entran en Power BI y es difícil para mí categorizarlos. Terminé pasando varias horas escribiendo un estúpido "script" de C-C usando expresiones regulares ingenuas para categorizar los datos. Sospecho que he tomado algunas malas decisiones en el camino sin embargo y que una IA (si se entrena adecuadamente) podría potencialmente utilizar una red neuronal para hacer las categorizaciones mencionadas anteriormente basadas en posiciones y pesos de "palabra". Sin embargo, personalmente no sé cómo escribir o incluso usar una red neuronal de este tipo, por lo que me pregunto si el equipo de Power BI ha pensado en escribir IA en Power BI para que pueda usar potencialmente la IA para "agrupar las cosas en categorías" como mencioné anteriormente.

¿Alguna sugerencia? Realmente no quiero tener que aprender un montón de material nuevo, ya que tiendo a ser un principiante Haskell perezoso (mal juego de palabras)...

NOTA: Los pensamientos contenidos en este post no reflejan de ninguna manera cualquiera de mis empleadores actuales o futuros...

[V-pazhen-msft · Accepted solution]

@Shawn_Eary

Interesante idea, pero unfortunately you sólo puede categorizarlos usando DAX para buscar si una celda contiene ciertos textos y luego mostrar xxx. Lo cual está un poco lejos de tu expectativa. Por favor refiérase a: https://community.powerbi.com/t5/Desktop/DAX-IF-contains-text-wildcard/td-p/649248

Power BI creado básicamente para generar informes con un poco de modelado de datos. No es ese tipo de software para incluir la lectura automática y categorización de IA. No creo que esta sea una característica factible que se añadirá a Power Bi en un futuro próximo. Pero me gustaría sugerirle que plantear una idea aquí.

Equipo de Apoyo Comunitario Paul Zheng _
Si este post ayuda, por favor considere Aceptarlo como la solución para ayudar a los otros miembros a encontrarlo más rápidamente.

[Shawn_Eary]

Bueno, como dije, terminé usando un montón de patrones ingenuos de Expresión Regular (RegEx) a través de C, pero creo que puedo hacerlo mejor. Estoy seguro de que hay una manera de aplicar la IA de C-, sólo sé cómo hacerlo todavía. Realmente esperaba que Power BI aprendiera a tratar de ordenar de forma inteligente cadenas muy similares con ligeras permutaciones en "buckets".

Sin embargo, si la IA no es una posibilidad de categorización de Power BI en un futuro próximo, como mínimo, Power BI probablemente debería incluir compatibilidad nativa con RegEx. Entiendo que el Sr. Seamark diga que el lenguaje de programación R se puede usar con Power BI hacer eso en este post:
https://dax.tips/2017/05/23/power-bi-and-regular-expressions/
Eso significa que probablemente puede hacer lo mismo con Python ya que Python también tiene compatibilidad con RegEx.

Por supuesto, dado el post del Sr. Seakmark, sería lógico que pudiera crear la lógica de Power BI en Python o R y, a continuación, posiblemente usar La IA, pero sería bueno que Power BI intentara realizar las categorizaciones que sugerí automáticamente suponiendo que el usuario volteara un interruptor para dar permiso a Power BI.

Sin embargo, mi preferencia personal es realizar la mayor parte del análisis antes de que los datos entren en Power BI, ya que encuentro DAX muy difícil de entender. Encuentro el procesamiento de texto de archivos TSV mucho más fácil en C- a través de Visual Studio (donde tengo un editor responsivo agradable con soporte de depuración) que esa ventana de editor de DAX más pequeña que es lenta y engorrosa. Además, si mis datos ya están en algo como MS SQL Server, encuentro el análisis en SQL Server más fácil que usar DAX. De hecho, esta declaración es probablemente un poco fuera de alcance, pero personalmente creo que Haskell sería un buen candidato para el preprocesamiento de datos antes de que entre en Power BI, ya que Haskell podría considerarse el "abuelo" puro de F. En mi caso, sin embargo, C ó hizo el truco.

No me malinterprete, hay algunos filtros en Power BI que hacen que ciertas observaciones de datos sean muy fáciles sin necesidad de escribir ningún código, pero hacer análisis avanzados en Power BI me resulta bastante engorroso. Estaba mirando alrededor ayer, y me topé con esto:
https://monkeylearn.com/blog/how-to-use-ai-in-excel-for-automated-text-analysis/
Desafortunadamente, no estoy seguro de si mi empleador actual aprobará que use Monkey Learn sobre la base del costo y la seguridad. Creo que hay una opción gratuita, pero todavía tendría que obtener la aprobación para usarlo, ya que lo más probable es que implique la entrega de datos a un proveedor externo no aprobado.

Por otro lado, ya tengo el consentimiento "implícito" para procesar pequeñas cantidades de datos no confidenciales con Azure AI. Lo más probable es que podría hacer eso a través de C,, pero no sé cómo hacerlo todavía... Me salté esa clase en la escuela y el campo ha cambiado considerablemente desde que me gradué. No había proveedores de IA en la nube cuando me gradué y no estoy seguro de que hubiera muchos IA "decentes". En ese día, muchas de las soluciones "AI" pueden haber sido "roll your own" tipos.

BTW: Por favor, pida a los administradores de este foro que consideren la eliminación de la función de revisión ortográfica para publicaciones en este sitio web y reemplazarlo con algo que es más fácil de usar como esto:
https://www.wufoo.com/html5/spellcheck-attribute/
https://developer.mozilla.org/en-US/docs/Web/HTML/Global_attributes/spellcheck
Es gratis y funciona muy bien. Todo lo que tienes que hacer en la mayoría de los casos es "voltear un interruptor..."

[Shawn_Eary]

Sugerencia simplificada presentada aquí:
https://ideas.powerbi.com/forums/265200-power-bi-ideas/suggestions/40377610-ai-categorization-of-fie...