Error al usar la consulta directa con Spark

[Anonymous]

Hola, estoy usando la consulta directa (conector de chispa) para obtener datos de AWS S3 Bucket. Tuve este error en una visualización:

Mensaje de error: Error OLE DB u ODBC: [DataSource.Error] ODBC: ERROR [42000] [Microsoft][Hardy] (80) Error de análisis semántico o sintaxis generado en el servidor durante la ejecución de la consulta. Mensaje de error del servidor: org.apache.spark.sql.catalyst.parser.ParseException:
Entrada no coincidente '1000001' esperando <EOF>(línea 1, pos 11)

• SQL -
seleccionar el top 1000001
-----------^^^
'usuario',
'manifestación',
'sentimiento',
'mensaje',
sum(cast('favourites' as DOUBLE)) como 'C1',
sum(cast('followers' as DOUBLE)) como 'C2',
sum(cast('retweets' como DOUBLE)) como 'C3'
De
(
seleccionar 'channel_label',
'id_date',
'usuario',
'seguidores',
'seguir',
'manifestación',
'sentimiento',
'hashtag',
'mensaje',
'favoritos',
'retweets'
de 'twitter'.'hecho'
donde 'hashtag' ?
) como 'ITBL'
grupo por 'usuario',
'manifestación',
'sentimiento',
'mensaje'

El problema se produce porque AWS Athena no aceptó la cláusula TOP. ¿Cómo puedo arreglar esto? ¿Es un posible problema con el conector?

[v-deddai1-msft]

No @social ,

Gracias por compartir la solución. ¿Podría por favor tratar de aceptarlo como respuesta para ayudar a otros a encontrarlo más rápidamente.

Saludos

Dedmon Dai

[v-deddai1-msft]

No @social ,

¿Hay algún carácter no válido en el nombre de la tabla? Consulte https://community.alteryx.com/t5/Alteryx-Designer-Knowledge-Base/Error-running-query-in-Databricks-o...

Si este post ayuda, entonces considera Aceptarlo como la solución para ayudar a los otros miembros a encontrarlo más rápidamente.

Saludos

Dedmon Dai

[Anonymous · Accepted solution]

No @v-deddai1-msft ,

no hay un carácter no válido en los nombres de tabla. Solucioné el error utilizando otro conector ODBC (Simba Athena) sin modificaciones en los nombres de esquema o tabla. Esto es raro, creo que es un error causado por el conector nativo de Spark y tengo curiosidad acerca de este problema possiblue.

Otro punto es sobre el rendimiento, utilizando Simba Athena el tiempo de carga en las visualizaciones es muy rápidamente, diferente del conector de Spark que tarda un tiempo en cargar visualizaciones.