apache-spark

Convertir pyspark.sql.dataframe.DataFrame tipo Dataframe al Diccionario

Tengo un pyspark Dataframe y necesito convertir esto en python diccionario. A continuación el código es reproducible: from pyspark.sql import...

Aplanar Anidada Chispa Dataframe

Hay una manera de aplanar arbitrariamente un anidada Chispa Dataframe? La mayoría de los trabajos que estoy viendo es escrito por...

La chispa de Error:se esperaba cero argumentos para la construcción de ClassDict (para numpy.núcleo.multiarray._reconstruct)

Tengo un dataframe en la Chispa en la que una de las columnas contiene una matriz.Ahora,he escrito separado UDF que convierte...

Ejecución de la chispa de la scala ejemplo falla

Soy nuevo tanto la Chispa y la Scala. He creado un IntelliJ Scala proyecto con SBT y añadido un par de...

TypeError: ‘Columna’ el objeto no es exigible el uso de WithColumn

Me gustaría añadir una nueva columna en dataframe "df" de la función get_distance: def get_distance(x, y): dfDistPerc =...

Chispa – error en la conexión exception: java.net.ConnectException – localhost

Estoy corriendo hadoop y chispa en una sola máquina (Ubuntu 14.04). JPS comando me da la salida debajo de la [email protected]:~$...

Cómo cargar Chispa Cassandra Conector en la concha?

Estoy tratando de usar Chispa Cassandra Conector en la Chispa de la 1.1.0. He construido con éxito el archivo jar en...

La chispa de la Scala: la Tarea No serializable error

Estoy usando IntelliJ Edición de la Comunidad con Scala Plugin y la chispa de las bibliotecas. Todavía estoy aprendiendo Chispa y...

kinit: las credenciales del Cliente han sido revocadas, mientras que llegar inicial de credenciales

He hdp clúster configurado con kerberos con AD. Todos los HDP servicio de cuentas de los directores y keytabs generado incluyendo...