apache-spark

ERROR SparkContext: Error al inicializar SparkContext. java.net.BindException: No se puede asignar la dirección solicitada: Servicio de ‘sparkDriver’ error

He instalar a continuación el programa de instalación de la versión: Hadoop versión 1.0.3 la versión de java "1.7.0_67" Scala versión...

La diferencia entre el filtro y donde en la scala chispa sql

He intentado tanto, pero funciona de la misma ejemplo val items = List(1, 2, 3) usando el filtro ...

Dataframe de la Lista<Cadena> en Java

Spark Versión : 1.6.2 Versión De Java: 7 Tengo un List<String> de datos. Algo así como: , ..]...

Cómo agregar los valores en la colección después de groupBy?

Tengo un dataframe con un esquema como tal: Buscando una manera de grupo (o tal vez acumulativo?) este dataframe por...

Pyspark la Eliminación de los valores null en una columna en el dataframe

Mi Dataframe tiene el siguiente aspecto ID,FirstName,LastName 1,Navee,Srikanth 2,,Srikanth 3,Naveen, Ahora Mi Problema es que tengo que quitar la fila número 2, ya...

la conversión de los pandas dataframes a chispa dataframe en zeppelin

Soy nuevo en zeppelin. Tengo un caso de uso en el cual tengo un pandas dataframe.Necesito visualizar las colecciones utilizando incorporado...

Cómo agregar cualquier nueva biblioteca como spark-csv en Apache Spark versión prediseñadas

He construir el Chispa-csv y poder utilizar el mismo de pyspark shell usando el siguiente comando bin/spark-shell --packages com.databricks:spark-csv_2.10:1.0.3 error al...

Cómo guardar un particiones de parquet archivo en la Chispa de la 2.1?

Yo estoy tratando de probar cómo escribir datos en HDFS 2.7 uso de la Chispa 2.1. Mis datos es una simple...

Cómo escribir a CSV en la Chispa de la

Estoy tratando de encontrar una manera eficaz de ahorrar el resultado de mi Chispa de Trabajo como un archivo csv. Yo...