apache-spark-dataset

¿Por qué es «Incapaz de encontrar un codificador de tipo almacenado en un conjunto de datos» a la hora de crear un conjunto de...

Spark 2.0 (final) con Scala 2.11.8. El siguiente super simple de código produce el error de compilación Error:(17, 45) Unable to...

Convertir scala lista para DataFrame o conjunto de datos

Soy nuevo en Scala. Estoy tratando de convertir un scala lista (que es la celebración de los resultados de algunos datos...

Cómo el nombre de columnas agregadas?

Estoy usando Chispa en Scala y mi columnas de agregado son anónimos. Es allí una manera conveniente para cambiar el nombre...

Codificador de error al intentar mapa dataframe fila a fila actualizada

Cuando estoy tratando de hacer lo mismo en mi código como se menciona a continuación dataframe.map(row => { val row1...

groupByKey en la Chispa de conjunto de datos

Por favor me ayuden a entender el parámetro que se le pase groupByKey cuando se usa en un conjunto de datos...

Cómo convertir los conjuntos de datos de Chispa Fila en cadena?

He escrito el código para acceder a la Colmena de la tabla utilizando SparkSQL. Aquí está el código: SparkSession spark = SparkSession ...

chispa createOrReplaceTempView vs createGlobalTempView

Chispa conjunto de datos 2.0 proporciona dos funciones createOrReplaceTempView y createGlobalTempView. Yo no soy capaz de entender la diferencia básica entre...

¿Por qué es el error «no se puede encontrar un codificador de tipo almacenado en un conjunto de datos» cuando la codificación de JSON...

He escrito chispa de trabajo: object SimpleApp { def main(args: Array) { val conf = new SparkConf().setAppName("Simple Application").setMaster("local") ...

Cómo convertir DataFrame al conjunto de datos en Apache Spark en Java?

Puedo convertir DataFrame al conjunto de datos en Scala muy fácil: case class Person(name:String, age:Long) val df = ctx.read.json("/tmp/persons.json") val ds = df.as ds.printSchema pero en...