rdd

La concatenación de los conjuntos de datos de diferentes Ddr en Apache spark usando scala

Hay una manera de concatenar los conjuntos de datos de dos diferentes RDDs en la chispa? Requisito es - puedo crear...

¿Cómo puedo seleccionar un rango de elementos en la Chispa de la RDD?

Me gustaría para seleccionar un rango de elementos en una Chispa RDD. Por ejemplo, yo tengo un DDR con un centenar...

chispa RDD ordenar por dos valores

Tengo un RDDde (name:String, popularity:Int, rank:Int). Quiero aclarar esto por rank y si rank partidos a continuación, por popularity. Estoy haciendo...

Hace una combinación de co-particiones Ddr causar un shuffle en Apache Spark?

Se rdd1.join(rdd2) causar un shuffle a suceder si rdd1 y rdd2 tienen el mismo particionador? Se puede reescribir esta pregunta para...

La conversión de una Scala Iterable[tupla] para RDD

Tengo una lista de tuplas (String, String, Int, Double) que quiero convertir a la Chispa de RDD. En general, ¿cómo puedo...

RDD Agregado en la chispa de la

Soy un Apache Spark alumno y han llegado a través de un RDD acción aggregate que no tengo ni idea de...

Spark / Scala: Pasar RDD a la Función

Tengo curiosidad de saber lo que exactamente pasa un RDD a una función en la Chispa. def my_func(x : RDD) :...

Apache Spark: la División de Par de RDD en varios Ddr mediante la tecla para guardar los valores de

Estoy usando Chispa 1.0.1 para procesar una gran cantidad de datos. Cada fila contiene un número de IDENTIFICACIÓN, algunos con Identificadores...

Chispa: ¿Cómo RDD.mapa/mapToPair trabajar con Java

Tengo algunos pares de cw (Integer i, String palabra) con me el número de ocurrencias de palabra en un archivo de...