apache-spark

scala.de la colección.mutable.WrappedArray$ofRef no se puede convertir a Entero

Soy bastante nuevo a la Chispa y la Scala. Estoy tratando de llamar a una función como una Chispa UDF pero...

IntelliJ Idea 14: no se puede resolver el símbolo de la chispa

Hice una dependencia de la Chispa que trabajé en mi primer proyecto. Pero cuando trato de hacer un nuevo proyecto con...

Cómo reducir el nivel de detalle de la Chispa de tiempo de ejecución de la salida?

Cómo reducir la cantidad de información de trace la Chispa se produce en tiempo de ejecución? El valor predeterminado es demasiado...

Cómo derivar Percentil utilizando la Chispa de la trama de Datos y Agrupar en python

Tengo un Spark dataframe que ha Date, Group y Price columnas. Estoy tratando de obtener la percentile(0.6) para la Price columna...

El modo de agrupar los datos en (py)Spark

Tengo un spark DataFrame con varias columnas. Me gustaría grupo de las filas basadas en una columna y, a continuación, encontrar...

Cómo puedo forzar Chispa para ejecutar código?

Cómo puedo forzar Chispa para ejecutar una llamada a la mapa, incluso si piensa que no necesita ser ejecutado debido a...

En Apache Spark, ¿por qué RDD.la unión no preservar el particionador?

Como todo el mundo sabe partitioners en la Chispa de tener un enorme impacto en el rendimiento de cualquier "amplia" de...

cómo filtrar un valor nulo de chispa dataframe

He creado un dataframe en la chispa con el siguiente esquema: root |-- user_id: long (nullable = false) |-- event_id: long...

¿Cómo puedo convertir (o conversión) de un valor de Cadena a un valor Entero?

El uso de Chispa 2.1 (en Databricks), tengo una tabla que tiene una columna de tipo String como resultado de una...