Chispa independiente de clúster se ve que se está ejecutando sin problemas :

http://i.stack.imgur.com/gF1fN.png Apache Spark java.lang.ClassNotFoundException

He seguido este tutorial.

He construido un tarro de grasa para la ejecución de este JavaApp en el clúster. Antes de maven paquete:

find .

./pom.xml
./src
./src/main
./src/main/java
./src/main/java/SimpleApp.java

contenido de SimpleApp.java es :

 import org.apache.spark.api.java.*;
 import org.apache.spark.api.java.function.Function;
 import org.apache.spark.SparkConf;
 import org.apache.spark.SparkContext;


 public class SimpleApp {
 public static void main(String[] args) {

 SparkConf conf =  new SparkConf()
                   .setMaster("spark://10.35.23.13:7077")
                   .setAppName("My app")
                   .set("spark.executor.memory", "1g");

 JavaSparkContext   sc = new JavaSparkContext (conf);
 String logFile = "/home/ubuntu/spark-0.9.1/test_data";
 JavaRDD<String> logData = sc.textFile(logFile).cache();

 long numAs = logData.filter(new Function<String, Boolean>() {
  public Boolean call(String s) { return s.contains("a"); }
 }).count();

 System.out.println("Lines with a: " + numAs); 
 }
 }

Este programa sólo funciona cuando la maestra se establece como setMaster(«local»). De lo contrario, me sale este error

$java -cp path_to_file/simple-project-1.0-allinone.jar SimpleApp

http://i.stack.imgur.com/doRSn.png Apache Spark java.lang.ClassNotFoundException

  • Usted necesita para establecer ADD_JARS entorno a punto para su archivo jar. Por ejemplo, export ADD_JARS=path_to_file/simple-project-1.0-allinone.jar; java -cp path_to_file/simple-project-1.0-allinone.jar SimpleApp
  • Sigue recibiendo el mismo error.
InformationsquelleAutor proofmoore | 2014-05-01

1 Comentario

  1. 46

    Hay la clase anónima (que se extiende de la Función) en SimpleApp.java archivo. Esta clase está compilado para SimpleApp$1, que deberá transmitir a cada trabajador en la Chispa de clúster.

    La forma más sencilla es agregar el jar de forma explícita a la Chispa de contexto. Agregar algo como sparkContext.addJar("path_to_file/simple-project-1.0-allinone.jar") después de JavaSparkContext crear y reconstruir el archivo jar. Entonces, el programa Spark (llamado el controlador de programa) se generan automáticamente el código de la aplicación para el clúster.

    • funciona, gracias.
    • Si es así, por favor cierra la pregunta y aceptar @homutov la respuesta final.

Dejar respuesta

Please enter your comment!
Please enter your name here