He encontrado un poco de código para iniciar la chispa localmente con:

val conf = new SparkConf().setAppName("test").setMaster("local[*]")
val ctx = new SparkContext(conf)

¿Qué hace el [*] decir?

  • Hay una razón para no aceptar la respuesta?
InformationsquelleAutor Freewind | 2015-09-02

4 Comentarios

  1. 57

    De la doc:

    ./bin/spark-shell --master local[2]

    El –maestro opción especifica el master de dirección URL para un distribuida
    clúster o local para ejecutar de forma local con un hilo, o local[N] para ejecutar
    a nivel local con el N de hilos. Usted debe comenzar por el uso de locales para la prueba.

    Y de aquí:

    local[*] Ejecución de Chispa localmente con muchos subprocesos de trabajo como es lógico
    núcleos en su máquina.

  2. 33

    Maestro URL Significado


    local : Ejecutar Chispa localmente con un subproceso de trabajo (es decir, no hay paralelismo en todos).


    local[K] : Ejecutar Chispa localmente con K subprocesos de trabajo (idealmente, establecer el número de núcleos en su máquina).


    local[K,F] : Ejecutar Chispa localmente con K subprocesos de trabajo y F maxFailures (ver chispa.tarea.maxFailures para una explicación de esta variable)


    local[*] : Ejecutar Chispa localmente con muchos subprocesos de trabajo como núcleos lógicos en su máquina.


    local[*,F] : Ejecutar Chispa localmente con muchos subprocesos de trabajo como núcleos lógicos en su máquina y F maxFailures.


    chispa://HOST:PORT : Conectar a la Chispa independiente master del grupo. El puerto debe ser lo que su maestro está configurado para utilizar, que es 7077 por defecto.


    chispa://HOST1:PORT1,HOST2:2 : Conectar a la Chispa independiente clúster en espera de los maestros con el Cuidador. La lista debe tener todos los maestro de los ejércitos, en la alta disponibilidad cluster configurado con el Cuidador. El puerto debe ser lo que cada maestro está configurado para utilizar, que es 7077 por defecto.


    mesos://HOST:PORT : Conectar a los Mesos de clúster. El puerto debe ser lo que uno de ellos está configurado para utilizar, que es 5050 de forma predeterminada. O, para un Mesos clúster mediante Cuidador, uso mesos://zk://…. Para presentar con –implementar en modo de clúster, el HOST:PUERTO debe ser configurado para conectarse a la MesosClusterDispatcher.


    hilo : Conectarse a un HILO de clúster en el cliente o en modo de clúster en función del valor de –implementar de modo. El clúster ubicación se encuentra basado en la HADOOP_CONF_DIR o YARN_CONF_DIR variable.

    https://spark.apache.org/docs/latest/submitting-applications.html

    • Hay alguna manera podemos imprimir los núcleos disponibles en el entorno ? como sistema.getEnv(«la proposición….»)
  3. 10

    Algo de Información adicional

    No ejecutar Spark Streaming de programas a nivel local con el maestro configurado como «local» o «locales» [ 1]». Este se asigna sólo una CPU para tareas y si el receptor está funcionando en él, no hay ningún recurso a la izquierda para procesar los datos recibidos. Utilizar al menos «local[ 2]» para tener más núcleos.

    De Aprendizaje Chispa: El Relámpago-Rápido De Análisis De Big Data

  4. 3

    Master de dirección URL

    Puede ejecutar Chispa en modo local mediante local, local[n] o el más general local[*] para el máster de dirección URL.

    La URL dice cuántos hilos se puede utilizar en total:

    local utiliza 1 hilo.

    local[n] se utiliza n hilos.

    local[*] utiliza tantos hilos como el número de procesadores disponibles para la máquina virtual de Java (utiliza Runtime.getRuntime.availableProcessors() para saber el número).

    local[N, maxFailures] (llamada local con reintentos) con N ser * o el número de hilos a utilizar (como se explicó anteriormente) y maxFailures siendo el valor de spark.task.maxFailures.

Dejar respuesta

Please enter your comment!
Please enter your name here