Tengo un problema con Hive en Chispa. He instalado un nodo único HDP 2.1 (Hadoop 2.4) a través de Ambari en mi CentOS 6.5. Estoy tratando de ejecutar la Colmena en la Chispa, así que utiliza esta instrucciones:

https://cwiki.apache.org/confluence/display/Hive/Hive+sobre+Chispa%3A+Llegar+Empezado

Ya he descargado el «Precompilados para Hadoop 2.4»-versión de Spark, que he encontrado en la página oficial de Apache Spark sitio web. Así que empecé el Máster con:

./spark-class org.apache.spark.deploy.master.Master

Entonces el trabajador con:

./spark-class org.apache.spark.deploy.worker.Worker spark://hadoop.hortonworks:7077

Y luego empecé Colmena con este mensaje:

hive –-auxpath /SharedFiles/spark-1.0.1-bin-hadoop2.4/lib/spark-assembly-1.1.0-hadoop2.4.0.jar

Entonces, de acuerdo a las instrucciones, he tenido que cambiar el motor de ejecución de la colmena para despertar con este mensaje:

set hive.execution.engine=spark;,

Y el resultado es:

Query returned non-zero code: 1, cause: 'SET hive.execution.engine=spark' FAILED in validation : Invalid value.. expects one of [mr, tez].

Así que si lanzo un simple Colmena Consulta, puedo ver en mi hadoop.hortonwork:8088 que la marcha es un trabajo MapReduce-Trabajo.

Ahora a mi pregunta: ¿Cómo puedo cambiar el motor de ejecución de la Colmena para que la Colmena utiliza Chispa en lugar de MapReduce? Hay otras maneras de cambiar? (Ya he probado a cambiar a través de ambari y en el hive-site.xml)

Podría por favor confirme que usted ha seguido las instrucciones de la sección «Configuración de la Colmena», en especial el Punto 1? (Básicamente, usted necesita ir a descargarlo de la «Colmena en la Chispa» rama de desarrollo y construir por sí mismo.) Este es el sangrado borde cosas, y una llanura off-the-shelf Colmena no admite todavía.
La colmena-en-Spark es todavía un trabajo en progreso… si usted está tratando de hacer algo serio con ella me gustaría desaconsejan en este punto.
Gracias por sus respuestas. Tal vez esta es la causa de algunos otros mensajes de error relativos a la Colmena en Chispa. Me ha omitido el paso 1. Creo que me voy a la configuración de un nuevo Hadoop en mi servidor sin necesidad de utilizar Hortonworks o Cloudera.

OriginalEl autor Baeumla | 2014-09-24

4 Comentarios

  1. 8

    cambio en la colmena propiedades de configuración como esta….

    en $HIVE_HOME/conf/hive-site.xml

    <property>
      <name>hive.execution.engine</name>
      <value>spark</value>
      <description>
        Chooses execution engine.
      </description>
    </property>
    
    Debe ser:<a la propiedad> <nombre>de la colmena.de la ejecución.motor</name> <valor>la chispa</valor> <descripción> Elige el motor de ejecución. </descripción> </>

    OriginalEl autor Sree Eedupuganti

  2. 0

    de la colmena>conf>hive-site.xml
    establezca el valor de la colmena.de la ejecución.motor de chispa.

      </property> 
        <name>hive.execution.engine</name>
        <value>spark</value>
      </property>
    

    OriginalEl autor Satish Karuturi

Dejar respuesta

Please enter your comment!
Please enter your name here