Soy un principiante en la colmena, ocurrió algo (no se puede encontrar la tabla) cuando empiezo chispa de trabajo y lectura de datos de la colmena. Yo no establecer hive-site.xml en $SPARK_HOME/conf ?

presentar la chispa de trabajo comando es aquí

bin/spark-submit --master local[*] --driver-memory 8g --executor-memory 8g  --class com.ctrip.ml.client.Client /root/GitLab/di-ml-tool/target/di-ml-tool-1.0-SNAPSHOT.jar
  • Copia del mismo hive-site.xml archivo de la colmena a spark/conf dir.
InformationsquelleAutor hash-X | 2015-12-11

4 Comentarios

  1. 2

    En su colmena de distribución tiene un archivo de plantilla que se debe convertir en su propio archivo del sitio.

    https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration#AdminManualConfiguration-hive-site.xmlandhive-default.xml.template

    Por lo tanto, primero debe crear su propio hive-site.xml archivo de la copia de la colmena por defecto.xml.plantilla y, a continuación, usted puede utilizar a partir de chispa.

    Si usted no desea utilizar el archivo predeterminado, puede utilizar cualquiera de las configuraciones anteriores se muestra en las respuestas anteriores.

  2. 1

    hive-site.xml el siguiente aspecto .

    <configuration>
        <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://localhost/metastore_db?createDatabaseIfNotExist=true</value>
            <description>metadata is stored in a MySQL server</description>
        </property>
        <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
            <description>MySQL JDBC driver class</description>
        </property>
        <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>USER</value>
            <description>user name for connecting to mysql server </description>
        </property>
        <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>PASSWORD</value>
            <description>password for connecting to mysql server </description>
        </property>
    </configuration>
    

  3. 0

    Creo que podría depender de la distribución que se esté usando. Me encontré con este problema recientemente, y este solucionado el problema para mí. Estoy usando HDP 2.3.2 así que mi copia de hive-site.xml en la Chispa conf carpeta contiene sólo esto:

    <configuration>
    
      <property>
      <name>hive.metastore.uris</name>
      <value>thrift://host.xxx.com:9083</value>
      </property>
    
    </configuration>
    

Dejar respuesta

Please enter your comment!
Please enter your name here