Medio ambiente : Ubuntu 14.04 , hadoop-2.2.0 , hbase-0.98.7

cuando empiezo a hadoop y hbase(nodo único modo), que tanto éxito (yo también visite el sitio web 8088 para hadoop, 60010 para hbase)

jps
4507 SecondaryNameNode
5350 HRegionServer
4197 NameNode
4795 NodeManager
3948 QuorumPeerMain
5209 HMaster
4678 ResourceManager
5831 Jps
4310 DataNode

pero cuando reviso hbase-hadoop-master-localhost.de registro, he encontrado una información siguiente

    2014-10-23 14:16:11,392 INFO  [main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
2014-10-23 14:16:11,426 INFO  [main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session

tengo google montón de sitio web para que error desconocido problema, pero no puedo resolver este problema…
La siguiente es mi hadoop y hbase configuración

Hadoop :

esclavos contenido : localhost

core-site.xml

<configuration>
    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:8020</value>
     </property>
</configuration>

yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>localhost:9001</value>
    <description>host is the hostname of the resource manager and 
    port is the port on which the NodeManagers contact the Resource Manager.
    </description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>localhost:9002</value>
    <description>host is the hostname of the resourcemanager and port is the port
    on which the Applications in the cluster talk to the Resource Manager.
    </description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    <description>In case you do not want to use the default scheduler</description>
  </property>

  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:9003</value>
    <description>the host is the hostname of the ResourceManager and the port is the port on
    which the clients can talk to the Resource Manager. </description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value></value>
    <description>the local directories used by the nodemanager</description>
  </property>

  <property>
    <name>yarn.nodemanager.address</name>
    <value>localhost:9004</value>
    <description>the nodemanagers bind to this port</description>
  </property>  

  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>10240</value>
    <description>the amount of memory on the NodeManager in GB</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/app-logs</value>
    <description>directory on hdfs where the application logs are moved to </description>
  </property>

   <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value></value>
    <description>the directories used by Nodemanagers as log directories</description>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>shuffle service that needs to be set for Map Reduce to run </description>
  </property>
</configuration>

Hbase:

hbase-env.sh :

..
export JAVA_HOME="/usr/lib/jvm/java-7-oracle"
..
export HBASE_MANAGES_ZK=true
..

hbase-site.xml

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:8020/hbase</value>
    </property>
    <property> 
        <name>hbase.cluster.distributed</name> 
        <value>true</value> 
    </property> 
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value> 
    </property>
</configuration>  

regionserver contenido : localhost

mi /etc/hosts contenido:

127.0.0.1       localhost
#127.0.1.1      localhost

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Yo trate de un montón de métodos para resolverlo, pero no todos, por favor me ayude a resolverlo, realmente necesito saber cómo resolver.

Originalmente, tengo un mapreuce programa y si el mapa 67% reducir el porcentaje del 0%, imprimir algunas de INFO y algunas de INFO es la siguiente:

14/10/23 15:50:41 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=60000 watcher=or[email protected]ce1472
14/10/23 15:50:41 INFO zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
14/10/23 15:50:41 INFO zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session
14/10/23 15:50:41 INFO zookeeper.ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x1493be510380007, negotiated timeout = 40000
14/10/23 15:50:43 INFO mapred.LocalJobRunner: map > sort
14/10/23 15:50:46 INFO mapred.LocalJobRunner: map > sort

entonces accidente.. creo que el programa tal vez en los muertos de bloqueo y eso es lo que quiero resolver cuidador problema anterior.

Si quieres otro archivo de configuración me puse en hadoop o hbase o a los demás, me dicen, voy a publicar hasta.
gracias!

  • ¿Por qué no comprobar el exacto excepción.Usted puede comprobar en localhost:8088 o localhost:19888 para ver el problema exacto
  • Está usted usando su propio cuidador servidor o estás usando un dispositivo de cuidador de configuración. He tenido algunos similares problemas de conexión cuando se utiliza un cuidador externo de configuración pero desapareció cuando dejo hbase administrar cuidador?
InformationsquelleAutor steven | 2014-10-23

3 Comentarios

  1. 1

    No creo cuidador es su problema. Usted debe mirar el resto de registros para obtener más información acerca de su map/reduce estado de trabajo. Compruebe el datanode y namenode registros de errores junto con el hilo de los mensajes de registro a través del hilo job tracker de interfaz de usuario.

    Cuidador Mensajes

    Esos mensajes son de cuidador tratando de conectarse con el Cuidador sasl cliente. Si sasl no está configurado el cliente todavía será capaz de conectar, pero la conexión no será autenticado.

    Mensaje de Error proviene de este archivo
    ZooKeeperSaslClient.java

    150                 //The user did not override the default context. It might be that they just don't intend to use SASL,
    151                 //so log at INFO, not WARN, since they don't expect any SASL-related information.
    152                 String msg = "Will not attempt to authenticate using SASL ";
    153                 if (runtimeException != null) {
    154                     msg += "(" + runtimeException + ")";
    155                 } else {
    156                     msg += "(unknown error)";
    157                 }
    158                 this.configStatus = msg;
    159                 this.isSASLConfigured = false;
    160             }
    

    Si usted quiere deshacerse de el error, usted tendrá que configurar cuidador para el uso de sasl. Lo siento, no tenemos ninguna experiencia con la configuración de sasl para el cuidador.

    Cuidador SASL Configuración

  2. 1

    Agregar siguientes propiedades en hbase-site.xml archivo

     <property>
     <name>hbase.zookeeper.quorum</name>
     <value>192.168.56.101</value>                       #this is my server ip
     </property>
     <property>
     <name>hbase.zookeeper.property.clientPort</name>
     <value>2181</value>
     </property>
    

    reiniciar ./start-hbase.sh

    • Es un trabajo con un pequeño cambio: 192.168.56.101 a 127.0.0.1 Gracias.
  3. 0

    Esto es cómo he solucionado – después he intentado incluyendo hbase-site.xml en la ruta de clases y dar el cuidador del quórum de valor -Dhbase.cuidador.quórum – y que no funcionó.
    He copiado hbase-site.xml a la misma carpeta que mi tarro y luego hizo
    jar uf myjar.jar hbase-site.xml

    Y entonces corrí hadoop jar myjar.jar Bla

    Esta solucionado el problema

Dejar respuesta

Please enter your comment!
Please enter your name here