Estoy un poco confundido por la arquitectura Hadoop.

  1. Qué tipo de archivo se almacenan los metadatos en Hadoop Namenode? De Hadoop wiki, dice Namenode tiendas de todo el espacio de nombres system. ¿La información como la hora de la última modificación, creó el tiempo, tamaño de archivo, propietario, permisos, etc almacenados en Namenode?
  2. Hace datanode almacenar cualquier información de metadatos?
  3. Sólo hay un Namenode, pueden los metadatos de los datos exceder el servidor del límite?
  4. Si un usuario quiere descargar un archivo de Hadoop, tiene que descargar desde el Namenode? He encontrado la siguiente arquitectura de la imagen de la web, muestra de un cliente directo de escritura de datos al nodo de datos? Es esto cierto?
    Hadoop namenode metadatos

Gracias!!!!!!!

por favor, compruebe la información a continuación, mediante el uso de la secundaria nombre de nodo mplsvpn.info/2012/11/… se refiere a shivlu jain

OriginalEl autor leon | 2011-06-07

6 Comentarios

  1. 4

    Creo que la siguiente explicación le puede ayudar a entender mejor el HDFS arquitectura.
    Usted puede considerar el Nombre de nodo a ser como FAT (tabla de asignación de archivos) + Directorio de datos y los Datos de los nodos a ser tontos los dispositivos de bloque.
    Si desea leer el archivo desde el sistema de archivos normal, usted debe ir al Directorio, a continuación, vaya a la GRASA, obtener las ubicaciones de todos los bloques y leerlos. Lo mismo sucede con HDFS.
    Si desea leer el archivo, vas al Namenode, obtener la lista de bloques del archivo determinado tienen. Esta información acerca de los bloques contendrá la lista de los datanodes donde esta información está sentado. Después de que usted vaya a la datanode y obtener pertinentes bloques de ellos.

    OriginalEl autor David Gruzman

  2. 2
    1. La fsimage en el nombre de nodo en un formato binario. El uso de la «Offline Visor de Imágenes» para el volcado de los fsimage en un formato legible. La salida de esta herramienta puede ser analizado con cerdo o alguna otra herramienta para obtener datos más significativos.

    http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_imageviewer.html

    El enlace de arriba ha caducado. Aquí hay un enlace a la imagen en el visor de HDFS 2.7.5: hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/…

    OriginalEl autor Praveen Sripati

  3. 1
    1. no, aparte de los propios bloques
    2. sí, si usted tiene muchos archivos pequeños
    3. no, la información sobre el archivo está en el Namenode, el archivo está en Datanodes (un datanode en teoría, podría estar en la misma máquina, y es a menudo en pequeños grupos)

    OriginalEl autor johndodo

  4. 1

    3) Cuando la no.de los archivos son tan enormes , una sola Namenode no será capaz de mantener todos los metadatos . En el hecho de que es una de las limitaciones de HDFS . Usted puede comprobar HDFS Federación, la cual tiene el objetivo de abordar este problema mediante la división en diferentes espacios de nombres servida por los diferentes namenodes .

    4)

    Read process :    
    a) Client first gets the datanodes where the actual data is located from the namenode 
    b) Then it directly contacts the datanodes to read the data
    
    Write process : 
    a) Client asks namenode for some datanodes to write the data and if available Namenode gives them 
    b)Client goes directly to the datanodes and write
    

    OriginalEl autor hari_sree

  5. 0

    Para la pregunta número 4. Cliente de escribir los datos directamente a la Datanode. Sin embargo, antes de que pueda escribir en un nodo de datos, es necesario hablar con el Namenode para obtener metadatos como que Datanode y que bloquean a escribir.

    OriginalEl autor Jing Wang

  6. 0
    1. Sí, NameNode gestiona estos. También con frecuencia los datos se guardarán en fsimage y edita archivos que estarán en el disco local.

    2. No, todos los metadatos serán mantenidos por NameNode. Debido a que el datanode carga será menos para mantener los metadatos.

    3. Habrá sólo una de las principales NameNode. Como ya he dicho para administrar el límite de metadatos tamaño, los datos serán con frecuencia guardan en fsimage y modificaciones a través de los puntos de comprobación.

    4. Cliente puede comunicarse con el nodo de datos una vez que se obtiene la información del archivo de NameNode.

    OriginalEl autor Nandakishore

Dejar respuesta

Please enter your comment!
Please enter your name here