Yo estaba buscando acerca de hadoop y mapreduce con respecto a rezagadas problemas y los papeles en este problema
pero ayer me encontré con que hay hadoop 2 con Hilo ,,
lamentablemente, no hay papel que está hablando acerca de straggler problema en el Hilo
Quiero saber ¿cuál es la diferencia entre MapReduce y el Hilo en la parte rezagadas?
es de Hilados sufren de straggler problema?
y cuando MRmaster pide a los recursos pesebre para los recursos , recursos pesebre dará MRmaster todos los recursos que necesita o está de acuerdo con el clúster de las capacidades de computación ?
muchas gracias,,

OriginalEl autor Flowra | 2014-11-15

4 Comentarios

  1. 8

    Aquí están las MapReduce 1.0 y MapReduce 2.0 (HILO)

    MapReduce 1.0

    En un típico clúster Hadoop, bastidores están interconectados a través de conmutadores centrales. Conmutadores centrales deben conectarse a la parte superior del bastidor interruptores de las Empresas utilizando Hadoop debe considerar el uso de de 10 gbe, en condiciones de servidumbre Ethernet redundante y la parte superior del bastidor interruptores para mitigar el riesgo en caso de fallo. Un archivo se divide en 64MB trozos por defecto y distribuidos a través de los Datos de los Nodos. Cada fragmento tiene un defecto el factor de replicación de 3, es decir, habrá 3 copias de los datos en cualquier momento dado. Hadoop es «Rack Consciente» y HDFS ha replicado en trozos en los nodos en diferentes estantes. JobTracker asignar tareas a los nodos más cercanos a los datos dependiendo de la ubicación de los nodos y ayuda a que el NameNode determinar la ‘más cercano’ fragmento a un cliente durante lee. El administrador proporciona una secuencia de comandos que le dice a Hadoop que en rack, el nodo se encuentra en, por ejemplo: /enterprisedatacenter/rack2.

    Limitaciones de MapReduce 1.0 – Hadoop puede escalar hasta 4.000 nodos. Cuando se supera ese límite, se plantea un comportamiento impredecible, como las fallas y deterioro grave de clúster global. Otro tema a ser multi-tenencia – es imposible ejecutar otros marcos de trabajo de MapReduce 1.0 en un clúster Hadoop.

    MapReduce 2.0

    MapReduce 2.0 tiene dos componentes – HILO que ha de recursos de clúster de las capacidades de gestión y MapReduce.

    En MapReduce 2.0, el JobTracker se divide en tres servicios:

    1. ResourceManager, una persistente HILO servicio que recibe y ejecuta las aplicaciones en el clúster. Un trabajo MapReduce es una aplicación.
    2. JobHistoryServer, para proporcionar información sobre los trabajos realizados
    3. Aplicación Maestro, para administrar cada uno de MapReduce de empleo y termina cuando se completa el trabajo.

    TaskTracker ha sido reemplazado con el NodeManager, un HILO servicio que administra los recursos, y la implementación de un nodo. NodeManager es responsable para el lanzamiento de contenedores que bien podría ser un mapa o reducir la tarea.

    Esta nueva arquitectura se rompe JobTracker modelo de permitir que una nueva clase ResourceManager para administrar el uso de recursos a través de aplicaciones, con ApplicationMasters tomando la responsabilidad de la gestión de la ejecución de los trabajos. Este cambio elimina un cuello de botella y permite a los clústeres de Hadoop escala hasta grandes configuraciones de 4000 nodos. Esta arquitectura también permite la ejecución simultánea de una variedad de modelos de programación tales como la gráfica de procesamiento iterativo de procesamiento, máquina de aprendizaje, y en general el clúster de computación, incluyendo la tradicional MapReduce.

    OriginalEl autor Om Singh

  2. 2

    Se puede decir «Diferencias entre MapReduce y el HILO». MapReduce y el HILO definitivamente diferente. MapReduce es un Modelo de Programación, el HILO, es una arquitectura para la distribución de clúster. Hadoop 2 uso de HILO para la gestión de los recursos. Además de eso, hadoop de apoyo modelo de programación que soporte el procesamiento en paralelo que hemos conocido como MapReduce. Antes de hadoop 2, hadoop ya el apoyo de MapReduce. En resumen, MapReduce de ejecución por encima del HILO de la Arquitectura. Lo siento, yo no se menciona en la parte de straggler problema.

    «cuando MRmaster pide a los recursos pesebre para los recursos?»
    cuando el usuario se someten MapReduce Trabajo. Después de MapReduce trabajo que ha hecho, de los recursos estará de regreso para libre.

    de recursos»pesebre dará MRmaster todos los recursos que necesita o está de acuerdo con el clúster de las capacidades de computación»
    No entiendo esta pregunta en punto. Obviamente, el gerente de recursos le dará todos los recursos que necesita, no importa lo clúster de las capacidades de computación. Cluster de computación de las capacidades de influencia en el tiempo de procesamiento.

    Lo siento si mi pregunta no está clara, yo no entiendo la idea de administrador de recursos y MRmaster ?? y no hacerme a la idea de distribuir los recursos entre los datos de los nodos?? . también no se sabe nada acerca de straggler problema en el Hilo . muchas gracias por la respuesta

    OriginalEl autor Whilda Chaq

  3. 0

    Si para rezagadas problema que significa que si el primer chico con el que espera «algo» que hace que más espera a lo largo de un camino que depende de que el primer chico con el que entonces supongo que siempre hay este problema en el SEÑOR de los trabajos. Obtención de los recursos asignados participar naturalmente a este problema, junto con todas las otras cosas que pueden causar que los componentes de esperar algo.

    Tez que se supone es una gota en el reemplazo para el SEÑOR tiempo de ejecución del trabajo hace las cosas de manera diferente. En lugar de hacer la tarea se ejecuta en una misma forma actual MR Appmaster no se trata de utilizar la DAG de tareas que realiza un trabajo mucho mejor de no conseguir en mal rezagadas problema.

    Que usted necesita para entender una relación entre el SEÑOR y el HILO. HILO es simplemente un recurso ficticio programador sentido no horario de ‘tareas’. Lo que da a MR Appmaster es un conjunto de recursos(en un sentido es una combinación única de la memoria y de la cpu y la ubicación). Es entonces el SEÑOR Appmaster responsabilidad de decidir qué hacer con esos recursos.

    OriginalEl autor Janne Valkealahti

Dejar respuesta

Please enter your comment!
Please enter your name here