Estoy más fresco en hadoop. Quiero hacer un proyecto en la colmena. Tengo los conocimientos básicos de la colmena. Pero quiero saber cómo cargar las tablas grandes y ejecutar las consultas en las que.

Por favor comparta cualquier proyecto con detalles..

Gracias…

OriginalEl autor Manisha Soin | 2015-10-20

1 Comentario

  1. 2

    El Apache Hive ™ almacén de datos de software que facilita la consulta y la gestión de grandes conjuntos de datos que residen en el almacenamiento distribuido. Colmena proporciona un mecanismo para la estructura del proyecto, en este tipo de datos y consulta de los datos utilizando un lenguaje SQL llamado HiveQL.

    Echar un vistazo a Apache HIVE sitio web y las mejores prácticas

    Echar un vistazo a Colmena JDBC ejemplo de código para conectarse desde java

    Algunos más COLMENA tutorial enlaces

    https://cwiki.apache.org/confluence/display/Hive/Tutorial

    http://hortonworks.com/hadoop-tutorial/using-hive-data-analysis/

    http://www.dezyre.com/hadoop-tutorial/hive-tutorial

    Ejemplo de la carga de datos.

    Hay varias formas de cargar los datos en la Colmena tablas. El usuario puede crear una tabla externa que apunta a una ubicación específica dentro de HDFS. En este particular, el uso, el usuario puede copiar un archivo en la ubicación especificada utilizando el HDFS poner o comandos copiar y crear una tabla que apunta a esta ubicación con todos los formato de fila de la información. Una vez hecho esto, el usuario puede transformar los datos e insertarlos en cualquier otra Colmena de la tabla.

    Por ejemplo, si el archivo /tmp/pv_2008-06-08.txt contiene separados por comas páginas vistas servido en 2008-06-08, y esto necesita ser cargado en el page_view tabla en la partición adecuada, la siguiente secuencia de comandos puede lograr esto:

    CREATE EXTERNAL TABLE page_view_stg(viewTime INT, userid BIGINT,
                    page_url STRING, referrer_url STRING,
                    ip STRING COMMENT 'IP Address of the User',
                    country STRING COMMENT 'country of origination')
    COMMENT 'This is the staging page view table'
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '44' LINES TERMINATED BY '12'
    STORED AS TEXTFILE
    LOCATION '/user/data/staging/page_view';
    
    hadoop dfs -put /tmp/pv_2008-06-08.txt /user/data/staging/page_view
    
    FROM page_view_stg pvs
    INSERT OVERWRITE TABLE page_view PARTITION(dt='2008-06-08', country='US')
    SELECT pvs.viewTime, pvs.userid, pvs.page_url, pvs.referrer_url, null, null, pvs.ip
    WHERE pvs.country = 'US';
    
    ¿De dónde viene el pv_2008-06-08.txt archivo?

    OriginalEl autor Ravindra babu

Dejar respuesta

Please enter your comment!
Please enter your name here