¿Cómo puedo usar Sqoop para importar datos de una base de datos relacional a la Colmena en la caja de arena. He Instalado Horton Obras sandbox en MI PC. Nw quiero saber que esta migración.He referd este enlace http://hortonworks.com/kb/using-apache-sqoop-for-data-import-from-relational-dbs/
Pero estoy confundido con algo de duda
1, Es necesario ningún Sqoop software para correr?
2, arriba De mensioned enlace de algún código es allí donde voy a poner este código? En la Colmena ventana de consulta?
3, Es posible migrar una base de datos Completamente(o en una tabla de tiempo solamente)?
4, ¿Qué procedimiento Almacenado y Viwes donde yo guardaba todas estas?

OriginalEl autor Haris | 2013-06-12

2 Comentarios

  1. 1

    1 – necesitará Microsoft SQL Server Conector para Apache Hadoop para hacer eso que puede ser descargado desde aquí.

    2 – Usted tiene que emitir el comando de importación de la Sqoop shell. Yo sugeriría que usted vaya a través de la Sqoop documento una vez, especialmente la sección 7.2.10 que nos dicen acerca de la importación de datos en la Colmena.

    3 – Usted puede importar varias tablas utilizando sqoop-importación-todas-las tablas.

    4 – Y una vez que los datos en el interior del clúster Hadoop usted no puede utilizar SQL procedimientos. Procedimiento almacenado de las lenguas suelen hacer más de su lógica de conjuntos de resultados. Debido a la colmena de los conjuntos de resultados son típicamente grandes que las agregaciones y las transformaciones que se realicen con las funciones o streaming.Usted necesita pensar acerca de algunas de las alternativas. Pero se pueden tener vistas de la Colmena. Para encontrar más información sobre las vistas de la Colmena se puede ir aquí.

    HTH

    OriginalEl autor Tariq

  2. 6

    Sqoop es preinstalado con la última Horton Sandbox. Usted tiene que hacer las siguientes cosas. Si alguna condición puede requerir permisos (Host ‘xxx.xx.xxx.xxx’ no está permitido para conectarse a este servidor de MySQL). De lo contrario, haga lo siguiente:
    PARA IMPORT & EXPORTACIÓN de DATOS DE motor de base de datos (MYSQL,ORACLE, etc) EN HDFS /COLMENA /HBASE

    Pre-requisito

    • Apache Hadoop
    • Apache Sqoop (compatible con la versión de Hadoop)
    • Apache Hive (opcional)
    • Apache HBase (opcional)
    • Apache HCatalog (opcional)
    • JDBC/ODBC conector

    Para todos los RDBMS, URL de Conexión de los cambios y el resto de todos los argumentos de línea de comandos sigue siendo el mismo. Usted necesita descargar específicos JDBC/ODBC conector FRASCO y copiarlo a $SQOOP_HOME/lib


    MySQL

    Descarga mysql-connector-java.jar y el lugar en $SQOOP_HOME/carpeta lib

    cp mysql-connector-java-5.1.18-bin.jar /usr/local/hadoop/sqoop-1.4.3-cdh4.4.0/lib/

    Esperando que se tienen datos en tablas de MySQL.

    Recuperar la lista de Bases de datos disponibles en la base de datos MySQL desde SQOOP

    sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root -P

    MySQL a HDFS Importar

    Tiene clave Primaria:

    sqoop import -connect jdbc:mysql://localhost:3306/db1 -username root -password password --table tableName --target-dir /path/to/directoryName

    Ninguna clave Principal:

    sqoop import -connect jdbc:mysql://localhost:3306/db1 -username root -password password --table tableName --target-dir /path/to/directoryName  -m 1

    MySQL a la Colmena de Importación

    Tiene clave Primaria:

    sqoop-import  --connect jdbc:mysql://localhost:3306/db1 -username root -password password --table tableName  --hive-table tableName --create-hive-table --hive-import --hive-home path/to/hive_home

    Ninguna clave Principal:

    sqoop-import  --connect jdbc:mysql://localhost:3306/db1 -username root -password password --table tableName  --hive-table tableName --create-hive-table --hive-import --hive-home  path/to/hive_home -m 1

    MySQL a HBase Importar

    Han Importar Todas las columnas:

    sqoop import --connect jdbc:mysql://localhost:3306/db1 --username root --password root --table tableName --hbase-table hbase_tableName  --column-family hbase_table_col1 --hbase-create-table

    HBase importar cuantas columnas

    sqoop import --connect jdbc:mysql://localhost:3306/db1 --username root --password root --table tableName --hbase-table hbase_tableName --columns column1,column2 --column-family hbase_table_col1 --hbase-create-table

    A HBase con clave Primaria:

    sqoop import --connect jdbc:mysql://localhost:3306/db1 --username root --password root --table tableName --hbase-table hbase_tableName --column-family hbase_table_col1 --hbase-row-key column1 –hbase-create-table

    A Hbase con ninguna clave principal:

    sqoop import --connect jdbc:mysql://localhost:3306/db1 --username root --password root --table tableName --hbase-table hbase_tableName --columns column1,column2 --column-family hbase_table_col --hbase-row-key column1 --hbase-create-table

    Exportación de HDFS MySQL:

    Mismo para todos Colmena/HBase/HDFS: Porque Colmena tablas no son nada, pero directorios en HDFS. Así que usted está a solo exportar un directorio de MySQL

    sqoop export --connect jdbc:mysql://localhost:3306/test_db --table tableName  --export-dir /user/hive/warehouse/tableName --username root --password password -m 1 --input-fields-terminated-by '
    sqoop export --connect jdbc:mysql://localhost:3306/test_db --table tableName  --export-dir /user/hive/warehouse/tableName --username root --password password -m 1 --input-fields-terminated-by '\001'
    1'

    SQL Server

    URL de conexión:

    sqoop de importación –connect » jdbc:sqlserver://: nombre de usuario=dbuser;password=dbpasswd;database=’ –tabla –target-dir /ruta/a/hdfs/dir –split-por -m 1

    Descarga Conector de sitio web de Microsoft

    http://www.microsoft.com/en-us/download/confirmation.aspx?id=11774

    Lugar en $SQOOP_HOME/lib


    Oracle

    URL de conexión:

    sqoop import --connect "jdbc:oracle:thin:@(description=(address=(protocol=tcp)(host=myhost)(port=1521))(connect_data=(service_name=myservice)))" \
    --username USER --table SCHEMA.TABLE_NAME --hive-import --hive-table SCHEMA.TABLE_NAME \
    --num-mappers 1 --verbose -P \

    IBM DB2

    Descarga el DB2Driver y colocarlo en $SQOOP_HOME/lib

        sqoop import --driver com.ibm.db2.jcc.DB2Driver --connect jdbc:db2://db2.my.com:50000/testdb --username db2user --db2pwd --table db2tbl --split-by tbl_primarykey --target-dir sqoopimports
    
        sqoop export --driver com.ibm.db2.jcc.DB2Driver --connect jdbc:db2://db2.my.com:50000/myDB --username db2user --password db2pwd --table db2tbl --export-dir /sqoop/dataFile.csv

    Diferentes Cadenas de Conexión para Diferentes RDBMS

    • Versión de base de datos –apoyo directo? cadena de conexión coincide con

    • HSQLDB partir de la versión 1.8.0 No jdbc:hsqldb:*//

    • MySQL 5.0+ Sí jdbc:mysql://

    • Oracle 10.2.0+ No jdbc:oracle:*//

    • PostgreSQL 8.3+ Sí (sólo importación) jdbc:postgresql://


    OriginalEl autor vineetv2821993

Dejar respuesta

Please enter your comment!
Please enter your name here