Hadoop Sqoop: paso base de datos relacional a Hadoop

(Gracias – otra vez – Luis :))

Como veíamos en este post Hadoop es una solución que permite aplicar MapReduce para resolver funcionalidad Big Data.

Dentro del ecosistema Hadoop (MapReduce, Pig, ZooKeeper, HBase, HDFS, Hive, Chukwa,…) es muy interesante Sqoop.

Apache Sqoop es un proyecto pensado para facilitar la importación y exportación de datos entre Hadoop y bases de datos relacionales.

· Sqoop permite hacer importaciones masivas de datos con HDFS, Hive y HBase.

· Sqoop está desarrollado en Java y usa MapReduce para transferir datos en paralelo.

· Trabaja con conectores, ofrece conectores estándares (basados en JDBC) y conectores directos para mejorar el rendimiento. Ofrece conectores directos para bases de datos como MySQL, Oracle, SQL Server,…

El Flujo de importación típico con Sqoop sería algo como esto:

En la versión 1 de Sqoop se trabaja con línea de comandos:

En la versión 2 de Sqoop se incluye una GUI de administración, configuración centralizada.