AWS Glue es un servicio administrado del cloud AWS que nos permite hacer procesos ETL (extracción, transformación y carga).
AWS glue permite construir visualmente estos flujos ETL para extraer o volcar datos a AWS.
Entre sus principales características tenemos:
- AWS Glue se integra en una amplia variedad de servicios de AWS. AWS Glue es compatible de manera nativa con datos almacenados en Amazon Aurora y con los demás motores de Amazon RDS, Amazon Redshift y Amazon S3.
- AWS Glue ofrece conectores para las principales bases de datos.
- AWS Glue es un servicio Serverless, no requiere aprovisionar infraestructura, ya que Glue aprovisiona, configura y escala en función de los recursos necesarios para el proceso ETL..
- Integra un Spark administrado.
- AWS Glue automatiza gran parte del proceso de creación, mantenimiento y ejecución de trabajos de ETL. AWS Glue rastrea sus orígenes de datos, identifica formatos de datos y sugiere esquemas y transformaciones. AWS Glue genera automáticamente el código para ejecutar sus transformaciones de datos y procesos de carga.
¿Cómo funciona?
El funciónamiento es sencillo:
- Primero con la consola web de Glue registraremos las fuentes de datos, Glue los rastreará y construirá un catálogo de datos soportando los orígenes y tipos de datos conocidos, incluidos JSON, CSV, Parquet,…
- Luego seleccionaremos un origen y un destino para los datos. AWS Glue generará código ETL en Scala o Python para extraer datos del origen, transformar los datos de manera que se correspondan con los esquemas de destino y cargarlos en el destino. Puede editar y probar el código y depurar errores mediante la consola, en su IDE favorito o en cualquier bloc de notas.
- Finalmente planificamos el trabajo, Glue permite la programación de trabajos de ETL recurrentes, el encadenamiento de varios trabajos o la invocación de ellos bajo demanda desde otros servicios, como AWS Lambda. AWS Glue administra las dependencias entre trabajos, escala automáticamente los recursos subyacentes y vuelve a intentar ejecutar los trabajos si se produce un error.
