Tecnologías Open Source de moda en Big Data: Storm y Kafka

De

Big Data está de moda y en la mente de cada CIO (las empresas han invertido $ 4,3 billones en tecnologías Big Data en 2012), aunque los informes de Gartner hacen pensar que estamos sólo antes la punta del iceberg!!!

Como ya hemos comentado en varias ocasiones Big Data es actualmente sinónimo de tecnologías como Hadoop y bases de datos «NoSQL» (como HBase, Cassandra, MongoDB,…).

Uno de los problemas es que existen un gran número de tecnologías de código abierto en el mercado a día de hoy, y cada día aparecen nuevas, por lo que elegir correctamente es tremendamente complejo!!!:

En este post (traducción/interpretación de este artículo escrito por Tim Gasper, Product Manager en la plataforma Big Data Infochimps) se recogen los candidatos considerables como más viables para usarse en sistemas productivos, ahí van las conclusiones:

STORM Y KAFKA (PARA PROCESAMIENTO DE STREAMS)

(De ambas hemos hablado en el Blog!)

Storm y Kafka son el futuro del procesamiento de streams, y ya se usan en algunas grandes compañías como LinkedIn, Twitter, Groupon, Alibaba y The Weather Channel.

Nacido dentro de Twitter, Storm es un «sistema distribuido de computación en tiempo real». Storm es para elprocesamiento en tiempo real lo que Hadoop para el procesamiento por lotes.

Kafka es un sistema de mensajería desarrollado en LinkedIn para servir como la base para su flujo y el procesamiento de datos detrás de él.

Combinados Storm y Kafka se puede realizar procesamiento de streams asegurando que cada mensaje se procesa en tiempo real (miles de mensajes por segundo) de forma fiable.

Storm y Kafka han llamado la atención de muchas empresas para crear ETLs e integrar datos.

Las empresas se están dando cuenta de que el procesamiento por lotes de Hadoop no es compatible con el tiempo real y las necesidades del negocio.

Storm y Kafka son también interesantes para análisis en memoria y para toma de decisiones en tiempo real.

En infochimps Storm y Kafka son las dos de la lista en las que están más involucrados es serán parte formal de nuestra plataforma pronto.