Yahoo! release Storm-YARN como open-source

(Je,je, Julián, Paco qué os parece! :D)

Yahoo lleva tiempo probando Hadoop 2 y su arquitectura YARN y entre otras cosas trabajando en la convergencia de Storm con Hadoop.

Este trabajo ha generado una versión de Storm basado en YARN:Storm-YARN.

Esta unión que permite ejecutar en la misma infraestructura el procesamiento Batch y el procesamiento en Tiempo Real tiene numerosas ventajas, fundamentalmente en la simplicidad del despliegue, elasticidad y en el rendimiento (podrían reducirse las transferencia de red).

Podéis descargar el proyecto desde aquí: https://github.com/yahoo/storm-yarn

Por otro lado HortonWorks ya tiene previsto incorporar esta solución Storm-on-YARN (para el primer trimestre de 2014):

Con lo que el ecosistema HortonWorks quedaría:

 

Respuestas

  1. Avatar de Julian Simon de Castro
    Julian Simon de Castro

    Que al mundo Big Data le falta el procesamiento de «baja latencia» está claro que tengan que ir tan de la mano no está tan claro. Creo que Storm-Yarn puede ser una opción para sistemas «pequeños» pero para los grandes sistemas creo que es mejor tener separado el procesamiento de tiempo real del procesamiento batch y que se comuniquen entre ellos cuando sea necesario vía protocolo remoto sobre TCP

    Responder
  2. Avatar de franciscoisaac
    franciscoisaac

    Es lo que más nos gustaba de Samza, poder usar los recursos ya disponibles para hadoop pero ahora con un framework como Storm mucho más respaldado.

    Para comunicaciones online-batch se reducirían las transferencias de red que son las que provocan las mayores latencias.

    Responder

Replica a Julian Simon de Castro Cancelar la respuesta