Hadoop Streaming API

El API Hadoop Streaming está pensada para esas organizaciones con experiencia en lenguajes como Ruby, Python, Perl, AWK,…

API Hadoop Streaming permite a los programadores usar cualquier lenguaje para escribir Mappers y Reducers.

Se puede usar cualquier lenguaje ya que toda la información se pasar por el standard input y output.

Como ventajas está que no implica aprender Java, los tiempos de desarrollo son rápidos y permite reutilizar librerías existentes.

Como inconvenientes está que se penaliza el rendimiento, que está pensado para datos que puedan ser representados como texto y que puede consumir grandes cantidades de RAM. Además los Partitioners, InputFormats deben escribirse en Java.

Para implementar Hadoop Streaming escribiremos separados Mappers y Reducers en cualquier lenguaje, que recibirán la entrada como stdin y escribirán su salida como stdout.