Dimensionando nuestro cluster II: nodos Slaves

Sobre los nodos Slaves (DataNode y TaskTracker)

CPU:

· Quad-core CPUS (no necesario Hex-core)

· Habilitado Hyper-threading

RAM

· La configuración del nodo Slave especifica el número máximo de tareas Map y Reduce que pueden correrse simultáneamente en ese nodo.

· Cada tarea Map o Reduce suele tomar 1/2 Gb de RAM

· Los nodos slaves no deben usar memoria virtual

· Debemos asegurar que existe suficiente memoria RAM para correr todas las tareas más la sobrecarga de correr los demonios DataNode y TaskTracker + SO

· Como regla podemos decir que Número de tareas = 1.5 x número de cores

DISCO:

· En general es mejor tener más discos (mejor 8 discos de 1.5 TB que 6 de 2 TB)

· En la práctica de 4 a 12 discos por nodo.

· Discos 3.5”

· Discos 7200 RPM suficientes (no hace falta de 15000 RPM)

· Máximo 24 TB por slave node

· No usar RAID: HDFS ya provee mecanismos de redundancia replicando bloquees y RAID es más lento que JOBD

OTROS:

· No recomendada virtualización, ya que Hadoop es óptimo cuando puede usar todos los discos a la vez

· No recomendados Blade Servers ya que fallo de un chasis puede hacer que varios nodos queden indisponibles