¿Cómo trabaja YARN?

MapReduce with YARN

Siguiendo con el post Qué es YARN veamos cómo trabaja YARN (cómo YARN ejecuta aplicaciones):

· [1] Cliente comunica con el Resource Manager con una nueva Application Request

· [2] Resource Manger responde con Application Id

· [3] Cliente construye la petición de Application Submission request con detalles de requerimientos como memoria, cpu’s, prioridad, etc… La Application Request puede tener el context para el Job como los jars de la aplicación

· [4] Applications Manager una vez recibida la petición desde el clietne hace la petición al Node Manager para crear un Application Master por Job

· [5] Node Manager crea el Application Master

· [6] Application Master crea la petición para la asignación de recursos al Resource Manager. Application Master es responsible para la ejecución del Job hasta que se completa

· [7] El ResourceManager devuelve una lista de contenedores.

· [8] Application Master pide al Node Manager lanzar los contenedores para ese Job concreto

· [9] Node Manager crea el contenedor. Contenedor ejecuta el código cliente específico en el contenedor

· [10] Application Master gestiona la ejecución de Job hasta que se complete el Job

· [11] Client pide el reporte de status de la aplicación