Muy ilustrativo este post de Juan Ignacio Bagnato, el autor del blog Aprende Machine Learning:
http://www.aprendemachinelearning.com/principales-algoritmos-usados-en-machine-learning/