Los algoritmos además de por el tipo de aprendizaje (ver post) se agrupan a menudo en términos de su función. Por ejemplo métodos tipo árbol y de redes neuronales.

Algoritmos de regresión

Los algoritmos de regresión se ocupan de modelar las relaciones entre variables. Para refinarlos se usa una medida de error en la predicción:

Estos algoritmos vienen de la estadística y son confusos porque la regresión se refiere al tipo de problema y al tipo de algoritmo.

Los más usados son:

  • Ordinary Least Squares Regression (OLSR)
  • Linear Regression
  • Logistic Regression
  • Stepwise Regression
  • Multivariate Adaptive Regression Splines (MARS)
  • Locally Estimated Scatterplot Smoothing (LOESS)

Algoritmos Instance-based

Se trata de tomar una decisión con las instancias de los datos de entrenamiento. Estos métodos construyen una base de datos de datos de ejemplo, y necesita comparar los nuevos datos con esta BD.

Para comparar se utiliza una medida de similitud para encontrar la mejor coincidencia y hacer una predicción. Por esta razón, los métodos basados en instancias también se denominan winner-take-all methods y memory-based learning.

El foco se pone en la representación de las instancias almacenadas, usando medidas de similitud entre instancias. Los más populares son:

  • k-Nearest Neighbor (kNN)
  • Learning Vector Quantization (LVQ)
  • Self-Organizing Map (SOM)
  • Locally Weighted Learning (LWL)

Algoritmos de árbol de decisión

Los métodos de árbol de decisiçon construyen un modelo de decisiones. Esto se hace en base a los valores rales de los atributos en los datos. Las decisiones se bifurcan en estructuras de árboles hasta que se toma una decisión de predicción para un registro determinado.

Los árboles de decisión están entrenados en datos para problemas de clasificación y regresión.

Los árboles de decisión son a menudo rápidos y precisos, y se usan mucho en el aprendizaje automático. Los algoritmos de árbol de decisión más populares son:

  • Classification and Regression Tree (CART)
  • Iterative Dichotomiser 3 (ID3)
  • C4.5 and C5.0 (different versions of a powerful approach)
  • Chi-squared Automatic Interaction Detection (CHAID)
  • Decision Stump
  • M5
  • Conditional Decision Trees

Algoritmos de Clustering

El clustering, como la regresión describe el problema y el tipo de métodos. Estos métodos se organizan según los enfoques de modelado, como los basados en centroides y jerárquicos. Todos los métodos se refieren al uso de las estructuras inherentes en los datos.

Existe es la necesidad de organizar mejor los datos en grupos de máxima similitud. Los algoritmos de agrupamiento más populares son:

  • k-Means
  • k-Medians
  • Expectation Maximisation (EM)
  • Hierarchical Clustering

Algoritmos Bayesianos

Estos métodos aplican el teorema de Bayes a la resolución de problemas como la clasificación y regresión.

Los más populares son:

  • Naive Bayes
  • Gaussian Naive Bayes
  • Multinomial Naive Bayes
  • Averaged One-Dependence Estimators (AODE)
  • Bayesian Belief Network (BBN)
  • Bayesian Network (BN)

Algoritmos de reducción de dimensionalidad

Como en los métodos de clustering, la reducción de dimensionalidad busca una estructura inherente en los datos.En general, son útiles para visualizar datos dimensionales.

Muchos de estos métodos los adoptamos para su uso en clasificación y regresión.

  • Principal Component Analysis (PCA)
  • Principal Component Regression (PCR)
  • Partial Least Squares Regression (PLSR)
  • Sammon Mapping
  • Multidimensional Scaling (MDS)
  • Projection Pursuit
  • Linear Discriminant Analysis (LDA)
  • Mixture Discriminant Analysis (MDA)
  • Quadratic Discriminant Analysis (QDA)
  • Flexible Discriminant Analysis (FDA)

Algoritmos de conjunto

Básicamente son modelos compuestos de modelos más débiles. Además, a medida que se entrenan sus predicciones se combinan para hacer la predicción. Se pone mucho esfuerzo en cómo se combinan:

  • Boosting
  • Bootstrapped Aggregation (Bagging)
  • AdaBoost
  • Stacked Generalization (blending)
  • Gradient Boosting Machines (GBM)
  • Gradient Boosted Regression Trees (GBRT)
  • Random Forest

Algoritmos de Redes Neuronales

Estos son modelos están inspirados en la estructura de las redes neuronales biológicas. Son una clase de coincidencia de patrones que se usan para problemas de regresión y clasificación aunque hay un gran campo de aplicación que permite modelar muchos problemas.

Los algoritmos de redes neuronales artificiales más populares son:

  • Perceptron
  • Back-Propagation
  • Hopfield Network
  • Radial Basis Function Network (RBFN)

Algoritmos de Reglas de decisión

Los métodos de aprendizaje de reglas de asociación extraen reglas que explican mejor las relaciones observadas entre las variables en los datos. Estas reglas pueden descubrir asociaciones importantes y útiles en grandes conjuntos de datos multidimensionales.

Los algoritmos de aprendizaje de reglas de asociación más populares son:

  • Apriori algorithm
  • Eclat algorithm

Algoritmos Deep Learning

Los métodos de aprendizaje profundo son una actualización de las redes neuronales que explotan lo barato que es la computación en la actualidad. Estos algoritmosor construyen redes neuronales mucho más grandes y complejas.

Los algoritmos de aprendizaje profundo más populares son:

  • Deep Boltzmann Machine (DBM)
  • Deep Belief Networks (DBN)
  • Convolutional Neural Network (CNN)
  • Stacked Auto-Encoders