Un Recorrido Por Los Algoritmos De Machine Learning

Admond Lee
Dec 17, 2020

Contents Outline

Un Recorrido Por Los Algoritmos De Machine Learning

Dec 17, 2020 15 minutes read

"La inteligencia artificial es el último invento que la humanidad necesitará crear."
- Nick Bostrom.
Si pudieras mirar atrás hace un par de años al estado de la inteligencia artificial y compararlo con su estado actual, te sorprendería ver lo exponencial que ha crecido con el tiempo.

Se ha ramificado en una variedad de dominios como aprendizaje automático, Sistemas Expertos, procesamiento natural de lenguaje y docenas más.

Puedes leer más artículos de Data Science en español aquí 

Aunque la idea detrás de la inteligencia artificial es construir sistemas más inteligentes que piensen y se ejecuten por sí mismos, todavía necesitan ser entrenados.

Le podría interesar también leer: Cómo Pensar Acerca de Los Datos

Una visión general de los algoritmos de aprendizaje automático (Fuente)

El dominio del aprendizaje automático ha sido creado con el propósito exacto de aportar varios algoritmos, permitiendo un procesamiento de datos y una toma de decisiones más fluida.

¿Qué son los algoritmos de machine learning?

“Los algoritmos de aprendizaje automático son los cerebros detrás de cualquier modelo, permitiendo a las máquinas aprender, haciéndolas más inteligentes.”
La forma en que estos algoritmos funcionan es que se les proporciona un conjunto inicial de datos, y con el tiempo, a medida que los algoritmos desarrollan su precisión, se introducen datos adicionales en la mezcla.

Este proceso de exponer regularmente el algoritmo a nuevos datos y experiencias mejora la eficiencia general de la máquina.

Los algoritmos de aprendizaje automático  son vitales para una variedad de tareas relacionadas con la clasificación, el modelado predictivo y el análisis de datos.

"Un gran avance en el aprendizaje de maquinas valdría diez Microsofts".
- Bill Gates

Tipos de algoritmos de aprendizaje automático

En esta sección nos centraremos en los diversos tipos de algoritmos de aprendizaje automático que existen. Los tres paradigmas principales de los algoritmos de aprendizaje automático son:

Aprendizaje supervisado
Como su nombre indica, los algoritmos supervisados funcionan definiendo un conjunto de datos de entrada y los resultados esperados. Al ejecutar la función de manera iterativa sobre los datos de entrenamiento e involucrar al usuario en la introducción de los parámetros de control, el modelo se mejora. Se considera que el algoritmo es exitoso cuando se comprueba que sus mapeos y predicciones son correctos.

Aprendizaje supervisado (fuente)

Aprendizaje no supervisado
Mientras que los algoritmos supervisados usan datos etiquetados por el usuario para las predicciones de salida, este entrena la máquina explícitamente con datos no etiquetados con poca o ninguna participación del usuario.
Los algoritmos son dejados con con los datos para clasificarlos y agruparlos a fin de identificar algún patrón oculto o no descubierto y a menudo se utilizan como paso preliminar para el aprendizaje supervisado.

Puedes leer más artículos de Data Science en español aquí 

Aprendizaje no supervisado (fuente)

Aprendizaje reforzado
Los algoritmos de aprendizaje reforzado tienen como objetivo encontrar un equilibrio perfecto entre la exploración y la explotación sin necesidad de datos etiquetados o de la intervención del usuario.

Estos algoritmos funcionan eligiendo una acción y observando las consecuencias, en base a ello, aprende cuán óptimo es el resultado. Este proceso se repite una y otra vez hasta que el algoritmo evoluciona y elige la estrategia correcta.

Lea También: Entendiendo La Validación Cruzada.

Principales algoritmos de aprendizaje automático

Después de familiarizarse con los diversos tipos de algoritmos de aprendizaje automático, sigue leyendo algunos de los más populares.

1. Regresión lineal (Linear regression)
La Regresión Lineal es un algoritmo ML supervisado que ayuda a encontrar un ajuste lineal aproximado adecuado a una colección de puntos.

En su esencia, la regresión lineal es un enfoque lineal para identificar la relación entre dos variables, siendo uno de estos valores un valor dependiente y el otro independiente.

La idea detrás de esto es comprender cómo un cambio en una variable impacta en la otra, dando como resultado una relación que puede ser positiva o negativa.


La Regresión Lineal se representa como una línea en forma de y = a + bx (fuente)

Esta línea se conoce como la línea de regresión y está representada por una ecuación lineal Y= a *X + b.

En esta ecuación:
  • Y - Variable dependiente
  • a - Pendiente
  • X - Variable independiente
  • b - Intercepto

Este algoritmo se aplica en los casos en que la salida prevista es continua y tiene una pendiente constante, como:

  • Estimar las ventas
  • Evaluación del riesgo
  • Análisis de datos meteorológicos
  • Análisis predictivo
  • Análisis de los resultados de la encuesta a los clientes
  • Optimizar los precios de los productos

Enlaces útiles:
2. Regresión logística (Logistic Regression)
El algoritmo de Regresión Logística se utiliza a menudo en los problemas de clasificación binaria en los que los acontecimientos en estos casos suelen dar lugar a cualquiera de los dos valores, pasar o fallar, verdadero o falso.

Es más adecuado para situaciones en las que es necesario predecir las probabilidades de que la variable dependiente caiga en una de las dos categorías de la respuesta.

Algunos casos de uso común para este algoritmo serían identificar si la escritura dada coincide con una persona en cuestión, si los precios del petróleo subirán en los próximos meses.

Puedes leer más artículos de Data Science en español aquí 

Algoritmo de Regresión Logística (fuente)

En general, las regresiones pueden ser usadas en aplicaciones del mundo real como:
  • Puntuación de crédito
  • Detección de cáncer
  • Procesamiento de imágenes geográficas
  • Reconocimiento de la escritura
  • Segmentación y categorización de imágenes
  • Medición de las tasas de éxito de las campañas de marketing
  • Predicción de los ingresos de un determinado producto
  • ¿Va a haber un terremoto en un día en particular?
Enlaces útiles:

3. Árboles de decisión (Decision trees)
El algoritmo del Árbol de Decisión cae bajo la categoría de algoritmo de aprendizaje automático supervisado y se utiliza para resolver problemas de regresión y clasificación. El propósito es utilizar un árbol de decisión para pasar de las observaciones a los resultados del procesamiento en cada nivel.

El procesamiento de los árboles de decisión es un enfoque descendente en el que se selecciona como raíz el atributo más adecuado para el entrenamiento y se repite el proceso para cada rama. Los árboles de decisión se utilizan comúnmente para:
  • Crear plataformas de gestión de los conocimientos
  • Seleccionar un vuelo para viajar
  • Predecir las fechas de alta ocupación de los hoteles
  • Sugerir a un cliente qué carro comprar
  • Pronosticar predicciones e identificar posibilidades en diversos ámbitos


Algoritmo del Árbol de Decisión (fuente)

Enlaces útiles:

4. Algoritmo de aprendizaje automático A Priori 
Es el algoritmo detrás del popular sistema de recomendación llamado "También te puede gustar" en varias plataformas en línea.

Funciona buscando conjuntos comunes de elementos en los conjuntos de datos y más tarde construye asociaciones entre ellos.

Se utiliza generalmente para la extracción de conjuntos de elementos y el aprendizaje de reglas de asociación a partir de bases de datos relacionales.

La idea de este algoritmo es seguir extendiendo los elementos relacionados a un conjunto tan grande como sea posible para crear una asociación más útil.

Las aplicaciones de este algoritmo incluyen destacar las tendencias de compra en el mercado.

Adicionalmente, es fácil de implementar y puede ser utilizado con grandes conjuntos de datos.

5. Bayes ingenuo (Naive Bayes)
Los clasificadores bayesianos ingenuos se clasifican como un algoritmo de aprendizaje automático supervisado altamente eficaz y son uno de los modelos de red bayesiana más sencillos.

Funciona aplicando el teorema de Bayes a los datos con una suposición ingenua de independencia condicional entre cada par de características, dado el valor de la variable de clase.

Bayes ingenuo (fuente)

En términos más sencillos, ayuda a encontrar la probabilidad de que ocurra un evento A, dado que ha ocurrido el evento B. Bayes ingenuo  es mejor para:
  • Filtrar los mensajes de spam
  • Sistemas de recomendación como Netflix
  • Clasificar un artículo de noticias sobre tecnología, política o deportes
  • El análisis de los sentimientos en social media
  • Software de reconocimiento facial

Le podr'a interesar también:  Tendencias en Ciencia de Datos para 2020

6. Redes neuronales artificiales (Artificial neural network)
Modelada a partir del cerebro humano, la Red Neuronal Artificial actúa como un enorme laberinto de neuronas o simplemente, nodos que mueven información hacia y desde otro.

Estos nodos interconectados pasan datos instantáneamente a otros nodos a través de los bordes para un rápido procesamiento, facilitando un aprendizaje más fluido.

Las redes neuronales artificiales aprenden con ejemplos, en lugar de ser programadas con un conjunto específico de reglas. Capaces de modelar procesos no lineales, pueden ser implementados en áreas como:
  • Reconocimiento de patrones
  • Ciberseguridad
  • La minería de datos
  • Detección de variedades de cáncer en los pacientes

Redes Neuronales Artificiales (fuente)

7. Agrupación K-Medias (K-means clustering)
Agrupación K-Medias  es un algoritmo de aprendizaje iterativo no supervisado que divide n observaciones en k clusters donde cada observación pertenece a la media de cluster más cercana.
Pasos del algoritmo K-means (fuente)

En términos sencillos, este algoritmo agrega una colección de puntos de datos basados en su similitud. Sus aplicaciones van desde la agrupación de resultados de búsqueda similares y relevantes en la web, en lenguajes de programación y bibliotecas como Python, SciPy, Scikit Learn, y la minería de datos.

Algunas aplicaciones en el mundo real de la agrupación de K-medias:
  • Identificar noticias falsas
  • Detección y filtrado de spam
  • Clasificar libros o películas por género
  • Creación de Rutas de transporte populares mientras se planifica una ciudad
Enlaces útiles:

8. Máquinas de vectores de soporte (Support vector machines)
Las máquinas de vectores de soporte se clasifican como algoritmos de aprendizaje automático supervisado y se utilizan principalmente para la clasificación y análisis de regresión.

El algoritmo funciona construyendo modelos que asignan nuevas muestras y datos a una categoría, donde estas categorías se distinguen fácilmente entre sí por una brecha.

El SVM es muy eficaz en los casos en que el número de dimensiones supera el número de muestras y es extremadamente eficiente en cuanto a la memoria.
Algoritmo de las Máquinas Vectoriales de Apoyo altamente efectivo (fuente)

Las aplicaciones de SVM se pueden encontrar en: 
  • Detección facial
  • Clasificación de imágenes
  • Categorización de texto e hipertexto
  • Reconocimiento de escritura
  • Descubrimiento de drogas para la terapia
  • Bioinformática: clasificación de proteínas, genes, biología o cáncer.
Enlaces útiles:

9. K Vecinos más cercanos (K-nearest neighbors)
K- vecinos más cercanos es un algoritmo de aprendizaje automático supervisado que se utiliza tanto para la regresión como para problemas de clasificación.

Normalmente implementado para el reconocimiento de patrones, este algoritmo primero almacena e identifica la distancia entre todas las entradas de los datos utilizando una función de distancia, selecciona las entradas k especificadas más cercanas a la consulta y arroja:

  • La etiqueta más frecuente (para la clasificación)
  • El valor medio de los k vecinos más cercanos (para la regresión)
Vecinos más cercanos (fuente)

Las aplicaciones en la vida real de este algoritmo incluyen:
  • Detección de huellas dactilares
  • La calificación crediticia
  • Pronóstico del mercado de valores
  • Analizar el lavado de dinero
  • Quiebras bancarias
  • Tasas de cambio de moneda

10. Algoritmos de reducción de la dimensionalidad (Dimensionality Reduction Algorithms)
Los algoritmos de reducción de la dimensionalidad funcionan reduciendo las dimensiones de espacio o el número de variables aleatorias en un conjunto de datos mediante el uso de uno de dos enfoques primarios, la selección de características o la extracción de características.

Estos se aplican a menudo para preprocesar los conjuntos de datos y para eliminar características redundantes, facilitando a los algoritmos el entrenamiento del modelo.

Puedes leer más artículos de Data Science en español aquí 

Estos algoritmos también vienen con algunos beneficios ingeniosos, tales como:
  • Bajos requerimientos de almacenamiento
  • Menor requerimiento de poder de cómputo
  • Aumento de la precisión
  • Reducción del ruido
Algunos algoritmos de reducción de la dimensionalidad muy conocidos son:
  • Análisis de componentes principales
  • Análisis discriminante lineal
  • Embebido localmente lineal
  • Escalamiento multidimensional
11. Análisis de los componentes principales (Principal component analysis)
El Análisis de Componentes Principales es uno de los algoritmos no supervisados para aprendizaje automático y se utiliza principalmente para reducir las dimensiones de su espacio de características mediante el uso de la Eliminación de Características o la Extracción de Características.

También se utiliza como herramienta para el análisis de datos exploratorios y la construcción de modelos predictivos. Cuando se requieran datos normalizados, PCA puede ayudar en:

  • Procesamiento de imágenes
  • Sistema de recomendación de películas
  • Cálculo de la matriz de covarianza de datos
  • Realizar la descomposición de los valores propios en la matriz de covarianza
  • Optimizar la asignación de energía en múltiples canales de comunicación
Análisis del componente principal (fuente)

El análisis de componentes principales busca reducir las redundancias de los conjuntos de datos, haciéndolo más simple sin comprometer la precisión. Se utiliza comúnmente en los sectores de procesamiento de imágenes y gestión de riesgos.

Enlaces útiles:

12. Bosques aleatorios (Random Forest)
Los bosques aleatorios utilizan una variedad de algoritmos para resolver la clasificación, la regresión y problemas similares mediante la implementación de árboles de decisión.

Su funcionamiento consiste en crear montones de árboles de decisión con conjuntos de datos aleatorios, y se entrena un modelo repetidamente en él para obtener resultados casi precisos.

Al final, todos los resultados de estos árboles de decisión se combinan para identificar el resultado más adecuado que aparece más comúnmente en la salida.

Bosques al azar (fuente)

Las aplicaciones de Random Forests se pueden encontrar en:
  • Detección del fraude en cuentas bancarias, tarjetas de crédito
  • Detectar y predecir la sensibilidad a las drogas de un medicamento
  • Identificar la enfermedad de un paciente analizando su historial médico
  • Predecir la pérdida o ganancia estimada al comprar una acción en particular

13. Potenciación del gradiente y AdaBoost (Gradient boost y AdaBoost)
El "Boosting" es una técnica para ensamblar algoritmos aprendizaje automático que convierte aprendices débiles en aprendices fuertes. Los algoritmos de potenciación son necesarios cuando los datos son abundantes, y buscamos reducir el sesgo y la varianza en el aprendizaje supervisado. A continuación se presentan dos de los algoritmos de refuerzo más populares.

Potenciación del gradiente (Gradient Boosting)
El algoritmo de potenciación del gradiente se utiliza para los problemas de clasificación y regresión mediante la construcción de un modelo de predicción típicamente de forma iterativa como los árboles de decisión. Mejora a los aprendices débiles entrenandolos en los errores de los aprendices fuertes, lo que da como resultado un alumno preciso en general.

Potenciación adaptativa (Adaptative boosting)
AdaBoost, Abreviatura de Adaptive Boosting, mejora el modelo cuando los aprendices débiles fallan. Lo hace modificando los pesos asignados a las instancias de la muestra para centrarse más en las difíciles, más tarde, el resultado de los aprendices débiles se combina para formar una suma ponderada, y se considera el resultado final potenciado.

Puedes leer más artículos de Data Science en español aquí 

Conclusión
Los algoritmos de ML son vitales para los científicos de datos debido a sus crecientes aplicaciones en el mundo real. Con la variedad de algoritmos mencionados anteriormente, puedes encontrar el algoritmo que mejor resuelva tu problema. Estos algoritmos, aunque son una mezcla de supervisados y no supervisados, pueden manejar una variedad de tareas y son capaces de trabajar en sincronía con otros.

Recursos adicionales
¡Espero que este artículo le haya sido útil! A continuación hay recursos adicionales si está interesado en aprender más:

Related Posts

Métricas De Evaluación De Modelos En El Aprendizaje Automático

Categories

Data Science Machine Learning Deep learning Flask Deployment Big Data Business Python SQL Programming Libraries Jupyter Numpy News Pandas Matplotlib Visualization Datathons

Join Competition

Financial Inclusion in LatAm

Real Estate Price Forecast

Most Related Articles

Data Science
Machine Learning
Métricas De Evaluación De Modelos En El Aprendizaje Automático

CréditosLos modelos predictivos se han convertido en un asesor de confianza para muchas empresas y por una buena razón. Estos modelos pueden "prever el futuro", y hay muchos métodos diferentes disponibles, lo que significa que cualquier industria puede encontrar uno que se ajuste a sus retos particulares.Cuando hablamos de modelos predictivos, nos referimos a un modelo de regresión (salida continua) o a un modelo de clasificación (salida nominal o binaria). En los problemas de clasificación, utilizamos dos tipos de algoritmos (dependiendo del tipo de salida que este crea):Salida de clase: Algoritmos como Support Vector Machine y K Nearest Neighbors crean una salida de clase. Por ejemplo, en un problema de clasificación binaria, las salidas serán 0 o 1. Sin embargo, hoy en día tenemos algoritmos que pueden convertir estas salidas de clase en probabilidad.Salida de probabilidad: Algoritmos como la Regresión Logística, el Bosque Aleatorio, potenciación del Gradiente, el Adaboost, etc. dan salidas de probabilidad. Convertir las salidas de probabilidad en salidas de clase es sólo cuestión de crear un umbral de probabilidadPuedes leer más artículos de Data Science en español aquí Lea también:Tipos Claves De Regresiones: ¿Cuál Usar?IntroducciónSi bien la preparación de los datos y el entrenamiento de un modelo de aprendizaje de máquina es un paso clave en el proceso de aprendizaje automático, es igualmente importante medir el rendimiento de este modelo entrenado. Lo bien que el modelo generaliza sobre los datos no vistos es lo que define los modelos de aprendizaje automático adaptables frente a los no adaptables.Al utilizar diferentes métricas para la evaluación del rendimiento, deberíamos estar en posición de mejorar el poder de predicción general de nuestro modelo antes de que lo pongamos en marcha para la producción sobre datos no vistos antes.Si no se realiza una evaluación adecuada del modelo aprendizaje automático utilizando diferentes métricas, y se usa sólo la precisión, puede darse un problema cuando el modelo respectivo se despliega sobre datos no vistos y puede dar lugar a malas predicciones.Esto sucede porque, en casos como éste, nuestros modelos no aprenden sino que memorizan; por lo tanto, no pueden generalizar bien sobre datos no vistos.Métricas de evaluación del modeloDefinamos ahora las métricas de evaluación para valorar el rendimiento de un modelo de aprendizaje automático, que es un componente integral de cualquier proyecto de ciencia de los datos. Su objetivo es estimar la precisión de la generalización de un modelo sobre los datos futuros (no vistos/fuera de muestra).Matriz de confusiónUna matriz de confusión es una representación matricial de los resultados de las predicciones de cualquier prueba binaria que se utiliza a menudo para describir el rendimiento del modelo de clasificación (o "clasificador") sobre un conjunto de datos de prueba cuyos valores reales se conocen.La matriz de confusión es relativamente sencilla de comprender, pero la terminología relacionada puede ser confusa.Matriz de confusión con 2 etiquetas de clase.Cada predicción puede ser uno de cuatro resultados, basado en cómo coincide con el valor real:Verdadero Positivo (TP): Predicho Verdadero y Verdadero en realidad.Verdadero Negativo (TN): Predicho Falso y Falso en realidad.Falso Positivo (FP): Predicción de verdadero y falso en la realidad.Falso Negativo (FN): Predicción de falso y verdadero en la realidad.Ahora entendamos este concepto usando la prueba de hipótesis.Lea también:Falsos Positivos Vs. Falsos Negativos Una hipótesis es una especulación o teoría basada en pruebas insuficientes que se presta a más pruebas y experimentación. Con más pruebas, una hipótesis puede ser probada como verdadera o falsa.Una Hipótesis Nula es una hipótesis que dice que no hay significancia estadística entre las dos variables de la hipótesis. Es la hipótesis que el investigador está tratando de refutar.Siempre rechazamos la hipótesis nula cuando es falsa, y aceptamos la hipótesis nula cuando es realmente verdadera.Aunque las pruebas de hipótesis se supone que son fiables, hay dos tipos de errores que pueden ocurrir.Estos errores se conocen como errores de Tipo I y Tipo II.Por ejemplo, cuando se examina la eficacia de una droga, la hipótesis nula sería que la droga no afecta a una enfermedad.Error de Tipo I: equivalente a los Falsos Positivos(FP).El primer tipo de error posible implica el rechazo de una hipótesis nula que es verdadera.Volvamos al ejemplo de una droga que se utiliza para tratar una enfermedad. Si rechazamos la hipótesis nula en esta situación, entonces afirmamos que la droga tiene algún efecto sobre una enfermedad. Pero si la hipótesis nula es cierta, entonces, en realidad, la droga no combate la enfermedad en absoluto. Se afirma falsamente que la droga tiene un efecto positivo en una enfermedad.Error de tipo II:- equivalente a Falsos Negativos(FN).El otro tipo de error que ocurre cuando aceptamos una hipótesis falsa nula. Este tipo de error se llama error de tipo II y también se conoce como error de segundo tipo.Si pensamos de nuevo en el escenario en el que estamos probando una droga, ¿cómo sería un error de tipo II? Un error de tipo II ocurriría si aceptáramos que la droga no tiene efecto sobre la enfermedad, pero en realidad, sí lo tiene.Un ejemplo de la implementación Python de la matriz de confusión.Puedes leer más artículos de Data Science en español aquí import warningsimport pandas as pdfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import confusion_matriximport matplotlib.pyplot as plt%matplotlib inline  #ignore warningswarnings.filterwarnings('ignore')# Load digits dataseturl = "http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"df = pd.read_csv(url)# df = df.valuesX = df.iloc[:,0:4]y = df.iloc[:,4]#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#Split data into train and test set. X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#Train Modelmodel = LogisticRegression()model.fit(X_train, y_train)pred = model.predict(X_test)#Construct the Confusion Matrixlabels = ['Iris-setosa', 'Iris-versicolor', 'Iris-virginica']cm = confusion_matrix(y_test, pred, labels)print(cm)fig = plt.figure()ax = fig.add_subplot(111)cax = ax.matshow(cm)plt.title('Confusion matrix')fig.colorbar(cax)ax.set_xticklabels([''] + labels)ax.set_yticklabels([''] + labels)plt.xlabel('Predicted Values')plt.ylabel('Actual Values')plt.show()Matriz de confusión con 3 etiquetas de clase.Los elementos diagonales representan el número de puntos para los cuales la etiqueta predicha es igual a la etiqueta verdadera, mientras que cualquier cosa fuera de la diagonal fue mal etiquetada por el clasificador. Por lo tanto, cuanto más altos sean los valores diagonales de la matriz de confusión, mejor, indicando muchas predicciones correctas.En nuestro caso, el clasificador predijo perfectamente las 13 plantas de setosa y 18 de virginica en los datos de prueba. Sin embargo, clasificó incorrectamente 4 de las plantas versicolor como virginica.También hay una lista de tasas que a menudo se calculan a partir de una matriz de confusión para un clasificador binario:1. ExactitudEn general, ¿con qué frecuencia es correcto el clasificador?Exactitud = (TP+TN)/totalCuando nuestras clases son aproximadamente iguales en tamaño, podemos usar la precisión, que nos dará valores clasificados correctamente.La precisión es una métrica de evaluación común para los problemas de clasificación. Es el número de predicciones correctas hechas como una proporción de todas las predicciones hechas.Tasa de clasificación errónea (Tasa de error): En general, con qué frecuencia se equivoca. Dado que la exactitud es el porcentaje que clasificamos correctamente (tasa de éxito), se deduce que nuestra tasa de error (el porcentaje en que nos equivocamos) puede calcularse de la siguiente manera:Tasa de clasificación errónea = (FP+FN)/total#import modulesimport warningsimport pandas as pdimport numpy as npfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn import datasetsfrom sklearn.metrics import accuracy_score#ignore warningswarnings.filterwarnings('ignore')# Load digits datasetiris = datasets.load_iris()# # Create feature matrixX = iris.data# Create target vectory = iris.target#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#cross-validation settingskfold = model_selection.KFold(n_splits=10, random_state=seed)#Model instancemodel = LogisticRegression()#Evaluate model performancescoring = 'accuracy'results = model_selection.cross_val_score(model, X, y, cv=kfold, scoring=scoring)print('Accuracy -val set: %.2f%% (%.2f)' % (results.mean()*100, results.std()))#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#fit modelmodel.fit(X_train, y_train)#accuracy on test setresult = model.score(X_test, y_test)print("Accuracy - test set: %.2f%%" % (result*100.0))La precisión de la clasificación es del 88% en el conjunto de validación.2. PrecisiónCuando predice sí, ¿con qué frecuencia es correcto?Precisión=TP/predicciones síCuando tenemos un desequilibrio de clase, la precisión puede convertirse en una métrica poco fiable para medir nuestro desempeño. Por ejemplo, si tuviéramos una división de 99/1 entre dos clases, A y B, donde el evento raro, B, es nuestra clase positiva, podríamos construir un modelo que fuera 99% exacto con sólo decir que todo pertenece a la clase A. Claramente, no deberíamos molestarnos en construir un modelo si no hace nada para identificar la clase B; por lo tanto, necesitamos diferentes métricas que desalienten este comportamiento. Para ello, utilizamos la precisión y la sensibilidad en lugar de la exactitud.Puedes leer más artículos de Data Science en español aquí 3. ExhaustividadCuando en realidad es un sí, ¿con qué frecuencia predice un sí?Tasa positiva verdadera = TP/Si realesLa Exhaustividad nos da la tasa positiva verdadera (TPR), que es la proporción de los verdaderos positivos a todo lo positivo.En el caso de la división 99/1 entre las clases A y B, el modelo que clasifica todo como A tendría una exhaustividad del 0% para la clase positiva, B (la precisión sería indefinida - 0/0). La exhaustividad  proporciona una mejor manera de evaluar el rendimiento del modelo ante un desequilibrio de clases. Nos dirá correctamente que el modelo tiene poco valor para nuestro caso de uso.Al igual que la exactitud, tanto la precisión como la exhaustividad son fáciles de calcular y comprender, pero requieren umbrales. Además, la precisión y la exhaustividad sólo consideran la mitad de la matriz de confusión:4. Puntuación F1La puntuación F1 es la media armónica de la precisión y exhaustividad, donde la puntuación de la F1 alcanza su mejor valor en 1 (precisión y exhaustividad perfectas) y el peor en 0.¿Por qué la media armónica? Dado que la media armónica de una lista de números se inclina fuertemente hacia últimos elementos de la lista, tiende (en comparación con la media aritmética) a mitigar el impacto de los grandes valores atípicos y a agravar el impacto de los pequeños.Una puntuación F1 castiga más los valores extremos. Idealmente, un puntaje F1 podría ser una métrica de evaluación efectiva en los siguientes escenarios de clasificación:Cuando los Falsos Positivos  y la Falsos Negativos son igualmente costosos - lo que significa que se pasan verdaderos positivos o se encuentran falsos positivos - ambos impactan el modelo casi de la misma manera, como en nuestro ejemplo de clasificación de detección de cáncerAñadir más datos no cambia el resultado de manera efectivaLa TN es alta (como en las predicciones de inundaciones, predicciones de cáncer, etc.)Un ejemplo de implementación en Python de la puntuación F1.import warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_lossfrom sklearn.metrics import precision_recall_fscore_support as score, precision_score, recall_score, f1_scorewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]test_size = 0.33seed = 7model = LogisticRegression()#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)precision = precision_score(y_test, pred)print('Precision: %f' % precision)# recall: tp / (tp + fn)recall = recall_score(y_test, pred)print('Recall: %f' % recall)# f1: tp / (tp + fp + fn)f1 = f1_score(y_test, pred)print('F1 score: %f' % f1)Puedes leer más artículos de Data Science en español aquí 5. EspecificidadCuando es no, ¿con qué frecuencia predice el no?Tasa negativa real = TN/no realEs la verdadera tasa negativa o la proporción de verdaderos negativos a todo lo que debería haber sido clasificado como negativo.Obsérvese que, en conjunto, la especificidad y la sensibilidad consideran la matriz de confusión completa:6. Curva de características operativas del receptor (ROC)Medir el área bajo la curva ROC es también un método muy útil para evaluar un modelo. Al trazar la tasa positiva verdadera (sensibilidad) frente a la tasa de falsos positivos (1 - especificidad), obtenemos la curva de Característica Operativa del Receptor (ROC). Esta curva nos permite visualizar el equilibrio entre la tasa de verdaderos positivos y la tasa falsos positivosLos siguientes son ejemplos de buenas curvas ROC. La línea discontinua sería una suposición aleatoria (sin valor predictivo) y se utiliza como línea de base; cualquier cosa por debajo de eso se considera peor que una suposición. Queremos estar hacia la esquina superior izquierda:Una ejemplo de implementación en Python de las curvas ROC#Classification Area under curveimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import roc_auc_score, roc_curvewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)# predict probabilitiesprobs = model.predict_proba(X_test)# keep probabilities for the positive outcome onlyprobs = probs[:, 1]auc = roc_auc_score(y_test, probs)print('AUC - Test Set: %.2f%%' % (auc*100))# calculate roc curvefpr, tpr, thresholds = roc_curve(y_test, probs)# plot no skillplt.plot([0, 1], [0, 1], linestyle='--')# plot the roc curve for the modelplt.plot(fpr, tpr, marker='.')plt.xlabel('False positive rate')plt.ylabel('Sensitivity/ Recall')# show the plotplt.show()En el ejemplo anterior, la AUC está relativamente cerca de 1 y es mayor de 0,5. Un clasificador perfecto hará que la curva ROC vaya a lo largo del eje Y y luego a lo largo del eje X.7. Pérdida logarítmicaLa pérdida logarítmica es la métrica de clasificación más importante basada en probabilidades.A medida que la probabilidad predicha de la clase verdadera se acerca a cero, la pérdida aumenta exponencialmente:Mide el desempeño de un modelo de clasificación en el que la entrada de la predicción es un valor de probabilidad entre 0 y 1. La pérdida logarítmica aumenta a medida que la probabilidad predicha se aleja de la etiqueta real. El objetivo de cualquier modelo de aprendizaje automático es minimizar este valor. Por lo tanto, una pérdida logarítmica menor es mejor, con un modelo perfecto teniendo una pérdida logarítmica de 0.Una muestra de la implementación en Python de la pérdida logarítmica#Classification LogLossimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_losswarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)#predict and compute loglosspred = model.predict(X_test)accuracy = log_loss(y_test, pred)print("Logloss: %.2f" % (accuracy))Logloss: 8.02Puedes leer más artículos de Data Science en español aquí 8. Índice JaccardEl índice Jaccard es una de las formas más simples de calcular y averiguar la exactitud de un modelo de clasificación de aprendizaje automático. Entendamoslo con un ejemplo. Supongamos que tenemos un conjunto de pruebas etiquetadas, con etiquetas como -y = [0,0,0,0,0,1,1,1,1,1]Y nuestro modelo ha predicho las etiquetas como…y1 = [1,1,0,0,0,1,1,1,1,1]El anterior diagrama de Venn nos muestra las etiquetas del conjunto de pruebas y las etiquetas de las predicciones, y su intersección y unión.El índice Jaccard o coeficiente de similitud Jaccard es una estadística utilizada para comprender las similitudes entre los conjuntos de muestras. La medición enfatiza la similitud entre conjuntos de muestras finitas y se define formalmente como el tamaño de la intersección dividido por el tamaño de la unión de los dos conjuntos etiquetados, con la fórmula como -Índice Jaccard o Intersección sobre Unión(IoU)Así, para nuestro ejemplo, podemos ver que la intersección de los dos conjuntos es igual a 8 (ya que ocho valores se predicen correctamente) y la unión es 10 + 10-8 = 12. Por lo tanto, el índice Jaccard nos da la precisión como -Así que la precisión de nuestro modelo, según el índice Jaccard, se convierte en 0.66, o 66%.Cuanto mayor sea el índice Jaccard, mayor será la precisión del clasificador.Una muestra de implementación en Python del índice Jaccard.import numpy as npdef compute_jaccard_similarity_score(x, y):    intersection_cardinality = len(set(x).intersection(set(y)))    union_cardinality = len(set(x).union(set(y)))    return intersection_cardinality / float(union_cardinality)score = compute_jaccard_similarity_score(np.array([0, 1, 2, 5, 6]), np.array([0, 2, 3, 5, 7, 9]))print "Jaccard Similarity Score : %s" %scorepassPuntaje de similitud Jaccard: 0.3759. Gráfico de Kolmogorov SmirnovEl gráfico K-S o Kolmogorov-Smirnov mide el rendimiento de los modelos de clasificación. Más exactamente, K-S es una medida del grado de separación entre las distribuciones positivas y negativas.La frecuencia acumulativa de las distribuciones observadas y de las hipótesis se traza en relación con las frecuencias ordenadas. La doble flecha vertical indica la máxima diferencia vertical.La K-S es 100 si las puntuaciones dividen la población en dos grupos separados en los que un grupo contiene todos los positivos y el otro todos los negativos. Por otra parte, si el modelo no puede diferenciar entre los positivos y los negativos, entonces es como si el modelo seleccionara casos al azar de la población. El K-S sería 0.En la mayoría de los modelos de clasificación la K-S caerá entre 0 y 100, y cuanto más alto sea el valor mejor será el modelo para separar los casos positivos de los negativos.La K-S también puede utilizarse para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. Es una forma muy eficiente de determinar si dos muestras son significativamente diferentes entre sí.Un ejemplo de la implementación en Python  del Kolmogorov-Smirnov.from scipy.stats import kstest import random   # N = int(input("Enter number of random numbers: ")) N = 10  actual =[] print("Enter outcomes: ")   for i in range(N):     # x = float(input("Outcomes of class "+str(i + 1)+": "))     actual.append(random.random())   print(actual) x = kstest(actual, "norm")    print(x)La hipótesis nula utilizada aquí asume que los números siguen la distribución normal. Devuelve estadísticas y valor p. Si el valor p es < alfa, rechazamos la hipótesis Nula.Alfa se define como la probabilidad de rechazar la hipótesis nula dado que la hipótesis nula(H0) es verdadera. Para la mayoría de las aplicaciones prácticas, se elige alfa como 0,05.Puedes leer más artículos de Data Science en español aquí 10. Gráfico de ganancia y elevaciónLa ganancia o el levantamiento es una medida de la eficacia de un modelo de clasificación calculado como la relación entre los resultados obtenidos con y sin el modelo. Los gráficos de ganancia y elevación son ayudas visuales para evaluar el rendimiento de los modelos de clasificación. Sin embargo, en contraste con la matriz de confusión que evalúa los modelos en toda la población, el gráfico de ganancia o elevación evalúa el rendimiento del modelo en una porción de la población.Cuanto mayor sea la elevación (es decir, cuanto más lejos esté de la línea de base), mejor será el modelo.El siguiente gráfico de ganancias, ejecutado en un conjunto de validación, muestra que con el 50% de los datos, el modelo contiene el 90% de los objetivos, la adición de más datos añade un aumento insignificante en el porcentaje de objetivos incluidos en el modelo.Gráfico de ganancia/elevaciónLos gráficos de elevación suelen presentarse como un gráfico de ascenso acumulativo, que también se conoce como gráfico de ganancias. Por lo tanto, los gráficos de ganancias a veces se denominan (quizás de forma confusa) "gráficos de elevación", pero son más exactos como gráficos de ascenso acumulativo.Uno de sus usos más comunes es en el marketing, para decidir si vale la pena llamar a un posible cliente.11. Coeficiente de GiniEl coeficiente de Gini o Índice de Gini es una métrica popular para los valores de clase desequilibrados. El coeficiente oscila entre 0 y 1, donde 0 representa la igualdad perfecta y 1 la desigualdad perfecta. Aquí, si el valor de un índice es mayor, entonces los datos estarán más dispersos.El coeficiente de Gini puede calcularse a partir del área bajo la curva ROC usando la siguiente fórmula:Coeficiente de Gini = (2 * curva_ROC) - 1Puedes leer más artículos de Data Science en español aquí ConclusiónComprender lo bien que un modelo de aprendizaje automático va a funcionar con datos no vistos es el propósito final de trabajar con estas métricas de evaluación. Métricas como la exactitud, la precisión, la exhaustividad son buenas formas de evaluar los modelos de clasificación para conjuntos de datos equilibrados, pero si los datos están desequilibrados y hay una disparidad de clases, entonces otros métodos como el ROC/AUC, el coeficiente de Gini funcionan mejor en la evaluación del rendimiento del modelo.Bueno, esto concluye este artículo. Espero que hayan disfrutado de su lectura, no duden en compartir sus comentarios/pensamientos/opiniones en la sección de comentarios.Gracias por leerlo!!!

Join our private community in Discord

Keep up to date by participating in our global community of data scientists and AI enthusiasts. We discuss the latest developments in data science competitions, new techniques for solving complex challenges, AI and machine learning models, and much more!

Join our Discord