Tendencias en Ciencia de Datos para 2020

Claire D
May 27, 2020

Contents Outline

Tendencias en Ciencia de Datos para 2020

May 27, 2020 10 minutes read

Tendencias cruciales de ciencia de datos para la nueva década

La ciencia de datos es la disciplina de hacer que los datos sean útiles.

No hay ninguna duda de que esta década ha comprado mucha innovación en la Inteligencia Artificial. Además de la Inteligencia Artificial, estamos siendo testigos de un gran aumento en los datos generados por miles de fuentes. El hecho de que millones de dispositivos sean responsables de este enorme pico de datos nos lleva al tema de su utilización inteligente.

El dominio de la Ciencia de Datos trae consigo una variedad de herramientas científicas, procesos, algoritmos y sistemas de extracción de conocimiento de datos estructurados y no estructurados por igual, para identificar patrones significativos en ella.

La Ciencia de Datos también beneficia a la minería de datos y al big data. Creciendo en popularidad desde el año 2001, la Ciencia de Datos ha estado evolucionando desde entonces y está clasificada como una de las trayectorias profesionales más emocionantes de todos los tiempos.

Hacia los informes de Ciencia de Datos:
  • Actualmente, la producción diaria de datos es de más de 2,5 quintillones de bytes.
  • En un futuro próximo, "1,7 Mb de datos se crearán cada segundo para cada persona en el planeta".
  • Una amplia variedad de funciones de Ciencia de Datos impulsará estas cargas masivas de datos.
Popularidad de la búsqueda en Google de "Ciencia de Datos" en los últimos 5 años. Generado por Google Trends.



Tendencias en Ciencia de Datos

Con la diversidad de problemas y requisitos de datos, viene una amplia gama de soluciones innovadoras. Estas soluciones a menudo traen consigo una gran cantidad de tendencias de ciencia de datos, lo que otorga a las empresas la agilidad que necesitan y les ofrece una visión más profunda de sus datos. A continuación se explican brevemente algunas de estas principales tendencias de ciencia de datos:


1. Análisis de Gráficos

Con los datos fluyendo en todas las direcciones, se hace más difícil analizar.

Graph Analytics pretende resolver este problema actuando como una herramienta flexible pero poderosa que analiza complicados puntos de datos y relaciones usando gráficos. La intención detrás del uso de los gráficos es representar los datos complejos de forma abstracta y en un formato visual que sea más fácil de digerir y que ofrezca la máxima comprensión. El análisis de gráficos se aplica en una plétora de áreas como:

  • Filtrar los bots en redes sociales para reducir la información falsa
  • Identificación de fraudes en el sector bancario
  • Prevención de delitos financieros
  • Análisis de redes de energía y agua para encontrar defectos


2. Tejido de datos

El Data Fabric es una tendencia relativamente nueva y, en su núcleo, encapsula los datos de una organización recogidos de un gran número de fuentes como APIs, servicios de datos reutilizables, pipelines, niveles semánticos, proporcionando un acceso transformable a los datos.

Creados para ayudar al contexto empresarial de los datos y mantener los datos de forma inteligible no sólo para los usuarios sino también para las aplicaciones, los Data Fabrics permiten disponer de datos escalables y, al mismo tiempo, ser ágiles.

Al hacerlo, usted obtiene un acceso sin precedentes para procesar, administrar, almacenar y compartir los datos según sea necesario. La Inteligencia de Negocios y la Ciencia de Datos depende en gran medida de los Tejidos de Datos debido a su acceso suave y limpio a enormes cantidades de datos.


3. Privacidad de datos por diseño

La tendencia de la privacidad de los datos por diseño incorpora un enfoque más seguro y proactivo de la recopilación y el manejo de los datos de los usuarios, al mismo tiempo que capacita al modelo de aprendizaje de máquina en ello.

Las corporaciones necesitan los datos del usuario para entrenar sus modelos en escenarios del mundo real, y recogen datos de varias fuentes como patrones de navegación y dispositivos.

La idea detrás del Aprendizaje Federado es recolectar la menor cantidad de datos posible, manteniendo al usuario al tanto, dándole también la opción de optar por no participar y borrar todos los datos recolectados en cualquier momento.

Si bien los datos pueden provenir de un público enorme, por razones de privacidad, debe garantizarse que no es posible realizar ingeniería inversa de los datos originales para identificar al usuario.


4. Analítica Aumentada

La Analítica Aumentada se refiere a la obtención de mejores conocimientos a partir de los datos en mano, excluyendo cualquier conclusión incorrecta o sesgo para la optimización de las decisiones. Al combinar la Inteligencia Artificial y el Aprendizaje Automático, la Analítica Aumentada ayuda a los usuarios a planificar un nuevo modelo.

Con una menor dependencia de los científicos de datos y los expertos en aprendizaje automático, la Analítica Aumentada tiene como objetivo proporcionar una comprensión relativamente mejor de los datos para ayudar a todo el proceso de Inteligencia Empresarial.

Esta sutil introducción de la Inteligencia Artificial y el Aprendizaje Automático tiene un impacto significativo en el proceso tradicional de descubrimiento de conocimientos al automatizar muchos aspectos de la ciencia de datos. La Analítica Aumentada está ganando una fortaleza en la provisión de mejores decisiones libres de cualquier error y sesgo en el análisis.


5. Python como el lenguaje de facto de la ciencia de datos


Foto de Hitesh Choudhary en Unsplash


Python es un lenguaje de programación absolutamente polifacético y se considera un punto de entrada válido si estás interesado en entrar en el mundo de la Inteligencia Artificial y la Ciencia de Datos.

Con una comunidad online de apoyo, puedes obtener soporte casi instantáneamente, y las integraciones en Python son sólo la punta del iceberg.

El placer de programar en Python debería ser ver clases cortas, concisas y legibles que expresen mucha acción en una pequeña cantidad de código claro - no en montones de código trivial que aburre al lector hasta la muerte.
- Guido van Rossum

Python viene apilado con integraciones para numerosos lenguajes de programación y bibliotecas, lo que lo convierte en una excelente opción para, digamos, saltar a la creación de un prototipo rápido para el problema en cuestión o profundizar en grandes conjuntos de datos.

Algunas de sus bibliotecas más populares son...
  • TensorFlow, para cargas de trabajo de aprendizaje automático y trabajo con conjuntos de datos
  • Scikit-learn, para la formación de modelos de aprendizaje de máquinas
  • PyTorch, para visión por computadora y procesamiento de lenguaje natural
  • Keras, como interfaz de código para cálculos y operaciones matemáticas altamente complejas
  • SparkMLlib, como la biblioteca de aprendizaje de máquinas de Apache Spark, haciendo el aprendizaje de máquinas fácil para todos con herramientas como algoritmos y utilidades

6. Automatización generalizada en ciencia de datos


El tiempo es un componente crítico, y nada de él debe ser gastado en la realización de tareas repetitivas.

A medida que la inteligencia artificial avanzaba, sus capacidades de automatización se expandieron también. Varias innovaciones en la automatización están facilitando muchas tareas complejas de la Inteligencia Artificial.

La automatización en el campo de Ciencia de Datos ya está simplificando gran parte del proceso, si no todo. El proceso completo de Ciencia de Datos incluye la identificación del problema, la recolección de datos, el procesamiento, la exploración, el análisis y el compartir la información procesada con otros.


7. Análisis Conversacional y Procesamiento del Lenguaje Natural

El Procesamiento del Lenguaje Natural y la Analítica Conversacional ya están haciendo grandes olas en el mundo digital al simplificar la forma en que interactuamos con las máquinas y buscamos información en línea.

El NLP nos ha ayudado enormemente a progresar hacia una era en la que las computadoras y los humanos pueden comunicarse en un lenguaje natural común, permitiendo una constante y fluida conversación entre ambos.

Las aplicaciones de NLP y los sistemas de conversación se pueden ver en todas partes, como los robots de chat y los asistentes digitales inteligentes. Se ha predicho que el uso de las búsquedas basadas en la voz superará en muy poco tiempo a las búsquedas basadas en texto, que son las más utilizadas.


8. La ciencia de datos de gran tamaño en la nube

El inicio de la Inteligencia Artificial y la cantidad de datos generados a partir de ella se ha disparado desde entonces. El tamaño de los datos creció enormemente de unos pocos gigabytes a unos pocos cientos, a medida que las empresas aumentaban su presencia en línea.

Este aumento en la necesidad de almacenamiento y procesamiento de datos dio lugar a la Ciencia de Datos para una utilización controlada y precisa de los datos y empujó a las organizaciones que trabajan a escala mundial a optar por soluciones de nube.

Varios proveedores de soluciones en la nube, como Google, Amazon y Microsoft, ofrecen amplias opciones de computación en la nube que incluyen capacidades de servidor en la nube de nivel empresarial que garantizan una alta escalabilidad y cero tiempo de inactividad.


9. Mitigar los sesgos y la discriminación de los modelos

Ningún modelo es totalmente inmune a los sesgos, y pueden comenzar a exhibir un comportamiento discriminatorio en cualquier etapa debido a factores como la falta de datos suficientes, el sesgo histórico y las prácticas incorrectas de recolección de datos. El sesgo y la discriminación es un problema común de los modelos y es una tendencia emergente. Si se detectan a tiempo, estos sesgos pueden mitigarse en tres etapas:

  • Etapa de preprocesamiento
  • En la etapa de procesamiento
  • Etapa de post-procesamiento

Cada etapa viene con su propio conjunto de aspectos correctivos, incluyendo algoritmos y técnicas para optimizar el modelo para la equidad, y para aumentar su precisión para eliminar cualquier posibilidad de sesgo.


10. Computación en memoria


La computación en memoria es una tendencia emergente que es muy diferente a la forma en que tradicionalmente procesamos los datos.

La computación en memoria procesa los datos almacenados en una base de datos en memoria, a diferencia de los métodos tradicionales que utilizan discos duros y bases de datos relacionales con un lenguaje de consulta. Esta técnica permite procesar y consultar datos en tiempo real para la toma de decisiones y la elaboración de informes de forma instantánea.

Al abaratarse la memoria y al depender las empresas de los resultados en tiempo real, la computación en memoria les permite tener aplicaciones con tableros más ricos e interactivos a los que se pueden suministrar datos más recientes y estar listos para la presentación de informes casi instantáneamente.


11. Blockchain en datos y análisis

Blockchain, en términos más sencillos, es una colección de datos inmutables con sello de tiempo administrada por un grupo de computadoras, y no por una sola entidad. La cadena aquí se refiere a la conexión entre cada uno de estos bloques, unidos entre sí mediante algoritmos criptográficos.

Transformando gradualmente similar a la Ciencia de Datos, la blockchain es crucial para mantener y validar los registros mientras que la Ciencia de Datos trabaja en la parte de recolección y extracción de información de los datos. La Ciencia de Datos y Blockchain están relacionadas ya que ambas utilizan algoritmos para gobernar varios segmentos de su procesamiento.

Conclusión


A medida que las empresas empiezan a crecer, generan más datos, y la Ciencia de Datos puede ayudarles a analizar sus áreas de mejora. Con varias de las notables tendencias de Ciencia de Datos mencionadas anteriormente, algunos han comenzado a considerar la Ciencia de Datos como el cuarto paradigma de la ciencia junto a la Empírica, Teórica, Computacional. Mantenerse al día con las nuevas tendencias es una necesidad absoluta para que las empresas logren la máxima eficiencia y se mantengan a la vanguardia de la competencia.

Related Posts

Métricas De Evaluación De Modelos En El Aprendizaje Automático

Categories

Data Science Machine Learning Deep learning Flask Deployment Big Data Business Python SQL Programming Libraries Jupyter Numpy News Pandas Matplotlib Visualization Datathons

Join Competition

[Phase 2] - VN1 Forecasting - Accuracy Challenge

Code the Light Fantastic- Level 2

Most Related Articles

Data Science
Machine Learning
Métricas De Evaluación De Modelos En El Aprendizaje Automático

CréditosLos modelos predictivos se han convertido en un asesor de confianza para muchas empresas y por una buena razón. Estos modelos pueden "prever el futuro", y hay muchos métodos diferentes disponibles, lo que significa que cualquier industria puede encontrar uno que se ajuste a sus retos particulares.Cuando hablamos de modelos predictivos, nos referimos a un modelo de regresión (salida continua) o a un modelo de clasificación (salida nominal o binaria). En los problemas de clasificación, utilizamos dos tipos de algoritmos (dependiendo del tipo de salida que este crea):Salida de clase: Algoritmos como Support Vector Machine y K Nearest Neighbors crean una salida de clase. Por ejemplo, en un problema de clasificación binaria, las salidas serán 0 o 1. Sin embargo, hoy en día tenemos algoritmos que pueden convertir estas salidas de clase en probabilidad.Salida de probabilidad: Algoritmos como la Regresión Logística, el Bosque Aleatorio, potenciación del Gradiente, el Adaboost, etc. dan salidas de probabilidad. Convertir las salidas de probabilidad en salidas de clase es sólo cuestión de crear un umbral de probabilidadPuedes leer más artículos de Data Science en español aquí Lea también:Tipos Claves De Regresiones: ¿Cuál Usar?IntroducciónSi bien la preparación de los datos y el entrenamiento de un modelo de aprendizaje de máquina es un paso clave en el proceso de aprendizaje automático, es igualmente importante medir el rendimiento de este modelo entrenado. Lo bien que el modelo generaliza sobre los datos no vistos es lo que define los modelos de aprendizaje automático adaptables frente a los no adaptables.Al utilizar diferentes métricas para la evaluación del rendimiento, deberíamos estar en posición de mejorar el poder de predicción general de nuestro modelo antes de que lo pongamos en marcha para la producción sobre datos no vistos antes.Si no se realiza una evaluación adecuada del modelo aprendizaje automático utilizando diferentes métricas, y se usa sólo la precisión, puede darse un problema cuando el modelo respectivo se despliega sobre datos no vistos y puede dar lugar a malas predicciones.Esto sucede porque, en casos como éste, nuestros modelos no aprenden sino que memorizan; por lo tanto, no pueden generalizar bien sobre datos no vistos.Métricas de evaluación del modeloDefinamos ahora las métricas de evaluación para valorar el rendimiento de un modelo de aprendizaje automático, que es un componente integral de cualquier proyecto de ciencia de los datos. Su objetivo es estimar la precisión de la generalización de un modelo sobre los datos futuros (no vistos/fuera de muestra).Matriz de confusiónUna matriz de confusión es una representación matricial de los resultados de las predicciones de cualquier prueba binaria que se utiliza a menudo para describir el rendimiento del modelo de clasificación (o "clasificador") sobre un conjunto de datos de prueba cuyos valores reales se conocen.La matriz de confusión es relativamente sencilla de comprender, pero la terminología relacionada puede ser confusa.Matriz de confusión con 2 etiquetas de clase.Cada predicción puede ser uno de cuatro resultados, basado en cómo coincide con el valor real:Verdadero Positivo (TP): Predicho Verdadero y Verdadero en realidad.Verdadero Negativo (TN): Predicho Falso y Falso en realidad.Falso Positivo (FP): Predicción de verdadero y falso en la realidad.Falso Negativo (FN): Predicción de falso y verdadero en la realidad.Ahora entendamos este concepto usando la prueba de hipótesis.Lea también:Falsos Positivos Vs. Falsos Negativos Una hipótesis es una especulación o teoría basada en pruebas insuficientes que se presta a más pruebas y experimentación. Con más pruebas, una hipótesis puede ser probada como verdadera o falsa.Una Hipótesis Nula es una hipótesis que dice que no hay significancia estadística entre las dos variables de la hipótesis. Es la hipótesis que el investigador está tratando de refutar.Siempre rechazamos la hipótesis nula cuando es falsa, y aceptamos la hipótesis nula cuando es realmente verdadera.Aunque las pruebas de hipótesis se supone que son fiables, hay dos tipos de errores que pueden ocurrir.Estos errores se conocen como errores de Tipo I y Tipo II.Por ejemplo, cuando se examina la eficacia de una droga, la hipótesis nula sería que la droga no afecta a una enfermedad.Error de Tipo I: equivalente a los Falsos Positivos(FP).El primer tipo de error posible implica el rechazo de una hipótesis nula que es verdadera.Volvamos al ejemplo de una droga que se utiliza para tratar una enfermedad. Si rechazamos la hipótesis nula en esta situación, entonces afirmamos que la droga tiene algún efecto sobre una enfermedad. Pero si la hipótesis nula es cierta, entonces, en realidad, la droga no combate la enfermedad en absoluto. Se afirma falsamente que la droga tiene un efecto positivo en una enfermedad.Error de tipo II:- equivalente a Falsos Negativos(FN).El otro tipo de error que ocurre cuando aceptamos una hipótesis falsa nula. Este tipo de error se llama error de tipo II y también se conoce como error de segundo tipo.Si pensamos de nuevo en el escenario en el que estamos probando una droga, ¿cómo sería un error de tipo II? Un error de tipo II ocurriría si aceptáramos que la droga no tiene efecto sobre la enfermedad, pero en realidad, sí lo tiene.Un ejemplo de la implementación Python de la matriz de confusión.Puedes leer más artículos de Data Science en español aquí import warningsimport pandas as pdfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import confusion_matriximport matplotlib.pyplot as plt%matplotlib inline  #ignore warningswarnings.filterwarnings('ignore')# Load digits dataseturl = "http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"df = pd.read_csv(url)# df = df.valuesX = df.iloc[:,0:4]y = df.iloc[:,4]#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#Split data into train and test set. X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#Train Modelmodel = LogisticRegression()model.fit(X_train, y_train)pred = model.predict(X_test)#Construct the Confusion Matrixlabels = ['Iris-setosa', 'Iris-versicolor', 'Iris-virginica']cm = confusion_matrix(y_test, pred, labels)print(cm)fig = plt.figure()ax = fig.add_subplot(111)cax = ax.matshow(cm)plt.title('Confusion matrix')fig.colorbar(cax)ax.set_xticklabels([''] + labels)ax.set_yticklabels([''] + labels)plt.xlabel('Predicted Values')plt.ylabel('Actual Values')plt.show()Matriz de confusión con 3 etiquetas de clase.Los elementos diagonales representan el número de puntos para los cuales la etiqueta predicha es igual a la etiqueta verdadera, mientras que cualquier cosa fuera de la diagonal fue mal etiquetada por el clasificador. Por lo tanto, cuanto más altos sean los valores diagonales de la matriz de confusión, mejor, indicando muchas predicciones correctas.En nuestro caso, el clasificador predijo perfectamente las 13 plantas de setosa y 18 de virginica en los datos de prueba. Sin embargo, clasificó incorrectamente 4 de las plantas versicolor como virginica.También hay una lista de tasas que a menudo se calculan a partir de una matriz de confusión para un clasificador binario:1. ExactitudEn general, ¿con qué frecuencia es correcto el clasificador?Exactitud = (TP+TN)/totalCuando nuestras clases son aproximadamente iguales en tamaño, podemos usar la precisión, que nos dará valores clasificados correctamente.La precisión es una métrica de evaluación común para los problemas de clasificación. Es el número de predicciones correctas hechas como una proporción de todas las predicciones hechas.Tasa de clasificación errónea (Tasa de error): En general, con qué frecuencia se equivoca. Dado que la exactitud es el porcentaje que clasificamos correctamente (tasa de éxito), se deduce que nuestra tasa de error (el porcentaje en que nos equivocamos) puede calcularse de la siguiente manera:Tasa de clasificación errónea = (FP+FN)/total#import modulesimport warningsimport pandas as pdimport numpy as npfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn import datasetsfrom sklearn.metrics import accuracy_score#ignore warningswarnings.filterwarnings('ignore')# Load digits datasetiris = datasets.load_iris()# # Create feature matrixX = iris.data# Create target vectory = iris.target#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#cross-validation settingskfold = model_selection.KFold(n_splits=10, random_state=seed)#Model instancemodel = LogisticRegression()#Evaluate model performancescoring = 'accuracy'results = model_selection.cross_val_score(model, X, y, cv=kfold, scoring=scoring)print('Accuracy -val set: %.2f%% (%.2f)' % (results.mean()*100, results.std()))#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#fit modelmodel.fit(X_train, y_train)#accuracy on test setresult = model.score(X_test, y_test)print("Accuracy - test set: %.2f%%" % (result*100.0))La precisión de la clasificación es del 88% en el conjunto de validación.2. PrecisiónCuando predice sí, ¿con qué frecuencia es correcto?Precisión=TP/predicciones síCuando tenemos un desequilibrio de clase, la precisión puede convertirse en una métrica poco fiable para medir nuestro desempeño. Por ejemplo, si tuviéramos una división de 99/1 entre dos clases, A y B, donde el evento raro, B, es nuestra clase positiva, podríamos construir un modelo que fuera 99% exacto con sólo decir que todo pertenece a la clase A. Claramente, no deberíamos molestarnos en construir un modelo si no hace nada para identificar la clase B; por lo tanto, necesitamos diferentes métricas que desalienten este comportamiento. Para ello, utilizamos la precisión y la sensibilidad en lugar de la exactitud.Puedes leer más artículos de Data Science en español aquí 3. ExhaustividadCuando en realidad es un sí, ¿con qué frecuencia predice un sí?Tasa positiva verdadera = TP/Si realesLa Exhaustividad nos da la tasa positiva verdadera (TPR), que es la proporción de los verdaderos positivos a todo lo positivo.En el caso de la división 99/1 entre las clases A y B, el modelo que clasifica todo como A tendría una exhaustividad del 0% para la clase positiva, B (la precisión sería indefinida - 0/0). La exhaustividad  proporciona una mejor manera de evaluar el rendimiento del modelo ante un desequilibrio de clases. Nos dirá correctamente que el modelo tiene poco valor para nuestro caso de uso.Al igual que la exactitud, tanto la precisión como la exhaustividad son fáciles de calcular y comprender, pero requieren umbrales. Además, la precisión y la exhaustividad sólo consideran la mitad de la matriz de confusión:4. Puntuación F1La puntuación F1 es la media armónica de la precisión y exhaustividad, donde la puntuación de la F1 alcanza su mejor valor en 1 (precisión y exhaustividad perfectas) y el peor en 0.¿Por qué la media armónica? Dado que la media armónica de una lista de números se inclina fuertemente hacia últimos elementos de la lista, tiende (en comparación con la media aritmética) a mitigar el impacto de los grandes valores atípicos y a agravar el impacto de los pequeños.Una puntuación F1 castiga más los valores extremos. Idealmente, un puntaje F1 podría ser una métrica de evaluación efectiva en los siguientes escenarios de clasificación:Cuando los Falsos Positivos  y la Falsos Negativos son igualmente costosos - lo que significa que se pasan verdaderos positivos o se encuentran falsos positivos - ambos impactan el modelo casi de la misma manera, como en nuestro ejemplo de clasificación de detección de cáncerAñadir más datos no cambia el resultado de manera efectivaLa TN es alta (como en las predicciones de inundaciones, predicciones de cáncer, etc.)Un ejemplo de implementación en Python de la puntuación F1.import warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_lossfrom sklearn.metrics import precision_recall_fscore_support as score, precision_score, recall_score, f1_scorewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]test_size = 0.33seed = 7model = LogisticRegression()#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)precision = precision_score(y_test, pred)print('Precision: %f' % precision)# recall: tp / (tp + fn)recall = recall_score(y_test, pred)print('Recall: %f' % recall)# f1: tp / (tp + fp + fn)f1 = f1_score(y_test, pred)print('F1 score: %f' % f1)Puedes leer más artículos de Data Science en español aquí 5. EspecificidadCuando es no, ¿con qué frecuencia predice el no?Tasa negativa real = TN/no realEs la verdadera tasa negativa o la proporción de verdaderos negativos a todo lo que debería haber sido clasificado como negativo.Obsérvese que, en conjunto, la especificidad y la sensibilidad consideran la matriz de confusión completa:6. Curva de características operativas del receptor (ROC)Medir el área bajo la curva ROC es también un método muy útil para evaluar un modelo. Al trazar la tasa positiva verdadera (sensibilidad) frente a la tasa de falsos positivos (1 - especificidad), obtenemos la curva de Característica Operativa del Receptor (ROC). Esta curva nos permite visualizar el equilibrio entre la tasa de verdaderos positivos y la tasa falsos positivosLos siguientes son ejemplos de buenas curvas ROC. La línea discontinua sería una suposición aleatoria (sin valor predictivo) y se utiliza como línea de base; cualquier cosa por debajo de eso se considera peor que una suposición. Queremos estar hacia la esquina superior izquierda:Una ejemplo de implementación en Python de las curvas ROC#Classification Area under curveimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import roc_auc_score, roc_curvewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)# predict probabilitiesprobs = model.predict_proba(X_test)# keep probabilities for the positive outcome onlyprobs = probs[:, 1]auc = roc_auc_score(y_test, probs)print('AUC - Test Set: %.2f%%' % (auc*100))# calculate roc curvefpr, tpr, thresholds = roc_curve(y_test, probs)# plot no skillplt.plot([0, 1], [0, 1], linestyle='--')# plot the roc curve for the modelplt.plot(fpr, tpr, marker='.')plt.xlabel('False positive rate')plt.ylabel('Sensitivity/ Recall')# show the plotplt.show()En el ejemplo anterior, la AUC está relativamente cerca de 1 y es mayor de 0,5. Un clasificador perfecto hará que la curva ROC vaya a lo largo del eje Y y luego a lo largo del eje X.7. Pérdida logarítmicaLa pérdida logarítmica es la métrica de clasificación más importante basada en probabilidades.A medida que la probabilidad predicha de la clase verdadera se acerca a cero, la pérdida aumenta exponencialmente:Mide el desempeño de un modelo de clasificación en el que la entrada de la predicción es un valor de probabilidad entre 0 y 1. La pérdida logarítmica aumenta a medida que la probabilidad predicha se aleja de la etiqueta real. El objetivo de cualquier modelo de aprendizaje automático es minimizar este valor. Por lo tanto, una pérdida logarítmica menor es mejor, con un modelo perfecto teniendo una pérdida logarítmica de 0.Una muestra de la implementación en Python de la pérdida logarítmica#Classification LogLossimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_losswarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)#predict and compute loglosspred = model.predict(X_test)accuracy = log_loss(y_test, pred)print("Logloss: %.2f" % (accuracy))Logloss: 8.02Puedes leer más artículos de Data Science en español aquí 8. Índice JaccardEl índice Jaccard es una de las formas más simples de calcular y averiguar la exactitud de un modelo de clasificación de aprendizaje automático. Entendamoslo con un ejemplo. Supongamos que tenemos un conjunto de pruebas etiquetadas, con etiquetas como -y = [0,0,0,0,0,1,1,1,1,1]Y nuestro modelo ha predicho las etiquetas como…y1 = [1,1,0,0,0,1,1,1,1,1]El anterior diagrama de Venn nos muestra las etiquetas del conjunto de pruebas y las etiquetas de las predicciones, y su intersección y unión.El índice Jaccard o coeficiente de similitud Jaccard es una estadística utilizada para comprender las similitudes entre los conjuntos de muestras. La medición enfatiza la similitud entre conjuntos de muestras finitas y se define formalmente como el tamaño de la intersección dividido por el tamaño de la unión de los dos conjuntos etiquetados, con la fórmula como -Índice Jaccard o Intersección sobre Unión(IoU)Así, para nuestro ejemplo, podemos ver que la intersección de los dos conjuntos es igual a 8 (ya que ocho valores se predicen correctamente) y la unión es 10 + 10-8 = 12. Por lo tanto, el índice Jaccard nos da la precisión como -Así que la precisión de nuestro modelo, según el índice Jaccard, se convierte en 0.66, o 66%.Cuanto mayor sea el índice Jaccard, mayor será la precisión del clasificador.Una muestra de implementación en Python del índice Jaccard.import numpy as npdef compute_jaccard_similarity_score(x, y):    intersection_cardinality = len(set(x).intersection(set(y)))    union_cardinality = len(set(x).union(set(y)))    return intersection_cardinality / float(union_cardinality)score = compute_jaccard_similarity_score(np.array([0, 1, 2, 5, 6]), np.array([0, 2, 3, 5, 7, 9]))print "Jaccard Similarity Score : %s" %scorepassPuntaje de similitud Jaccard: 0.3759. Gráfico de Kolmogorov SmirnovEl gráfico K-S o Kolmogorov-Smirnov mide el rendimiento de los modelos de clasificación. Más exactamente, K-S es una medida del grado de separación entre las distribuciones positivas y negativas.La frecuencia acumulativa de las distribuciones observadas y de las hipótesis se traza en relación con las frecuencias ordenadas. La doble flecha vertical indica la máxima diferencia vertical.La K-S es 100 si las puntuaciones dividen la población en dos grupos separados en los que un grupo contiene todos los positivos y el otro todos los negativos. Por otra parte, si el modelo no puede diferenciar entre los positivos y los negativos, entonces es como si el modelo seleccionara casos al azar de la población. El K-S sería 0.En la mayoría de los modelos de clasificación la K-S caerá entre 0 y 100, y cuanto más alto sea el valor mejor será el modelo para separar los casos positivos de los negativos.La K-S también puede utilizarse para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. Es una forma muy eficiente de determinar si dos muestras son significativamente diferentes entre sí.Un ejemplo de la implementación en Python  del Kolmogorov-Smirnov.from scipy.stats import kstest import random   # N = int(input("Enter number of random numbers: ")) N = 10  actual =[] print("Enter outcomes: ")   for i in range(N):     # x = float(input("Outcomes of class "+str(i + 1)+": "))     actual.append(random.random())   print(actual) x = kstest(actual, "norm")    print(x)La hipótesis nula utilizada aquí asume que los números siguen la distribución normal. Devuelve estadísticas y valor p. Si el valor p es < alfa, rechazamos la hipótesis Nula.Alfa se define como la probabilidad de rechazar la hipótesis nula dado que la hipótesis nula(H0) es verdadera. Para la mayoría de las aplicaciones prácticas, se elige alfa como 0,05.Puedes leer más artículos de Data Science en español aquí 10. Gráfico de ganancia y elevaciónLa ganancia o el levantamiento es una medida de la eficacia de un modelo de clasificación calculado como la relación entre los resultados obtenidos con y sin el modelo. Los gráficos de ganancia y elevación son ayudas visuales para evaluar el rendimiento de los modelos de clasificación. Sin embargo, en contraste con la matriz de confusión que evalúa los modelos en toda la población, el gráfico de ganancia o elevación evalúa el rendimiento del modelo en una porción de la población.Cuanto mayor sea la elevación (es decir, cuanto más lejos esté de la línea de base), mejor será el modelo.El siguiente gráfico de ganancias, ejecutado en un conjunto de validación, muestra que con el 50% de los datos, el modelo contiene el 90% de los objetivos, la adición de más datos añade un aumento insignificante en el porcentaje de objetivos incluidos en el modelo.Gráfico de ganancia/elevaciónLos gráficos de elevación suelen presentarse como un gráfico de ascenso acumulativo, que también se conoce como gráfico de ganancias. Por lo tanto, los gráficos de ganancias a veces se denominan (quizás de forma confusa) "gráficos de elevación", pero son más exactos como gráficos de ascenso acumulativo.Uno de sus usos más comunes es en el marketing, para decidir si vale la pena llamar a un posible cliente.11. Coeficiente de GiniEl coeficiente de Gini o Índice de Gini es una métrica popular para los valores de clase desequilibrados. El coeficiente oscila entre 0 y 1, donde 0 representa la igualdad perfecta y 1 la desigualdad perfecta. Aquí, si el valor de un índice es mayor, entonces los datos estarán más dispersos.El coeficiente de Gini puede calcularse a partir del área bajo la curva ROC usando la siguiente fórmula:Coeficiente de Gini = (2 * curva_ROC) - 1Puedes leer más artículos de Data Science en español aquí ConclusiónComprender lo bien que un modelo de aprendizaje automático va a funcionar con datos no vistos es el propósito final de trabajar con estas métricas de evaluación. Métricas como la exactitud, la precisión, la exhaustividad son buenas formas de evaluar los modelos de clasificación para conjuntos de datos equilibrados, pero si los datos están desequilibrados y hay una disparidad de clases, entonces otros métodos como el ROC/AUC, el coeficiente de Gini funcionan mejor en la evaluación del rendimiento del modelo.Bueno, esto concluye este artículo. Espero que hayan disfrutado de su lectura, no duden en compartir sus comentarios/pensamientos/opiniones en la sección de comentarios.Gracias por leerlo!!!

Join our private community in Discord

Keep up to date by participating in our global community of data scientists and AI enthusiasts. We discuss the latest developments in data science competitions, new techniques for solving complex challenges, AI and machine learning models, and much more!

Join our Discord