¿Como Diseñan las Aplicaciones de Machine Learning Las Empresas Mas Grandes Del Mundo?

Daniel Bourke
May 07, 2021

Contents Outline

¿Como Diseñan las Aplicaciones de Machine Learning Las Empresas Mas Grandes Del Mundo?

May 07, 2021 12 minutes read

A menudo me preguntan "¿en qué tipo de proyecto de aprendizaje automático debería trabajar?".

Y suelo responder con "sigue tu curiosidad".

¿Por qué?

Porque, debido a lo experimental que es el aprendizaje automático, lo mejor es que descubras las cosas jugueteando. Probando cosas que podrían no funcionar.

Sin embargo, los proyectos de aprendizaje automático ya no son obras de magia. El dispositivo en el que estás leyendo esto probablemente utiliza el aprendizaje automático de varias maneras diferentes de las que no eres consciente (ver el aprendizaje automático implícito de Apple más abajo).

Dicho esto, este número de ML Monthly (edición de abril de 2021) recoge diferentes mejores prácticas de diseño de empresas que utilizan el aprendizaje automático a escala mundial.

Y después de leerlas, empezarás a notar que hay muchas coincidencias en cómo se hacen las cosas. Esto es algo bueno. Porque los solapamientos son lo que puedes utilizar para tus propios proyectos.

A medida que los modelos y el código de aprendizaje automático se vuelven más y más reproducibles, notarás un tema general aquí: el aprendizaje automático es un problema de infraestructura.

Lo cual es algo que ya sabías desde el principio: "¿cómo puedo llevar los datos de un lugar a otro de la forma más rápida y eficiente posible?".

Si estás pensando en trabajar en tus propios proyectos de aprendizaje automático, lee cada una de las directrices que aparecen a continuación y prueba los materiales de la sección bonus, pero recuerda que ninguno de ellos sustituirá los conocimientos que adquieras experimentando tú mismo (directrices, schmuidelines).

Nota: He utilizado los términos aprendizaje automático e inteligencia artificial (IA) indistintamente a lo largo de este artículo. Puedes leer "sistema de aprendizaje automático" como "sistema de IA" y viceversa.

Directrices de la interfaz humana de Apple para el aprendizaje automático


Estoy escribiendo estas líneas en un MacBook de Apple en una biblioteca donde puedo ver al menos otros 6 logotipos de Apple. Esta mañana he visto a dos personas delante de mí pagar su café con sus iPhones.

Los dispositivos de Apple están por todas partes.

Y todos ellos utilizan el aprendizaje automático de muchas maneras diferentes, para mejorar las fotos, para preservar la vida de la batería, para permitir las búsquedas de voz con Siri, para sugerir palabras para escribir rápidamente.

Las directrices de interfaz humana de Apple para el aprendizaje automático comparten cómo piensan y cómo animan a los desarrolladores a pensar en el uso del aprendizaje automático en sus aplicaciones.

Empiezan con dos preguntas de alto nivel y las desglosan a partir de ahí:
  1. ¿Cuál es el papel del aprendizaje automático en tu aplicación?
  2. ¿Cuáles son las entradas y salidas?

En cuanto a la función del aprendizaje automático en su aplicación, se preguntan si es fundamental (necesario) o complementario (agradable). ¿Es privado o público? ¿Es visible o invisible? ¿Es dinámico o estático?

Para las entradas y salidas (soy un gran fan de esta analogía porque es similar a las entradas y salidas de un modelo de ML) discuten lo que una persona pondrá en su sistema y lo que su sistema le mostrará.

¿Una persona le da al modelo una retroalimentación explícita? Es decir, ¿le dice a tu modelo si está bien o mal? ¿O el sistema recoge información implícita (información que no requiere que la persona haga ningún trabajo adicional, aparte de utilizar la aplicación)?



Questions to think about when asking what role machine learning plays in your app/feature. Source:https://developer.apple.com/design/human-interface-guidelines/machine-learning/overview/roles/

Investigación sobre las personas y la IA (PAIR) de Google


Los principios de diseño de Google para la IA pueden encontrarse en su guía People and AI Research (PAIR).

La guía PAIR también viene acompañada de un gran glosario con los diferentes términos de aprendizaje automático que encontrarás en este campo (hay muchos). Desglosa el diseño de un proyecto de IA en seis secciones.

Necesidades del usuario + Definición del éxito
  • ¿Dónde está la intersección entre lo que la IA es capaz de hacer y lo que la gente que utiliza su servicio necesita?
  • ¿Debe automatizar (eliminar una tarea dolorosa) o aumentar (mejorar) con la IA?
  • ¿Cuál es el resultado ideal?

Recogida y evaluación de datos
  • Convierta los requisitos de una persona en requisitos de datos (todo empieza con los datos)
  • ¿De dónde proceden los datos? (¿se obtienen de forma responsable?)
  • Construya, ajuste y afine su modelo (los buenos modelos comienzan con buenos datos)

Modelos mentales (establecimiento de expectativas)
  • ¿Qué cree una persona que su sistema de ML puede lograr?

Explicabilidad + confianza
  • Los sistemas de IA se basan en la probabilidad (y pueden dar resultados extraños), ¿cómo se puede explicar esto?
  • ¿Qué información debería saber una persona sobre cómo ha tomado una decisión un modelo de inteligencia artificial? (niveles de confianza, "le mostramos esto porque le gustó aquello...")

Retroalimentación y control
  • ¿Cómo puede una persona dar retroalimentación para ayudar a su sistema a mejorar?

Errores + Fracaso Gracioso
  • ¿Qué es un "error" y qué es un "fracaso"? (un coche autodirigido que se detiene en un semáforo en verde podría ser un error, pero saltarse un semáforo en rojo podría ser un fallo)
  • Los sistemas de ML no son perfectos y su sistema acabará fallando, ¿qué hacer cuando lo haga?

Cada sección viene con una hoja de trabajo para practicar lo que has aprendido.

Una tendencia que notarás después de repasar las directrices (especialmente PAIR) es la de establecer expectativas. Hay que ser muy franco con lo que el sistema es capaz de hacer. Si una persona espera que su sistema sea mágico (como a menudo se presenta el ML) pero no es consciente de sus limitaciones, puede quedar decepcionada.

Directrices de diseño de Microsoft para la interacción entre humanos e inteligencia artificial


Las directrices de diseño de Microsoft para la interacción entre humanos e inteligencia artificial abordan el problema en cuatro etapas:
  1. Inicialmente (¿qué debe saber una persona cuando utiliza su sistema por primera vez?)
  2. Durante la interacción (¿qué debería ocurrir mientras una persona utiliza su servicio?)
  3. Cuando se equivoca (¿qué ocurre cuando su sistema se equivoca?)
  4. Con el tiempo (¿cómo mejora su sistema con el tiempo?)

Verá que las directrices de Microsoft le llevan a ponerse en la piel de una persona que utiliza su sistema de ML. Y de nuevo vemos una tendencia.

Problema → Crear solución (ML o no) → Establecer expectativas → Permitir retroalimentación → Tener un mecanismo para cuando está mal → Mejorar con el tiempo (volver al principio).



Microsoft's guidelines for Human-AI interaction cards, starting with initial stages through to what to do as a person interacts with your machine learning system over time. Source: https://www.microsoft.com/en-us/research/project/guidelines-for-human-ai-interaction/

Guía de campo de Facebook para el aprendizaje automático


Mientras que los recursos anteriores han adoptado el enfoque de un sistema global de ML, la Field Guide to Machine Learning de Facebook se centra más en el aspecto de la modelización.

Su serie de vídeos divide un proyecto de modelado de aprendizaje automático en seis partes:
  • Definición del problema: ¿qué problema intentas resolver?
  • Datos: ¿de qué datos se dispone?
  • Evaluación: ¿qué define el éxito?
  • Características: ¿qué características de los datos se ajustan mejor a su medida del éxito?
  • Modelo: ¿qué modelo se adapta mejor al problema y a los datos que tiene?
  • Experimentación: ¿cómo se puede repetir y mejorar los pasos anteriores?

Pero a medida que el aspecto de la modelización en el aprendizaje automático se hace más accesible (gracias a los modelos preentrenados, las bases de código existentes, etc.), es importante tener en cuenta todas las demás partes del aprendizaje automático.



I used Facebook's Field Guide to Machine Learning as the outline of the Zero to Mastery Data Science and Machine Learning Course. You can also read an expanded version of these steps on my blog.

Los 3 principios de Spotify para diseñar productos con tecnología ML


¿Cómo se construye un servicio que proporciona música a 250 millones de usuarios en todo el mundo?

Empiezas por ser manual antes de ser mágico (principio 3) y haces continuamente las preguntas correctas (principio 2) para identificar dónde se encuentran las fricciones de los usuarios de tu servicio (principio 1).

La frase anterior es un juego de palabras de los tres principios de Spotify para diseñar productos basados en el aprendizaje automático.

Principio 1: Identificar la fricción y automatizarla

Cualquier punto en el que una persona tenga dificultades para alcanzar sus objetivos mientras utiliza tu servicio puede considerarse una fricción.

Imagina a una persona que busca música nueva en Spotify y no encuentra nada que se ajuste a sus gustos. Esto podría perjudicar la experiencia de alguien.

Spotify se dio cuenta de esto y utilizó sistemas de recomendación basados en el aprendizaje automático para crear Discover Weekly (lo que estoy escuchando actualmente), una lista de reproducción que se refresca con música nueva cada semana.

Y en mi caso, parece que deben haber seguido sus otros dos principios mientras la creaban, porque estas canciones que estoy escuchando son un éxito.

Principio 2: Haz las preguntas adecuadas

Pregunta. Preguntar. Preguntar. Si no lo sabes, puedes acabar diseñando un producto en la dirección equivocada.

Al igual que muchos de los otros pasos de las directrices anteriores te retan a pensar desde el punto de vista de la persona que utiliza tu servicio, este es el objetivo de hacer las preguntas correctas: averiguar qué problemas tienen tus clientes y ver si puedes resolverlos utilizando el aprendizaje automático.

Principio 3: Ir a lo manual antes de ir a lo mágico

¿Ha encontrado una fuente de fricción?

¿Puede resolverla sin el aprendizaje automático?

¿Qué tal si empiezas con una heurística (una idea de cómo deberían funcionar las cosas)?

Por ejemplo, si fueras Spotify e intentaras crear una lista de reproducción de música nueva que le interesara a alguien, ¿cómo clasificarías algo como nuevo?

Tu heurística de partida podría ser que cualquier cosa de más de 30 días no se clasificaría como nueva.

Después de probar múltiples heurísticas e hipótesis (un proceso manual), podrías volver a revisar si el aprendizaje automático podría ayudar o no. Y gracias a tus experimentos, lo harías desde un punto de vista muy bien informado.

Leer también: Construyendo Una Sistema de Recomendación de Productos Con Filtrado Colaborativo

Del big data al good data por Andrew Ng


Andrew Ng presentó una charla en la reciente conferencia de Scale sobre el movimiento de los sistemas de ML de los grandes datos a los buenos datos. Y Roboflow hizo un gran resumen de los puntos principales - todos los cuales hablan de las cosas que hemos discutido anteriormente.

Algunos de mis favoritos incluyen:
  • Llegar al despliegue es un punto de partida más que la línea de meta (cerrar la brecha de prueba de concepto y producción)
  • Del big data al good data (la tarea más importante de MLOps es garantizar datos de alta calidad en todas las fases del ciclo de vida del proyecto de ML y no todas las empresas tienen acceso al big data)
  • Congela tu código base e itera sobre tus datos (para muchos problemas el modelo es un problema resuelto, los datos son lo que se necesita)




Andrew Ng on the importance of thinking about good data as well as big data. Source: https://scale.com/events/transform/videos/big-data-to-good-data

Aprender más


Todo lo anterior son directrices sobre cómo pensar en la construcción de sistemas potenciados por Machine Learning. Pero no muestran las herramientas ni cómo hacerlo.

Los siguientes son recursos adicionales que recomendaría para llenar los vacíos dejados por los anteriores.

Escoge uno y lee/trabaja con todos los materiales/laboratorios mientras construyes tu propio proyecto de ML.

  • Engineering best practices for machine learning (Software Engineering 4 Machine Learning) - una guía completa sobre el desarrollo de sistemas de software con componentes de aprendizaje automático.
  • Machine Learning Engineering Book por Andriy Burkov - una tienda de una sola parada para muchas de las directrices y pasos discutidos anteriormente, tengo este libro en mi escritorio y lo uso como una referencia.
  • CS329s: Machine Learning System Design - un curso completo de Stanford que cubre todos los pasos que se dan en el diseño de un sistema de aprendizaje automático. Dirigido por Chip Huyen, con conferencias invitadas (incluida una de su servidor) de ingenieros de muchas empresas de aprendizaje automático.
  • Full Stack Deep Learning: el aprendizaje automático no se detiene una vez que se construye un modelo (y después de leer lo anterior, sabes que el modelo es una pequeña parte de todo el sistema). Full Stack Deep Learning introduce muchos de los pasos en torno a la construcción de modelos, como el almacenamiento de datos, la manipulación de datos, el versionado de datos (nótese el énfasis en los datos), el despliegue de modelos, así como diferentes herramientas para su implementación.
  • Plan de estudios Made with ML MLOps - MLOps = operaciones de aprendizaje automático. Made with ML MLOps está hecho por Goku Mohandas en estilo de aprendizaje, "así es como yo construiría un servicio impulsado por ML y cómo tú también puedes".
  • La extraordinaria entrada del blog de LJ Miranda sobre las habilidades de ingeniería de software para los científicos de datos : Si tuviera que escribir una entrada en el blog específicamente sobre cómo pasar de la construcción de modelos (en cuadernos) a la escritura de código completo, sería esta.

[Este post apareció originalmente en el número de abril de 2021 de Machine Learning Monthly, un boletín mensual que escribo con lo último y lo mejor (pero no siempre lo último) del campo del aprendizaje automático].

Related Posts

Métricas De Evaluación De Modelos En El Aprendizaje Automático

10 Preguntas Altamente Probables en Una Entrevista de Data Science

El impacto de la IA y la ciencia de datos en los desafíos de la industria moderna

Categories

Data Science Machine Learning Deep learning Flask Deployment Big Data Business Python SQL Programming Libraries Jupyter Numpy News Pandas Matplotlib Visualization Datathons

Join Competition

[Phase 2] - VN1 Forecasting - Accuracy Challenge

Credit Card Fraud Detection Challenge

Most Related Articles

Machine Learning
10 Preguntas Altamente Probables en Una Entrevista de Data Science

La popularidad de la ciencia de los datos atrae a muchas personas de una amplia gama de profesiones para hacer un cambio de carrera con el objetivo de convertirse en un científico de datos.A pesar de la gran demanda de científicos de datos, es una tarea muy difícil encontrar tu primer trabajo. A menos que tengas una sólida experiencia laboral previa, las entrevistas son el lugar donde puedes mostrar tus habilidades e impresionar a tu potencial empleador.La ciencia de los datos es un campo interdisciplinar que abarca una amplia gama de temas y conceptos. Por ello, el número de preguntas que te pueden hacer en una entrevista es muy elevado.Sin embargo, hay algunas preguntas sobre los fundamentos de la ciencia de los datos y el aprendizaje automático. Éstas son las que no debes perderte. En este artículo, repasaremos 10 preguntas que probablemente se hagan en una entrevista a un científico de datos.Las preguntas están agrupadas en 3 categorías principales que son aprendizaje automático, Python y SQL. Intentaré dar una breve respuesta a cada pregunta. Sin embargo, sugiero leer o estudiar cada una con más detalle después.Aprendizaje automático1. ¿Qué es el overfitting (sobreajuste)? El sobreajuste en el aprendizaje automático se produce cuando el modelo no está bien generalizado. El modelo se centra demasiado en el conjunto de entrenamiento. Capta muchos detalles o incluso ruido en el conjunto de entrenamiento. Por lo tanto, no logra captar la tendencia general o las relaciones en los datos. Si un modelo es demasiado complejo en comparación con los datos, probablemente estará sobreajustado.  Un buen indicador de sobreajuste es la gran diferencia entre la precisión de los conjuntos de entrenamiento y de prueba. Los modelos sobreajustados suelen tener una precisión muy alta en el conjunto de entrenamiento, pero la precisión de la prueba suele ser impredecible y mucho más baja que la de entrenamiento.  2. ¿Cómo se puede reducir el overfitting? Podemos reducir el sobreajuste haciendo que el modelo sea más generalizado, lo que significa que debe centrarse más en la tendencia general que en los detalles específicos.  Si es posible, recoger más datos es una forma eficaz de reducir el sobreajuste. Le darás más jugo al modelo para que tenga más material del que aprender. Los datos siempre son valiosos, especialmente para los modelos de aprendizaje automático.  Otro método para reducir la sobreadaptación es reducir la complejidad del modelo. Si un modelo es demasiado complejo para una tarea determinada, es probable que se produzca un sobreajuste. En estos casos, debemos buscar modelos más sencillos. 3. ¿Qué es la regularización? Hemos mencionado que la principal razón del sobreajuste es que un modelo sea más complejo de lo necesario. La regularización es un método para reducir la complejidad del modelo.  Lo hace penalizando los términos más altos del modelo. Con la adición de un término de regularización, el modelo intenta minimizar tanto la pérdida como la complejidad.  Los dos tipos principales de regularización son L1 y L2. La regularización L1 resta una pequeña cantidad de los pesos de las características no informativas en cada iteración. Así, hace que estos pesos se conviertan finalmente en cero.  Por otro lado, la regularización L2 elimina un pequeño porcentaje de los pesos en cada iteración. Estos pesos se acercarán a cero, pero nunca llegarán a ser 0.4. ¿Cuál es la diferencia entre clasificación y agrupación? Ambas son tareas de aprendizaje automático. La clasificación es una tarea de aprendizaje supervisado, por lo que tenemos observaciones etiquetadas (es decir, puntos de datos). Entrenamos un modelo con datos etiquetados y esperamos que prediga las etiquetas de los nuevos datos.  Por ejemplo, la detección de correos electrónicos no deseados es una tarea de clasificación. Proporcionamos un modelo con varios correos electrónicos marcados como spam o no spam. Una vez entrenado el modelo con esos correos, evaluará los nuevos correos de forma adecuada.  La agrupación es una tarea de aprendizaje no supervisada, por lo que las observaciones no tienen etiquetas. Se espera que el modelo evalúe las observaciones y las agrupe en clusters. Las observaciones similares se colocan en el mismo clúster.  En el caso óptimo, las observaciones del mismo clúster están lo más cerca posible unas de otras y los diferentes clústeres están lo más separados posible. Un ejemplo de tarea de clustering sería agrupar a los clientes en función de su comportamiento de compra.    Python  Las estructuras de datos incorporadas son de crucial importancia. Por lo tanto, debes estar familiarizado con lo que son y cómo interactuar con ellas. Lista, diccionario, conjunto y tupla son las 4 principales estructuras de datos incorporadas en Python. 5. ¿Cuál es la diferencia entre listas y tuplas? La principal diferencia entre las listas y las tuplas es la mutabilidad. Las listas son mutables, por lo que podemos manipularlas añadiendo o eliminando elementos.mylist = [1,2,3] mylist.append(4) mylist.remove(1) print(mylist) [2,3,4]En cambio, las tuplas son inmutables. Aunque podemos acceder a cada elemento de una tupla, no podemos modificar su contenido.mytuple = (1,2,3) mytuple.append(4) AttributeError: 'tuple' object has no attribute 'append'Un punto importante a mencionar aquí es que aunque las tuplas son inmutables, pueden contener elementos mutables como listas o conjuntos. mytuple = (1,2,["a","b","c"]) mytuple[2] ['a', 'b', 'c'] mytuple[2][0] = ["A"] print(mytuple) (1, 2, [['A'], 'b', 'c'])6. ¿Cuál es la diferencia entre listas y sets?  Hagamos un ejemplo para demostrar la principal diferencia entre listas y conjuntos.text = "Python is awesome!" mylist = list(text) myset = set(text) print(mylist) ['P', 'y', 't', 'h', 'o', 'n', ' ', 'i', 's', ' ', 'a', 'w', 'e', 's', 'o', 'm', 'e', '!'] print(myset) {'t', ' ', 'i', 'e', 'm', 'P', '!', 'y', 'o', 'h', 'n', 'a', 's', 'w'} Como vemos en los objetos resultantes, la lista contiene todos los caracteres de la cadena mientras que el conjunto sólo contiene valores únicos.  Otra diferencia es que los caracteres de la lista están ordenados según su ubicación en la cadena. Sin embargo, los caracteres del conjunto no están ordenados.   A continuación se muestra una tabla que resume las principales características de las listas, las tuplas y los conjuntos.(image by author)7. ¿Qué es un diccionario y cuáles son las características importantes de los diccionarios? Un diccionario en Python es una colección de pares clave-valor. Es similar a una lista en el sentido de que cada elemento de una lista tiene un índice asociado que empieza por 0.mylist = ["a", "b", "c"] mylist[1] "b"En un diccionario, las claves son el índice. Así, podemos acceder a un valor utilizando su clave.mydict = {"John": 24, "Jane": 26, "Ashley": 22} mydict["Jane"] 26Las claves de un diccionario son únicas, lo que tiene sentido porque actúan como una dirección para los valores.    SQL  SQL es una habilidad extremadamente importante para los científicos de datos. Hay un gran número de empresas que almacenan sus datos en una base de datos relacional. SQL es lo que se necesita para interactuar con las bases de datos relacionales.  Es probable que te hagan una pregunta que implique escribir una consulta para realizar una tarea específica. También es posible que te hagan una pregunta sobre conocimientos generales de bases de datos.8. Ejemplo de Consulta #1 Consider we have a sales table that contains daily sales quantities of products.SELECT TOP 10 * FROM SalesTable(image by author)Encuentre las 5 semanas más importantes en términos de cantidades totales de ventas semanales.SELECT TOP 5 CONCAT(YEAR(SalesDate), DATEPART(WEEK, SalesDate)) AS YearWeek, SUM(SalesQty) AS TotalWeeklySales FROM SalesTable GROUP BY CONCAT(YEAR(SalesDate), DATEPART(WEEK, SalesDate)) ORDER BY TotalWeeklySales DESC (image by author)Primero extraemos la información del año y la semana de la columna de la fecha y luego la utilizamos en la agregación. La función de suma se utiliza para calcular las cantidades totales de ventas.  9. Ejemplo de consulta #2 En la misma tabla de ventas, encuentre el número de artículos únicos que se venden cada mes.SELECT MONTH(SalesDate) AS Month, COUNT(DISTINCT(ItemNumber)) AS ItemCount FROM SalesTable GROUP BY MONTH(SalesDate) Month ItemCount 1 9 1021 2 8 102110. ¿Qué es la normalización y la desnormalización en una base de datos? Estos términos están relacionados con el diseño del esquema de la base de datos. La normalización y la desnormalización tienen como objetivo optimizar diferentes métricas.  El objetivo de la normalización es reducir la redundancia e inconsistencia de los datos aumentando el número de tablas. Por otro lado, la desnormalización tiene como objetivo acelerar la ejecución de la consulta. La desnormalización disminuye el número de tablas, pero al mismo tiempo añade cierta redundancia.   ConclusiónConvertirse en un científico de datos es una tarea difícil. Requiere tiempo, esfuerzo y dedicación. Sin tener experiencia laboral previa, el proceso se hace más difícil.  Las entrevistas son muy importantes para demostrar tus habilidades. En este artículo, hemos cubierto 10 preguntas que es probable que te encuentres en una entrevista de científico de datos.  Gracias por leerlo. Por favor, hágame saber si tiene algún comentario. 

Data Science
Machine Learning
Métricas De Evaluación De Modelos En El Aprendizaje Automático

CréditosLos modelos predictivos se han convertido en un asesor de confianza para muchas empresas y por una buena razón. Estos modelos pueden "prever el futuro", y hay muchos métodos diferentes disponibles, lo que significa que cualquier industria puede encontrar uno que se ajuste a sus retos particulares.Cuando hablamos de modelos predictivos, nos referimos a un modelo de regresión (salida continua) o a un modelo de clasificación (salida nominal o binaria). En los problemas de clasificación, utilizamos dos tipos de algoritmos (dependiendo del tipo de salida que este crea):Salida de clase: Algoritmos como Support Vector Machine y K Nearest Neighbors crean una salida de clase. Por ejemplo, en un problema de clasificación binaria, las salidas serán 0 o 1. Sin embargo, hoy en día tenemos algoritmos que pueden convertir estas salidas de clase en probabilidad.Salida de probabilidad: Algoritmos como la Regresión Logística, el Bosque Aleatorio, potenciación del Gradiente, el Adaboost, etc. dan salidas de probabilidad. Convertir las salidas de probabilidad en salidas de clase es sólo cuestión de crear un umbral de probabilidadPuedes leer más artículos de Data Science en español aquí Lea también:Tipos Claves De Regresiones: ¿Cuál Usar?IntroducciónSi bien la preparación de los datos y el entrenamiento de un modelo de aprendizaje de máquina es un paso clave en el proceso de aprendizaje automático, es igualmente importante medir el rendimiento de este modelo entrenado. Lo bien que el modelo generaliza sobre los datos no vistos es lo que define los modelos de aprendizaje automático adaptables frente a los no adaptables.Al utilizar diferentes métricas para la evaluación del rendimiento, deberíamos estar en posición de mejorar el poder de predicción general de nuestro modelo antes de que lo pongamos en marcha para la producción sobre datos no vistos antes.Si no se realiza una evaluación adecuada del modelo aprendizaje automático utilizando diferentes métricas, y se usa sólo la precisión, puede darse un problema cuando el modelo respectivo se despliega sobre datos no vistos y puede dar lugar a malas predicciones.Esto sucede porque, en casos como éste, nuestros modelos no aprenden sino que memorizan; por lo tanto, no pueden generalizar bien sobre datos no vistos.Métricas de evaluación del modeloDefinamos ahora las métricas de evaluación para valorar el rendimiento de un modelo de aprendizaje automático, que es un componente integral de cualquier proyecto de ciencia de los datos. Su objetivo es estimar la precisión de la generalización de un modelo sobre los datos futuros (no vistos/fuera de muestra).Matriz de confusiónUna matriz de confusión es una representación matricial de los resultados de las predicciones de cualquier prueba binaria que se utiliza a menudo para describir el rendimiento del modelo de clasificación (o "clasificador") sobre un conjunto de datos de prueba cuyos valores reales se conocen.La matriz de confusión es relativamente sencilla de comprender, pero la terminología relacionada puede ser confusa.Matriz de confusión con 2 etiquetas de clase.Cada predicción puede ser uno de cuatro resultados, basado en cómo coincide con el valor real:Verdadero Positivo (TP): Predicho Verdadero y Verdadero en realidad.Verdadero Negativo (TN): Predicho Falso y Falso en realidad.Falso Positivo (FP): Predicción de verdadero y falso en la realidad.Falso Negativo (FN): Predicción de falso y verdadero en la realidad.Ahora entendamos este concepto usando la prueba de hipótesis.Lea también:Falsos Positivos Vs. Falsos Negativos Una hipótesis es una especulación o teoría basada en pruebas insuficientes que se presta a más pruebas y experimentación. Con más pruebas, una hipótesis puede ser probada como verdadera o falsa.Una Hipótesis Nula es una hipótesis que dice que no hay significancia estadística entre las dos variables de la hipótesis. Es la hipótesis que el investigador está tratando de refutar.Siempre rechazamos la hipótesis nula cuando es falsa, y aceptamos la hipótesis nula cuando es realmente verdadera.Aunque las pruebas de hipótesis se supone que son fiables, hay dos tipos de errores que pueden ocurrir.Estos errores se conocen como errores de Tipo I y Tipo II.Por ejemplo, cuando se examina la eficacia de una droga, la hipótesis nula sería que la droga no afecta a una enfermedad.Error de Tipo I: equivalente a los Falsos Positivos(FP).El primer tipo de error posible implica el rechazo de una hipótesis nula que es verdadera.Volvamos al ejemplo de una droga que se utiliza para tratar una enfermedad. Si rechazamos la hipótesis nula en esta situación, entonces afirmamos que la droga tiene algún efecto sobre una enfermedad. Pero si la hipótesis nula es cierta, entonces, en realidad, la droga no combate la enfermedad en absoluto. Se afirma falsamente que la droga tiene un efecto positivo en una enfermedad.Error de tipo II:- equivalente a Falsos Negativos(FN).El otro tipo de error que ocurre cuando aceptamos una hipótesis falsa nula. Este tipo de error se llama error de tipo II y también se conoce como error de segundo tipo.Si pensamos de nuevo en el escenario en el que estamos probando una droga, ¿cómo sería un error de tipo II? Un error de tipo II ocurriría si aceptáramos que la droga no tiene efecto sobre la enfermedad, pero en realidad, sí lo tiene.Un ejemplo de la implementación Python de la matriz de confusión.Puedes leer más artículos de Data Science en español aquí import warningsimport pandas as pdfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import confusion_matriximport matplotlib.pyplot as plt%matplotlib inline  #ignore warningswarnings.filterwarnings('ignore')# Load digits dataseturl = "http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"df = pd.read_csv(url)# df = df.valuesX = df.iloc[:,0:4]y = df.iloc[:,4]#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#Split data into train and test set. X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#Train Modelmodel = LogisticRegression()model.fit(X_train, y_train)pred = model.predict(X_test)#Construct the Confusion Matrixlabels = ['Iris-setosa', 'Iris-versicolor', 'Iris-virginica']cm = confusion_matrix(y_test, pred, labels)print(cm)fig = plt.figure()ax = fig.add_subplot(111)cax = ax.matshow(cm)plt.title('Confusion matrix')fig.colorbar(cax)ax.set_xticklabels([''] + labels)ax.set_yticklabels([''] + labels)plt.xlabel('Predicted Values')plt.ylabel('Actual Values')plt.show()Matriz de confusión con 3 etiquetas de clase.Los elementos diagonales representan el número de puntos para los cuales la etiqueta predicha es igual a la etiqueta verdadera, mientras que cualquier cosa fuera de la diagonal fue mal etiquetada por el clasificador. Por lo tanto, cuanto más altos sean los valores diagonales de la matriz de confusión, mejor, indicando muchas predicciones correctas.En nuestro caso, el clasificador predijo perfectamente las 13 plantas de setosa y 18 de virginica en los datos de prueba. Sin embargo, clasificó incorrectamente 4 de las plantas versicolor como virginica.También hay una lista de tasas que a menudo se calculan a partir de una matriz de confusión para un clasificador binario:1. ExactitudEn general, ¿con qué frecuencia es correcto el clasificador?Exactitud = (TP+TN)/totalCuando nuestras clases son aproximadamente iguales en tamaño, podemos usar la precisión, que nos dará valores clasificados correctamente.La precisión es una métrica de evaluación común para los problemas de clasificación. Es el número de predicciones correctas hechas como una proporción de todas las predicciones hechas.Tasa de clasificación errónea (Tasa de error): En general, con qué frecuencia se equivoca. Dado que la exactitud es el porcentaje que clasificamos correctamente (tasa de éxito), se deduce que nuestra tasa de error (el porcentaje en que nos equivocamos) puede calcularse de la siguiente manera:Tasa de clasificación errónea = (FP+FN)/total#import modulesimport warningsimport pandas as pdimport numpy as npfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn import datasetsfrom sklearn.metrics import accuracy_score#ignore warningswarnings.filterwarnings('ignore')# Load digits datasetiris = datasets.load_iris()# # Create feature matrixX = iris.data# Create target vectory = iris.target#test sizetest_size = 0.33#generate the same set of random numbersseed = 7#cross-validation settingskfold = model_selection.KFold(n_splits=10, random_state=seed)#Model instancemodel = LogisticRegression()#Evaluate model performancescoring = 'accuracy'results = model_selection.cross_val_score(model, X, y, cv=kfold, scoring=scoring)print('Accuracy -val set: %.2f%% (%.2f)' % (results.mean()*100, results.std()))#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)#fit modelmodel.fit(X_train, y_train)#accuracy on test setresult = model.score(X_test, y_test)print("Accuracy - test set: %.2f%%" % (result*100.0))La precisión de la clasificación es del 88% en el conjunto de validación.2. PrecisiónCuando predice sí, ¿con qué frecuencia es correcto?Precisión=TP/predicciones síCuando tenemos un desequilibrio de clase, la precisión puede convertirse en una métrica poco fiable para medir nuestro desempeño. Por ejemplo, si tuviéramos una división de 99/1 entre dos clases, A y B, donde el evento raro, B, es nuestra clase positiva, podríamos construir un modelo que fuera 99% exacto con sólo decir que todo pertenece a la clase A. Claramente, no deberíamos molestarnos en construir un modelo si no hace nada para identificar la clase B; por lo tanto, necesitamos diferentes métricas que desalienten este comportamiento. Para ello, utilizamos la precisión y la sensibilidad en lugar de la exactitud.Puedes leer más artículos de Data Science en español aquí 3. ExhaustividadCuando en realidad es un sí, ¿con qué frecuencia predice un sí?Tasa positiva verdadera = TP/Si realesLa Exhaustividad nos da la tasa positiva verdadera (TPR), que es la proporción de los verdaderos positivos a todo lo positivo.En el caso de la división 99/1 entre las clases A y B, el modelo que clasifica todo como A tendría una exhaustividad del 0% para la clase positiva, B (la precisión sería indefinida - 0/0). La exhaustividad  proporciona una mejor manera de evaluar el rendimiento del modelo ante un desequilibrio de clases. Nos dirá correctamente que el modelo tiene poco valor para nuestro caso de uso.Al igual que la exactitud, tanto la precisión como la exhaustividad son fáciles de calcular y comprender, pero requieren umbrales. Además, la precisión y la exhaustividad sólo consideran la mitad de la matriz de confusión:4. Puntuación F1La puntuación F1 es la media armónica de la precisión y exhaustividad, donde la puntuación de la F1 alcanza su mejor valor en 1 (precisión y exhaustividad perfectas) y el peor en 0.¿Por qué la media armónica? Dado que la media armónica de una lista de números se inclina fuertemente hacia últimos elementos de la lista, tiende (en comparación con la media aritmética) a mitigar el impacto de los grandes valores atípicos y a agravar el impacto de los pequeños.Una puntuación F1 castiga más los valores extremos. Idealmente, un puntaje F1 podría ser una métrica de evaluación efectiva en los siguientes escenarios de clasificación:Cuando los Falsos Positivos  y la Falsos Negativos son igualmente costosos - lo que significa que se pasan verdaderos positivos o se encuentran falsos positivos - ambos impactan el modelo casi de la misma manera, como en nuestro ejemplo de clasificación de detección de cáncerAñadir más datos no cambia el resultado de manera efectivaLa TN es alta (como en las predicciones de inundaciones, predicciones de cáncer, etc.)Un ejemplo de implementación en Python de la puntuación F1.import warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_lossfrom sklearn.metrics import precision_recall_fscore_support as score, precision_score, recall_score, f1_scorewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]test_size = 0.33seed = 7model = LogisticRegression()#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)precision = precision_score(y_test, pred)print('Precision: %f' % precision)# recall: tp / (tp + fn)recall = recall_score(y_test, pred)print('Recall: %f' % recall)# f1: tp / (tp + fp + fn)f1 = f1_score(y_test, pred)print('F1 score: %f' % f1)Puedes leer más artículos de Data Science en español aquí 5. EspecificidadCuando es no, ¿con qué frecuencia predice el no?Tasa negativa real = TN/no realEs la verdadera tasa negativa o la proporción de verdaderos negativos a todo lo que debería haber sido clasificado como negativo.Obsérvese que, en conjunto, la especificidad y la sensibilidad consideran la matriz de confusión completa:6. Curva de características operativas del receptor (ROC)Medir el área bajo la curva ROC es también un método muy útil para evaluar un modelo. Al trazar la tasa positiva verdadera (sensibilidad) frente a la tasa de falsos positivos (1 - especificidad), obtenemos la curva de Característica Operativa del Receptor (ROC). Esta curva nos permite visualizar el equilibrio entre la tasa de verdaderos positivos y la tasa falsos positivosLos siguientes son ejemplos de buenas curvas ROC. La línea discontinua sería una suposición aleatoria (sin valor predictivo) y se utiliza como línea de base; cualquier cosa por debajo de eso se considera peor que una suposición. Queremos estar hacia la esquina superior izquierda:Una ejemplo de implementación en Python de las curvas ROC#Classification Area under curveimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import roc_auc_score, roc_curvewarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)# predict probabilitiesprobs = model.predict_proba(X_test)# keep probabilities for the positive outcome onlyprobs = probs[:, 1]auc = roc_auc_score(y_test, probs)print('AUC - Test Set: %.2f%%' % (auc*100))# calculate roc curvefpr, tpr, thresholds = roc_curve(y_test, probs)# plot no skillplt.plot([0, 1], [0, 1], linestyle='--')# plot the roc curve for the modelplt.plot(fpr, tpr, marker='.')plt.xlabel('False positive rate')plt.ylabel('Sensitivity/ Recall')# show the plotplt.show()En el ejemplo anterior, la AUC está relativamente cerca de 1 y es mayor de 0,5. Un clasificador perfecto hará que la curva ROC vaya a lo largo del eje Y y luego a lo largo del eje X.7. Pérdida logarítmicaLa pérdida logarítmica es la métrica de clasificación más importante basada en probabilidades.A medida que la probabilidad predicha de la clase verdadera se acerca a cero, la pérdida aumenta exponencialmente:Mide el desempeño de un modelo de clasificación en el que la entrada de la predicción es un valor de probabilidad entre 0 y 1. La pérdida logarítmica aumenta a medida que la probabilidad predicha se aleja de la etiqueta real. El objetivo de cualquier modelo de aprendizaje automático es minimizar este valor. Por lo tanto, una pérdida logarítmica menor es mejor, con un modelo perfecto teniendo una pérdida logarítmica de 0.Una muestra de la implementación en Python de la pérdida logarítmica#Classification LogLossimport warningsimport pandasfrom sklearn import model_selectionfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import log_losswarnings.filterwarnings('ignore')url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"dataframe = pandas.read_csv(url)dat = dataframe.valuesX = dat[:,:-1]y = dat[:,-1]seed = 7#split dataX_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=test_size, random_state=seed)model.fit(X_train, y_train)#predict and compute loglosspred = model.predict(X_test)accuracy = log_loss(y_test, pred)print("Logloss: %.2f" % (accuracy))Logloss: 8.02Puedes leer más artículos de Data Science en español aquí 8. Índice JaccardEl índice Jaccard es una de las formas más simples de calcular y averiguar la exactitud de un modelo de clasificación de aprendizaje automático. Entendamoslo con un ejemplo. Supongamos que tenemos un conjunto de pruebas etiquetadas, con etiquetas como -y = [0,0,0,0,0,1,1,1,1,1]Y nuestro modelo ha predicho las etiquetas como…y1 = [1,1,0,0,0,1,1,1,1,1]El anterior diagrama de Venn nos muestra las etiquetas del conjunto de pruebas y las etiquetas de las predicciones, y su intersección y unión.El índice Jaccard o coeficiente de similitud Jaccard es una estadística utilizada para comprender las similitudes entre los conjuntos de muestras. La medición enfatiza la similitud entre conjuntos de muestras finitas y se define formalmente como el tamaño de la intersección dividido por el tamaño de la unión de los dos conjuntos etiquetados, con la fórmula como -Índice Jaccard o Intersección sobre Unión(IoU)Así, para nuestro ejemplo, podemos ver que la intersección de los dos conjuntos es igual a 8 (ya que ocho valores se predicen correctamente) y la unión es 10 + 10-8 = 12. Por lo tanto, el índice Jaccard nos da la precisión como -Así que la precisión de nuestro modelo, según el índice Jaccard, se convierte en 0.66, o 66%.Cuanto mayor sea el índice Jaccard, mayor será la precisión del clasificador.Una muestra de implementación en Python del índice Jaccard.import numpy as npdef compute_jaccard_similarity_score(x, y):    intersection_cardinality = len(set(x).intersection(set(y)))    union_cardinality = len(set(x).union(set(y)))    return intersection_cardinality / float(union_cardinality)score = compute_jaccard_similarity_score(np.array([0, 1, 2, 5, 6]), np.array([0, 2, 3, 5, 7, 9]))print "Jaccard Similarity Score : %s" %scorepassPuntaje de similitud Jaccard: 0.3759. Gráfico de Kolmogorov SmirnovEl gráfico K-S o Kolmogorov-Smirnov mide el rendimiento de los modelos de clasificación. Más exactamente, K-S es una medida del grado de separación entre las distribuciones positivas y negativas.La frecuencia acumulativa de las distribuciones observadas y de las hipótesis se traza en relación con las frecuencias ordenadas. La doble flecha vertical indica la máxima diferencia vertical.La K-S es 100 si las puntuaciones dividen la población en dos grupos separados en los que un grupo contiene todos los positivos y el otro todos los negativos. Por otra parte, si el modelo no puede diferenciar entre los positivos y los negativos, entonces es como si el modelo seleccionara casos al azar de la población. El K-S sería 0.En la mayoría de los modelos de clasificación la K-S caerá entre 0 y 100, y cuanto más alto sea el valor mejor será el modelo para separar los casos positivos de los negativos.La K-S también puede utilizarse para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. Es una forma muy eficiente de determinar si dos muestras son significativamente diferentes entre sí.Un ejemplo de la implementación en Python  del Kolmogorov-Smirnov.from scipy.stats import kstest import random   # N = int(input("Enter number of random numbers: ")) N = 10  actual =[] print("Enter outcomes: ")   for i in range(N):     # x = float(input("Outcomes of class "+str(i + 1)+": "))     actual.append(random.random())   print(actual) x = kstest(actual, "norm")    print(x)La hipótesis nula utilizada aquí asume que los números siguen la distribución normal. Devuelve estadísticas y valor p. Si el valor p es < alfa, rechazamos la hipótesis Nula.Alfa se define como la probabilidad de rechazar la hipótesis nula dado que la hipótesis nula(H0) es verdadera. Para la mayoría de las aplicaciones prácticas, se elige alfa como 0,05.Puedes leer más artículos de Data Science en español aquí 10. Gráfico de ganancia y elevaciónLa ganancia o el levantamiento es una medida de la eficacia de un modelo de clasificación calculado como la relación entre los resultados obtenidos con y sin el modelo. Los gráficos de ganancia y elevación son ayudas visuales para evaluar el rendimiento de los modelos de clasificación. Sin embargo, en contraste con la matriz de confusión que evalúa los modelos en toda la población, el gráfico de ganancia o elevación evalúa el rendimiento del modelo en una porción de la población.Cuanto mayor sea la elevación (es decir, cuanto más lejos esté de la línea de base), mejor será el modelo.El siguiente gráfico de ganancias, ejecutado en un conjunto de validación, muestra que con el 50% de los datos, el modelo contiene el 90% de los objetivos, la adición de más datos añade un aumento insignificante en el porcentaje de objetivos incluidos en el modelo.Gráfico de ganancia/elevaciónLos gráficos de elevación suelen presentarse como un gráfico de ascenso acumulativo, que también se conoce como gráfico de ganancias. Por lo tanto, los gráficos de ganancias a veces se denominan (quizás de forma confusa) "gráficos de elevación", pero son más exactos como gráficos de ascenso acumulativo.Uno de sus usos más comunes es en el marketing, para decidir si vale la pena llamar a un posible cliente.11. Coeficiente de GiniEl coeficiente de Gini o Índice de Gini es una métrica popular para los valores de clase desequilibrados. El coeficiente oscila entre 0 y 1, donde 0 representa la igualdad perfecta y 1 la desigualdad perfecta. Aquí, si el valor de un índice es mayor, entonces los datos estarán más dispersos.El coeficiente de Gini puede calcularse a partir del área bajo la curva ROC usando la siguiente fórmula:Coeficiente de Gini = (2 * curva_ROC) - 1Puedes leer más artículos de Data Science en español aquí ConclusiónComprender lo bien que un modelo de aprendizaje automático va a funcionar con datos no vistos es el propósito final de trabajar con estas métricas de evaluación. Métricas como la exactitud, la precisión, la exhaustividad son buenas formas de evaluar los modelos de clasificación para conjuntos de datos equilibrados, pero si los datos están desequilibrados y hay una disparidad de clases, entonces otros métodos como el ROC/AUC, el coeficiente de Gini funcionan mejor en la evaluación del rendimiento del modelo.Bueno, esto concluye este artículo. Espero que hayan disfrutado de su lectura, no duden en compartir sus comentarios/pensamientos/opiniones en la sección de comentarios.Gracias por leerlo!!!

Business
El impacto de la IA y la ciencia de datos en los desafíos de la industria moderna

La transformación digital que atraviesan las industrias está haciendo que la ciencia de datos y la inteligencia artificial (IA) sean más esenciales que nunca. Desde la fabricación hasta la atención médica, las empresas están aprovechando los datos y la IA no solo para la eficiencia operativa, sino también para el crecimiento estratégico. Aquí exploraremos cómo las aplicaciones reales de la ciencia de datos y la IA están resolviendo desafíos industriales y moldeando el futuro.Mantenimiento Predictivo en la Manufactura Los fabricantes han buscado durante mucho tiempo formas de reducir el tiempo de inactividad de los equipos y prolongar la vida útil de las máquinas. El mantenimiento predictivo, impulsado por IA, permite a las empresas prever problemas antes de que ocurran. Al analizar datos de sensores conectados a las máquinas, la IA puede detectar señales tempranas de posibles fallos. Este enfoque proactivo reduce las averías inesperadas y los costos asociados, mejorando la productividad general.Un ejemplo destacado es el uso del mantenimiento predictivo en la industria de los ascensores. Los ascensores ahora están conectados a través de gateways GSM, lo que permite la comunicación de datos en tiempo real a través de redes como 3G y 4G. La IA analiza los datos de los sensores de varios componentes de los ascensores para detectar anomalías, como cambios en la vibración del motor o el desgaste de los cables. Cuando se detectan, estas anomalías generan alertas para que los técnicos solucionen los problemas antes de que se produzca una avería. Empresas como KONE han aprovechado plataformas como IBM Watson para mejorar sus capacidades de mantenimiento predictivo, garantizando operaciones más seguras y confiables.Detección de Fraudes en Servicios Financieros El fraude es un desafío persistente en los servicios financieros, amenazando la seguridad de las instituciones y de sus clientes. Las soluciones impulsadas por IA han revolucionado la detección de fraudes al utilizar algoritmos de aprendizaje automático para identificar patrones de transacciones inusuales y señalar posibles actividades fraudulentas en tiempo real.Estos sistemas se entrenan con extensos conjuntos de datos, lo que les permite aprender y adaptarse a las tácticas de fraude en constante cambio. Por ejemplo, los modelos de aprendizaje automático analizan datos históricos de transacciones para reconocer desviaciones del comportamiento típico del cliente. Esto permite a las instituciones financieras identificar y detener rápidamente transacciones sospechosas, minimizando el impacto del fraude. Las empresas que incorporan herramientas como Microsoft Power BI pueden optimizar aún más sus análisis, tomar decisiones informadas y fortalecer las medidas de seguridad en toda la organización.Diagnósticos Médicos La aplicación de la ciencia de datos en la atención médica es transformadora, permitiendo diagnósticos más rápidos y precisos. Los algoritmos de IA analizan datos médicos complejos, como imágenes y registros de pacientes, para identificar enfermedades de manera temprana y recomendar planes de tratamiento. Esto ayuda a los médicos a diagnosticar condiciones con mayor precisión y permite una atención más personalizada al paciente.En radiología, por ejemplo, las herramientas de IA pueden procesar miles de radiografías para detectar anomalías con una precisión que a veces supera a la de los expertos humanos. La IA también está demostrando ser indispensable en la genómica, ayudando a identificar marcadores de enfermedades hereditarias y guiando el desarrollo de tratamientos personalizados. Según DataScientest, los avances en la analítica de salud no solo están mejorando los procesos de diagnóstico, sino que también están facilitando mejores resultados para los pacientes al proporcionar información procesable sobre los datos médicos.Optimización de la Cadena de Suministro La cadena de suministro es la columna vertebral de cualquier industria orientada a productos. Una gestión eficaz de la cadena de suministro garantiza que los productos lleguen a los clientes de manera puntual y eficiente. La IA juega un papel importante aquí, mejorando las previsiones de demanda, la gestión de inventarios y los procesos de entrega.El análisis predictivo, por ejemplo, utiliza datos históricos de ventas y factores externos como el clima y los indicadores económicos para predecir la demanda de productos con mayor precisión. Esto ayuda a las empresas a evitar el exceso o la falta de inventario, lo que conduce a una gestión de inventarios más eficiente. Además, la optimización de rutas impulsada por IA garantiza tiempos de entrega más rápidos y menores costos de transporte.Mejora de la Experiencia del Cliente Las empresas hoy en día recurren cada vez más a la IA para mejorar las experiencias de los clientes. Al analizar los datos de los clientes, la IA puede ayudar a predecir las necesidades de los consumidores y personalizar las interacciones, haciendo que los servicios sean más atractivos y efectivos. Los chatbots impulsados por IA, por ejemplo, se han vuelto comunes para manejar consultas básicas de los clientes. Estos bots, equipados con procesamiento de lenguaje natural (NLP), pueden comprender y responder a preguntas, mejorando los tiempos de respuesta y la satisfacción general del cliente. Más allá de los chatbots, los motores de recomendación avanzados se utilizan en plataformas de comercio electrónico para sugerir productos basados en el comportamiento del usuario.Desafíos y Consideraciones Clave Aunque los beneficios de integrar la IA y la ciencia de datos son evidentes, las industrias deben superar varios desafíos para aprovechar al máximo estas tecnologías. La seguridad de los datos es de suma importancia, especialmente en sectores como la atención médica y los servicios financieros donde se manejan datos sensibles. Las empresas deben garantizar protocolos sólidos de seguridad de la información y cumplir con regulaciones como el Reglamento General de Protección de Datos (GDPR) en la UE y la Ley de Portabilidad y Responsabilidad de Seguros de Salud (HIPAA) en Estados Unidos.El sesgo en los modelos de IA es otro desafío que requiere atención. Si los algoritmos de aprendizaje automático se entrenan con datos no representativos, pueden perpetuar sesgos, lo que lleva a resultados injustos. Por ejemplo, los modelos sesgados en los procesos de contratación podrían generar decisiones desequilibradas, mientras que los algoritmos de atención médica sesgados podrían pasar por alto necesidades críticas de los pacientes. Las auditorías regulares y el entrenamiento con conjuntos de datos diversos pueden ayudar a mitigar estos riesgos.Consideraciones Éticas y Sostenibilidad El uso de la IA y la ciencia de datos debe alinearse con prácticas éticas. Esto incluye garantizar la transparencia en la toma de decisiones impulsada por IA y minimizar los posibles sesgos. También es importante priorizar la sostenibilidad. Las empresas deben esforzarse por implementar modelos de IA eficientes en términos de energía y considerar el impacto ambiental de sus centros de datos y necesidades de computación.El uso ético de los datos y la interpretabilidad de los modelos son fundamentales para generar confianza con los consumidores y las partes interesadas. Cuando las empresas comunican abiertamente cómo funcionan sus sistemas de IA y los pasos tomados para prevenir sesgos, fomentan la confianza y promueven una adopción más amplia.Mejora de las Habilidades de la Fuerza Laboral Para aprovechar al máximo el potencial de la IA y la ciencia de datos, las empresas deben invertir en la mejora de las habilidades de su fuerza laboral. Esto incluye capacitar a los empleados para que comprendan y trabajen con tecnologías de IA, así como fomentar una cultura de toma de decisiones basada en datos.El Futuro de la IA y la Ciencia de Datos en la Industria Las tendencias emergentes, como la automatización impulsada por IA y algoritmos de aprendizaje automático más sofisticados, redefinirán la forma en que operan las industrias. Las empresas que adopten estas tecnologías y se centren en construir una cultura centrada en los datos estarán mejor posicionadas para el éxito a largo plazo. La integración de la ciencia de datos y la IA en las prácticas industriales no es solo una tendencia: es una estrategia crucial para obtener una ventaja competitiva.

Join our private community in Discord

Keep up to date by participating in our global community of data scientists and AI enthusiasts. We discuss the latest developments in data science competitions, new techniques for solving complex challenges, AI and machine learning models, and much more!

Join our Discord