Deep learning
¿Cuándo Es Mejor Evitar el Uso de Deep Learning?
IntroducciónEste artículo está dirigido a los científicos de datos que pueden considerar el uso de algoritmos de aprendizaje profundo, y quieren saber más sobre los contras de la implementación de este tipo de modelos en su trabajo. Los algoritmos de aprendizaje profundo tienen muchos beneficios, son potentes y puede ser divertido mostrarlos. Sin embargo, hay algunos momentos en los que deberías evitarlos. A continuación hablaré de esos momentos en los que deberías dejar de usar el aprendizaje profundo, así que sigue leyendo si quieres profundizar en el aprendizaje profundo.Cuando quieres explicar fácilmentePhoto by Malte Helmhold on Unsplash [2].Dado que los otros algoritmos llevan más tiempo en el mercado, cuentan con innumerables cantidades de documentación, incluyendo ejemplos y funciones que facilitan su interpretación. También es la forma en que los otros algoritmos funcionan por sí mismos. El aprendizaje profundo puede ser intimidante para los científicos de datos por esta razón también, puede ser un rechazo a usar un algoritmo de aprendizaje profundo cuando no estás seguro de cómo explicarlo a una parte interesada.He aquí 3 ejemplos de cuándo tendrías problemas para explicar el aprendizaje profundo:Cuando quiera describir las características principales de su modelo: las características se convierten en entradas ocultas, por lo que no sabrá qué causó una determinada predicción, y si necesita demostrar a las partes interesadas o a los clientes por qué se logró un determinado resultado, puede ser más bien una caja negraCuando se desea ajustar los hiperparámetros, como la tasa de aprendizaje y el tamaño del lote.Cuando se quiere explicar el funcionamiento del algoritmo, por ejemplo, si se presenta el algoritmo a los interesados, éstos podrían perderse, ya que incluso un enfoque simplificado es difícil de entender.Aquí hay 3 ejemplos de cómo podrías explicar esas mismas situaciones de arriba desde algoritmos de aprendizaje no profundos:Cuando quiera explicar sus características principales, puede acceder fácilmente a las bibliotecas SHAP, por ejemplo, para el algoritmo CatBoost, una vez que su modelo está ajustado, puede simplemente hacer un gráfico de resumen de feat = model.get_feature_importance() y luego utilizar el summary_plot() para clasificar las características por nombre de característica, de modo que pueda presentar un bonito gráfico a las partes interesadas (y a usted mismo)Ejemplo de salida SHAP clasificada de un modelo de aprendizaje no profundo [3]. Como solución, algunos otros algoritmos han facilitado mucho el ajuste de sus hiperparámetros mediante la búsqueda aleatoria en cuadrículas o un método más estructurado de búsqueda en cuadrículas. Incluso hay algunos algoritmos que se ajustan a sí mismos, por lo que no hay que preocuparse de un ajuste complicado Explicar cómo funcionan otros algoritmos puede ser mucho más fácil, como los árboles de decisión, por ejemplo, puedes mostrar fácilmente un gráfico de sí o no, 0/1 que muestra una respuesta simple para las características que conducen a una predicción, como sí está lloviendo, sí es invierno, proporcionaría para sí va a hacer frío En general, los algoritmos de aprendizaje profundo son útiles y poderosos, por lo que definitivamente hay un momento y un lugar para ellos, pero hay otros algoritmos que puedes usar en su lugar, como discutiremos a continuación. Cuando se pueden utilizar otros algoritmosPhoto by Luca Bravo on Unsplash [4].Para ser sinceros, hay unos cuantos algoritmos que pueden proporcionarle un gran modelo con grandes resultados con bastante rapidez. Algunos de estos algoritmos son la regresión lineal, los árboles de decisión, el bosque aleatorio, XGBoost y CatBoost. Estas son alternativas que son más simples. Aquí hay ejemplos de por qué querrías usar un algoritmo de aprendizaje no profundo, porque tienes muchas otras opciones más simples de aprendizaje no profundo: Pueden ser más fáciles y rápidas de configurar, por ejemplo, el aprendizaje profundo puede requerir que tu modelo añada capas secuenciales y densas, y compilarlo, lo que puede ser más complejo, y tomar más tiempo que simplemente tener un regresor o clasificador y ajustarlo con algoritmos de aprendizaje no profundo Personalmente encuentro más errores que pueden resultar de este código de aprendizaje profundo más complejo y la documentación de cómo solucionarlo puede ser confusa o antigua y no ser aplicable, utilizando un algoritmo como Random Forest en su lugar, puede tener mucha más documentación sobre los errores que son fáciles de entender El entrenamiento en un algoritmo de aprendizaje profundo puede no ser complicado a veces, pero cuando se predice a partir de un punto final, puede ser confuso sobre cómo alimentar los valores para predecir, mientras que algunos modelos, usted puede simplemente tener los valores en una lista codificada de valores ordenados Yo diría que, por supuesto, puedes probar algoritmos de aprendizaje profundo, pero antes de hacerlo, podría ser mejor empezar con una solución más simple. Puede depender de cosas como la frecuencia con la que vas a entrenar y hacer predicciones, o si se trata de una tarea puntual. Hay otras razones por las que no querrías utilizar un algoritmo de aprendizaje profundo, como cuando tienes un conjunto de datos pequeño y un presupuesto reducido, como veremos a continuación. Cuando se tiene un conjunto de datos y un presupuesto pequeñosPhoto by Hello I’m Nik on Unsplash [5].A menudo, puedes trabajar como científico de datos en una empresa más pequeña, o quizás en una startup. En estos casos, no tendrás muchos datos y puede que no tengas un gran presupuesto. Por lo tanto, intentarás evitar el uso de algoritmos de aprendizaje profundo. A veces, incluso puede tener un pequeño conjunto de datos que es sólo unos pocos miles de filas y pocas características, podría simplemente ejecutar un modelo alternativo en lugar local, en lugar de gastar mucho dinero sirviéndolo con frecuencia. Aquí es cuando deberías dudar de usar un algoritmo de aprendizaje profundo basándote en los costes y la disponibilidad de datos:La disponibilidad de datos pequeños suele ser el caso de muchas empresas (pero no siempre es así), y el aprendizaje profundo se desempeña mejor en información con muchos datos Es posible que realices una tarea puntual, es decir, que el modelo sólo prediga una vez, y que puedas ejecutarlo localmente de forma gratuita (no todos los modelos se ejecutarán en producción con frecuencia), como un simple clasificador de árbol de decisiones. Puede que no merezca la pena invertir tiempo en un modelo de aprendizaje profundo. Su empresa está interesada en aplicaciones de ciencia de datos pero quiere mantener el presupuesto pequeño, en lugar de realizar costosas ejecuciones de un modelo de aprendizaje profundo, y más bien, utilizar un modelo basado en árboles con rondas de parada temprana para evitar el sobreajuste, acortar el tiempo de entrenamiento y, en última instancia, reducir los costes Ha habido ocasiones en las que he sacado a relucir el aprendizaje profundo y ha sido rechazado por una serie de razones, y estas razones solían ser el caso. Sin embargo, no quiero disuadir a nadie de utilizar el aprendizaje profundo por completo, ya que es algo que debes utilizar a veces en tu carrera, y puede ser algo que hagas con frecuencia o principalmente dependiendo de las circunstancias y de dónde estés trabajando.Resumen En general, antes de que te sumerjas en el aprendizaje profundo, date cuenta de que hay algunos momentos en los que deberías evitar su uso por una serie de razones. Hay, por supuesto, más razones para evitarlo, pero también hay razones para usarlo. En última instancia, es usted quien debe analizar los pros y los contras del aprendizaje profundo. Aquí hay tres momentos/razones en los que no deberías usar el aprendizaje profundo: * Cuando quieres explicar fácilmente * Cuando puedes usar otros algoritmos * Cuando tienes un conjunto de datos y un presupuesto pequeños Espero que hayas encontrado mi artículo interesante y útil. Por favor, siéntase libre de comentar abajo si está de acuerdo o no con las razones para evitar el aprendizaje profundo. ¿Por qué o por qué no? ¿Qué otras razones crees que deberías evitar el uso del aprendizaje profundo como científico de datos? Seguramente se pueden aclarar aún más, pero espero haber podido arrojar algo de luz sobre el aprendizaje profundo. ¡Gracias por leer! No estoy afiliado a ninguna de estas empresas. Por favor, siéntase libre de revisar mi perfil, Matt Przybyla, y otros artículos, así como suscribirse para recibir notificaciones por correo electrónico para mis blogs siguiendo el enlace de abajo, o haciendo clic en el icono de suscripción en la parte superior de la pantalla por el icono de seguir, y llegar a mí ourself.Subscribe link: https://datascience2.medium.com/subscribeReferencias[1] Photo by Nadine Shaabana on Unsplash, (2018)[2] Photo by Malte Helmhold on Unsplash, (2021)[3] M.Przybyla, Example of ranked SHAP output from a non-deep learning model, (2021)[4] Photo by Luca Bravo on Unsplash, (2016)[5] Photo by Hello I’m Nik on Unsplash, (2021)
Programming
Deep learning
Machine Learning
21 Recursos Para Aprender Matemáticas Para Data Science
Este es quizás uno de los mayores temores de quienes se inician en el área de data science, aprender/repasar matemáticas. Y es que seamos sinceros, a la gran mayoría de personas no les fue muy bien en matemáticas en la educación básica, quizás tampoco en la universidad y esto llena de temor y crea una barrera para quienes quieren explorar esta disciplina llamada data sciencePuedes leer más artículos de Data Science en español aquí En días pasados publiqué un post en Towards Data Science y aquí mismo en nuestro blog sobre un plan de estudio de data science para este año 2021, donde dí unas recomendaciones trimestrales, e hice énfasis en estudiar matemáticas y estadísticas para este primer trimestre, y del cual recibí muchas preguntas acerca de cuales materiales recomendaba puntualmente. Pues bueno, este post les responde estas dudas. Pero antes de ello quiero darles un contexto.Dejando de lado los factores o motivos que han llevado a que las mayorías detesten las matemáticas, es una realidad que las necesitamos en data science. Para mi, una de las mayores falencias que encontraba en las matemáticas era su falta de aplicabilidad en el mundo real, no le veía una razón de ser a las matemáticas intermedias y avanzadas, como por ejemplo al cálculo multivariable. Confieso que en el colegio y en la universidad no me gustaban por ese motivo, pero siempre me iba bien y sacaba buenas calificaciones y promedios por encima de la mayoría (sobre todo en estadística). Pero aún así no veía en qué podría usar una derivada o una matriz en el mundo real. Finalmente terminé como ingeniero de software y una vez entré al mundo de data science pude hacer la conexión entre las matemáticas, estadísticas y el mundo real.Por otro lado, es importante aclarar que no necesitamos una maestría en matemáticas puras para hacer proyectos de data science. Como ya he mencionado en posts anteriores existe un gran debate en la comunidad acerca de que tantas matemáticas realmente necesitamos para hacer un buen trabajo como data scientists. Podríamos decir que data science se divide en dos grandes campos laborales: research y producciónCon research nos referimos a la parte de investigación y desarrollo, que normalmente se da dentro de una gran empresa (normalmente tecnológica), o que se ha enfocado en temas tecnológicos de vanguardia (como por ejemplo investigaciones médicas). O también es un área que se desarrolla dentro de las universidades. Obviamente este sector tiene ofertas laborales muy limitadas. La gran ventaja es el conocimiento profundo de los algoritmos y sus implementaciones, así mismo será una persona capaz de crear variaciones de los algoritmos existentes, para mejorarlos. O incluso crear nuevos algoritmos de machine learning. La desventaja es la poca practicidad de su trabajo. Es un trabajo muy teórico, en el que muchas veces el único objetivo es publicar papers y se aleja de los casos de uso de los negocios en general. Para referencia sobre esto, hace poco vi este post en Reddit, les recomiendo leerlo. Puedes leer más artículos de Data Science en español aquí Con producción nos referimos a la parte práctica de esta disciplina, donde usarás generalmente y en tu dia a dia librerías tales como scikit-learn, Tensorflow, Keras, Pytorch y otras. Estas librerías operan como una caja negra, donde ingresas datos, obtienes una salida, pero no sabes en detalle qué ocurrió en el proceso. Esto también tiene sus ventajas y desventajas, pero sin duda nos facilita enormemente la vida al momento de poner modelos útiles en producción. Lo que no recomiendo es usarlas a ciegas, donde no tienes las bases mínimas de matemáticas para entender un poco sus fundamentos y ese es el objetivo de este post, guiarte y recomendarte algunos recursos valiosos para tener las bases necesarias y no operar a ciegas dichas librerías. Así que si usted decide enfocarse en Investigación y Desarrollo (Research), sí vas a necesitar matemáticas y estadística en profundidad (muy en profundidad). Si vas a irte por la parte práctica, las librerías te ayudarán a lidiar con la mayor parte de ello, bajo el capó. Cabe aclarar que la mayor cantidad de ofertas laborales, se encuentran en la parte práctica. Bien, luego de las aclaraciones anteriores, es momento de definir cuales son las temáticas puntuales necesarias para tener unas bases iniciales en matemáticas para data science. Algebra Lineal: Esta materia es importante para tener los fundamentos del trabajo con datos en forma vectorial y matricial, adquirir habilidades para resolver sistemas de ecuaciones algebraicas lineales y encontrar las descomposiciones matriciales básicas y la comprensión general de su aplicabilidad.Calculo Multivariable: Aquí es importante estudiar los mapas funcionales, los límites (en caso de secuencias, funciones de una y varias variables), la diferenciación (a partir de una sola variable hasta casos múltiples), la integración, construyendo así secuencialmente una base para la optimización básica. También es importante aquí estudiar los gradientes descendentes.Teoría de probabilidad: Aquí deberías aprender sobre las variables aleatorias, es decir, una variable cuyos valores se determinan mediante un experimento aleatorio. Las variables aleatorias se utilizan como modelo para los procesos de generación de datos que queremos estudiar. Las propiedades de los datos están profundamente vinculadas a las propiedades correspondientes de las variables aleatorias, como el valor esperado, la varianza y las correlaciones. Nota: estas materias son mucho más profundas de lo que acabo de mencionar, esta es simplemente una guía de las materias y recursos recomendados para abordar matemáticas en el ámbito de data science.Ahora que tenemos una mejor idea del camino que debemos tomar, vamos a examinar los recursos recomendados para abordar esta temática. Los dividiremos en básicos, intermedios y avanzados. En los avanzados tendremos recursos enfocados en deep learningBases: en esta primera sección de recursos recomendaremos las bases matemáticas. El pensamiento matemático, algebra y cómo implementar matemáticas con python. Puedes leer más artículos de Data Science en español aquí 1- Introducción al pensamiento matemáticoPrice: FreeImage by CourseraDescripción: Aprende a pensar como lo hacen los matemáticos, un poderoso proceso cognitivo desarrollado durante miles de años.El pensamiento matemático no es lo mismo que hacer matemáticas - al menos no como las matemáticas se presentan típicamente en nuestro sistema escolar. Las matemáticas escolares normalmente se centran en el aprendizaje de procedimientos para resolver problemas altamente estereotipados. Los matemáticos profesionales piensan de cierta manera para resolver problemas reales, problemas que pueden surgir del mundo cotidiano, o de la ciencia, o de las propias matemáticas. La clave del éxito en las matemáticas escolares es aprender a pensar dentro de la caja. Por el contrario, una característica clave del pensamiento matemático es pensar fuera de la caja, una habilidad valiosa en el mundo de hoy. Este curso ayuda a desarrollar esa crucial forma de pensar.Link: https://www.coursera.org/learn/mathematical-thinking#2- Fundación matemática para la IA y el aprendizaje automáticoPrecio: $46.99 usdImage by PacktDescripción: La Inteligencia Artificial ha ganado importancia en la última década, dependiendo mucho del desarrollo e integración de la IA en nuestra vida cotidiana. El progreso que la IA ya ha hecho es asombroso con innovaciones como los coches auto-conductores, el diagnóstico médico e incluso ganarle a los humanos en juegos de estrategia como el Go y el Ajedrez. El futuro de la IA es extremadamente prometedor y no está lejos de que tengamos nuestros propios compañeros robóticos. Esto ha empujado a muchos desarrolladores a empezar a escribir códigos y a desarrollar programas de IA y ML. Sin embargo, aprender a escribir algoritmos para la IA y el ML no es fácil y requiere un amplio conocimiento de programación y matemáticas. Las matemáticas juegan un papel importante ya que constituyen la base para la programación de estas dos corrientes. Y en este curso, hemos cubierto exactamente eso. Diseñamos un curso completo para ayudarte a dominar los fundamentos matemáticos necesarios para escribir programas y algoritmos para la IA y la ML.Link: https://www.packtpub.com/product/mathematical-foundation-for-ai-and-machine-learning-video/97817896132093- Matemáticas para programadoresPrice: $47.99Image by ManningPuedes leer más artículos de Data Science en español aquí Descripción: Para conseguir un trabajo en data science, aprendizaje de máquinas, gráficos por ordenador y criptografía, tienes que aportar fuertes habilidades matemáticas a la fiesta. Math for Programmers enseña las matemáticas que necesitas para estas carreras, concentrándose en lo que necesitas saber como desarrollador. Lleno de muchos gráficos útiles y más de 200 ejercicios y mini proyectos, este libro abre la puerta a carreras interesantes y lucrativas en algunos de los campos de programación más populares de hoy en día.Link: https://www.manning.com/books/math-for-programmers4- Algebra 1Price: FreeImage by KhanacademyLink: https://www.khanacademy.org/math/algebra5- Algebra 2Price: FreeImage by KhanacademyLink: https://www.khanacademy.org/math/algebra26- Maestría en matemáticas con PythonPrice: $12.99Image by UdemyPuedes leer más artículos de Data Science en español aquí Descripción: ¡Puedes aprender muchas matemáticas con un poco de programación!Mucha gente no sabe que Python es una herramienta muy poderosa para aprender matemáticas. Claro que puedes usar Python como una simple calculadora, pero ¿sabías que Python puede ayudarte a aprender temas más avanzados en álgebra, cálculo y análisis de matrices? Eso es exactamente lo que aprenderás en este curso.Link: https://www.udemy.com/course/math-with-python/7- Introducción a los modelos lineales y al álgebra matricialPrice: FreeImage by EdxDescripción: El álgebra matricial es la base de muchas de las herramientas actuales para el diseño experimental y el análisis de datos de alta dimensión. En este curso introductorio en línea de análisis de datos, utilizaremos el álgebra matricial para representar los modelos lineales que comúnmente se utilizan para modelar las diferencias entre las unidades experimentales. Realizaremos una inferencia estadística sobre estas diferencias. A lo largo del curso utilizaremos el lenguaje de programación R para realizar operaciones matriciales.Link: https://www.edx.org/course/introduction-to-linear-models-and-matrix-algebra8- Aplicando matemáticas con Python.Price: $20.99Image by PacktDescripción: Python, uno de los lenguajes de programación más populares del mundo, tiene un número de poderosos paquetes para ayudar a abordar problemas matemáticos complejos de una manera simple y eficiente. Estas capacidades centrales ayudan a los programadores a preparar el camino para construir aplicaciones emocionantes en varios dominios, como el aprendizaje de las máquinas y la ciencia de los datos, utilizando el conocimiento en el dominio de las matemáticas computacionales.Link: https://www.packtpub.com/product/applying-math-with-python/9781838989750Intermedio: en esta segunda sección recomendaremos resusos enfocados en calculo y probabilidad. 9- Calculo 1Price: FreeImage by KhanacademyLink: https://www.khanacademy.org/math/calculus-1Link: https://www.khanacademy.org/math/calculus-110- Calculo 2Price: FreeImage by KhanacademyLink: https://www.khanacademy.org/math/calculus-2Link: https://www.khanacademy.org/math/calculus-211- Calculo multivariablePrice: FreeImage by KhanacademyLink: https://www.khanacademy.org/math/multivariable-calculusLink: https://www.khanacademy.org/math/multivariable-calculus12- Matematicas para Data SciencePrecio: GratisPrice: FreeImage by CourseraPuedes leer más artículos de Data Science en español aquí Descripción: Detrás de numerosos modelos y construcciones estándar en la Ciencia de los Datos hay matemáticas que hacen que las cosas funcionen. Es importante entenderlo para tener éxito en la Ciencia de los Datos. En esta especialización cubriremos una amplia gama de herramientas matemáticas y veremos cómo surgen en la Ciencia de los Datos. Cubriremos campos tan cruciales como las Matemáticas Discretas, el Cálculo, el Álgebra Lineal y la Probabilidad. Para que su experiencia sea más práctica, acompañaremos a las matemáticas con ejemplos y problemas surgidos en la Ciencia de los Datos y mostraremos cómo resolverlos en Python.Link: https://www.coursera.org/specializations/mathematics-for-data-science13- Matematicas discretas en la practicaPrice: $24.99Image by PacktDescripción: Las matemáticas discretas son un campo de las matemáticas que se ocupa del estudio de los elementos finitos y distintos. Las teorías y los principios de las matemáticas discretas se utilizan ampliamente en la resolución de complejidades y en la construcción de algoritmos en la informática y en la computación de datos en la ciencia de los datos. Ayuda a comprender los algoritmos, las matemáticas binarias y generales que se utilizan comúnmente en las tareas basadas en datos.Link: https://www.packtpub.com/product/practical-discrete-mathematics/978183898314714- Matemáticas para la ciencia de los datos y el aprendizaje automático: Nivel universitarioPrecio: $12.99 usdPrice: $12.99Image by UdemyDescripción: En este curso aprenderemos matemáticas para la ciencia de los datos y el aprendizaje de las máquinas. También discutiremos la importancia de las matemáticas para la ciencia de los datos y el aprendizaje de las máquinas en la práctica. Además, el curso de Matemáticas para la ciencia de los datos y el aprendizaje de máquinas es un paquete de dos cursos de álgebra lineal y probabilidad y estadística. Así, los estudiantes aprenderán contenidos completos de probabilidad y estadística y álgebra lineal. No es que no vayas a completar todos los contenidos en este curso de 7 horas de videos. Este es un hermoso curso y he diseñado este curso de acuerdo a la necesidad de los estudiantes.Link: https://www.udemy.com/course/master-linear-algebra-and-probability-2-in-1-bundle/15- Habilidades matemáticas para ciencia de datosPrice: FreeImage by CourseraDescripción: Los cursos de ciencias de los datos contienen matemáticas... ¡no hay que evitarlo! Este curso está diseñado para enseñar a los alumnos las matemáticas básicas que necesitarán para tener éxito en casi cualquier curso de matemáticas de ciencias de los datos y fue creado para alumnos que tienen habilidades matemáticas básicas pero que no han tomado álgebra o pre-cálculo. Data Science Math Skills introduce el núcleo matemático sobre el que se basa la ciencia de los datos, sin complejidad adicional, introduciendo ideas y símbolos matemáticos desconocidos de una en una. Link: https://www.coursera.org/learn/datasciencemathskillsAvanzado: en esta última sección nos centraremos en la parte estadística (teoría de la probabilidad) y en la aplicación de las matemáticas a los algoritmos de deep learning. 16- Estadística y probabilidadPrice: FreeImage by KhanacademyLink: https://www.khanacademy.org/math/statistics-probabilityLink: https://www.khanacademy.org/math/statistics-probability17- Introducción a estadística inferencial: Precio: GratisPrice: FreeImage by UdacityDescripción: Las estadísticas inferenciales nos permiten sacar conclusiones a partir de datos que podrían no ser inmediatamente obvios. Este curso se centra en mejorar su capacidad para desarrollar hipótesis y utilizar pruebas comunes como las pruebas t, las pruebas ANOVA y la regresión para validar sus afirmaciones.Link: https://www.udacity.com/course/intro-to-inferential-statistics--ud20118- Métodos estadísticos y matemáticas aplicadas a la ciencia de los datosPrice: $124.99Image by PacktDescripción: El aprendizaje de las máquinas y el análisis de datos son el centro de atracción de muchos ingenieros y científicos. La razón es bastante obvia: su vasta aplicación en numerosos campos y las opciones de carrera en auge. Y Python es una de las principales plataformas de código abierto para la ciencia de los datos y la computación numérica. IPython, y su asociado Jupyter Notebook, proporcionan a Python interfaces eficientes para el análisis de datos y la visualización interactiva, y constituyen una puerta de entrada ideal a la plataforma. Si usted está entre los que buscan mejorar sus capacidades en el aprendizaje de las máquinas, entonces este curso es la elección correcta.Link: https://www.packtpub.com/product/statistical-methods-and-applied-mathematics-in-data-science-video/978178953921919- Explorando las matemáticas para programadores y científicos de datosPrecio: GratisImage by ManningDescripción: Unas buenas habilidades matemáticas son un prerrequisito si estás interesado en una carrera en ciencias de los datos, inteligencia artificial, criptografía o prácticamente cualquier campo tecnológico. Este mini ebook gratuito es el perfecto manual de aplicaciones matemáticas esenciales que necesitas para entrar en estas emocionantes y lucrativas carreras tecnológicas.Link: https://www.manning.com/books/exploring-math-for-programmers-and-data-scientists20- Matemáticas prácticas para deep learningPrice: $27.99Image by PacktDescripción: La mayoría de los programadores y científicos de datos luchan con las matemáticas, habiendo pasado por alto u olvidado conceptos matemáticos básicos. Este libro utiliza bibliotecas de Python para ayudar a comprender las matemáticas necesarias para construir modelos de aprendizaje profundo (DL).Link: https://www.packtpub.com/product/hands-on-mathematics-for-deep-learning/978183864729221- Matemáticas y Arquitecturas de Deep LearningPrice: $39.99Image by ManningDescripción: Los paradigmas matemáticos que subyacen en el aprendizaje profundo suelen comenzar como documentos académicos difíciles de leer, a menudo dejando a los ingenieros en la oscuridad sobre cómo funcionan realmente sus modelos. Matemáticas y Arquitecturas de Aprendizaje Profundo cierra la brecha entre la teoría y la práctica, estableciendo las matemáticas del aprendizaje profundo junto con las implementaciones prácticas en Python y PyTorch. Escrito por el experto en aprendizaje profundo Krishnendu Chaudhury, usted mirará dentro de la "caja negra" para entender cómo funciona su código, y aprenderá a comprender la investigación de vanguardia que puede convertir en aplicaciones prácticasLink: https://www.manning.com/books/math-and-architectures-of-deep-learningConclusiónEsta es una extensa recomendación sobre recursos para aprender matemáticas para data science, siguiendo el post anterior sobre el camino a seguir en este año 2021 para aprender data science. Cuando tenemos un tiempo limitado para el estudio debemos seleccionar los que mejor nos parezca y los que más se ajusten a nuestro estilo. Por ejemplo, podrías preferir los videos sobre los libros, así que vaya y elija lo que mejor se acomode a usted. Este material es suficiente tanto si desea dar una breve mirada a las matemáticas, como si quiere profundizar en ellas. Espero que lo encuentre útil. Si tienes otras recomendaciones de cursos, libros o videos, porfavor déjalas en los comentarios para que entre todos formemos enlaces de interes.Puedes leer más artículos de Data Science en español aquí PD: estamos creando un grupo privado de data scientists en Slack, si te quieres unir deja tus datos aqui: https://www.datacademy.dev/#slack¡Gracias por leer!
Deep learning
Machine Learning
4 Superpoderes Que Te Harán Indispensable En Una Carrera De Ciencias De La Información
Aprende sobre los mayores desafíos de la industria de la ciencia de los datos para evitar el estancamiento de tu carrera.Los desafíos que la gente encuentra en una carrera de ciencias de los datos son mucho más serios que los que enfrenta mientras están entrando en ella A menudo, hay un gran desajuste entre las expectativas de trabajo y las responsabilidades reales. Si tienes suerte de trabajar en las áreas a las que aspiras, colaborar con otros roles en un proyecto de ciencia de los datos puede ser una verdadera lucha.Puede ser más fácil conseguir que te extraigan un diente que hacer frente a las demandas diarias de tu jefe de proyecto. Si haces todo esto bien, podrías descubrir que tu solución no es tocada por los usuarios. "¿Por qué nadie entendería o usaría algo que es tan obvio?", se preguntará.Foto por Steven Libralon on UnsplashTodo esto puede llevar a una crisis existencial, al principio de su carrera de ciencias de los datos. El riesgo de estancamiento en la carrera es alto para muchos profesionales en este campo. ¿Cómo se maneja esto?Compartiré los 4 grandes desafíos peludos en los proyectos de ciencia de datos que causan muchas de sus luchas personales. Basándonos en lo aprendido en nuestro trabajo en Gramener, discutiremos lo que significan para ti. Y, cómo puedes aplastarlos para que se vuelvan indispensables en tu proyecto, y en la industria de la ciencia de los datos.1. Agudiza tu habilidad para manejar datos desordenadosFoto de Karim MANJRA en UnsplashLa mala calidad de los datos es uno de los principales desafíos de la ciencia de los datos. Los datos malos cuestan a las organizaciones más de 15 millones de dólares anuales. Se necesitan datos limpios y estructurados para obtener grandes, útiles y sorprendentes insights. ¿Le apetece utilizar técnicas de aprendizaje profundo? Entonces, necesitará muchos más datos y deben estar bien etiquetados."En la ciencia de los datos, el 80% del tiempo se dedica a preparar los datos, y el otro 20% a quejarse de eso. - Kirk Borne"Debes adquirir habilidades para descubrir los datos que tu problema de negocios necesita. Aprende a curar y transformar los datos para su análisis. Sí, la limpieza de los datos es un trabajo de científicos de datos. Juega con los datos y ensucia tus manos. Desarrollará un ojo para detectar anomalías y los patrones comenzarán a saltar a tus ojos.Lea también: Lo Esencial De Pandas Para La Ciencia De DatosDigamos que la intención de tu proyecto es analizar la experiencia del cliente. La primera tarea es buscar todos los datos potenciales como perfiles de clientes, transacciones, encuestas, actividades sociales. Cualquiera de estos que no se adapte a su problema de negocios debe ser eliminado. Inspeccione y limpie los datos y perderá algunos más. Haga esto durante semanas o meses, y entonces estará listo para su análisis!2. Aprende las técnicas y no te preocupes por las herramientasEl landscape de datos e inteligencia artificial por Matt Turk. ¿No puedes leer este gráfico? No te preocupes, ¡eso no viene al caso!La industria de la ciencia de los datos está llena de cientos de herramientas. Ninguna herramienta cubre todo el flujo de trabajo. Cada semana, se crean nuevas y brillantes herramientas. Y una docena de ellas desaparecen o son compradas. Las empresas gastan millones en licencias empresariales, sólo para descubrir que ya no son tan convincentes.Este ecosistema fragmentado plantea un gran desafío para los aspirantes. Una de las preguntas más frecuentes que me hacen es: "¿Debo aprender Python o R? ¿Power BI o D3?" Siempre digo que la herramienta realmente no importa. Aprende la técnica como la palma de tu mano. Siempre puedes transferir tu aprendizaje de una herramienta a otra en semanas.“La herramienta realmente no importa. Es la habilidad de la persona con una herramienta lo que cuenta.”Lea también:Un recorrido por los algoritmos de Machine learning Por ejemplo, para dominar la visualización, no empieces con las herramientas. Aprende los principios del diseño de información, los fundamentos del diseño visual y la teoría del color. Luego consigue datos reales e internaliza las técnicas resolviendo problemas. Cualquier herramienta de visualización que puedas tener a la mano manos servirá. No la optimizes demasiado.3. Domina la aplicación de las técnicas para resolver problemas del mundo realFoto de Olav Ahrens Røtne en UnsplashMás del 80% de los proyectos de ciencia de datos fracasan. Adivina por qué? Hay desafíos a lo largo del ciclo de vida: desde elegir el problema de negocio equivocado hasta enmarcar un enfoque de solución incorrecto. Desde la elección de técnicas equivocadas hasta un fallo en la traducción a los usuarios. Cada rol en la ciencia de los datos contribuye a estos errores. No, la mayoría de estas brechas no son técnicas.“La mayoría de los proyectos de ciencia de los datos no ofrecen un retorno de la inversión porque resuelven los problemas equivocados.”¿Cuál es el tema común aquí? Es la mala aplicación de las habilidades a los problemas de los negocios. Por ejemplo, cuando los científicos de datos sólo quieren construir grandes modelos pero no prestan atención a las necesidades de sus usuarios, esto perjudica a los proyectos. No te detengas en la intuición de una técnica, o en las matemáticas que hay detrás de ella. Encuentra dónde es relevante y qué se necesita para aplicarla. Invierte en la solución de los problemas del usuario.Digamos que has dominado una docena de técnicas de pronóstico. ¿Cuál elegirías cuando tu usuario necesite el precio de mañana para hacer su negocio, pero sólo cuenta con un punto de datos del pasado? ¿Cambia si tienes 100 o 10.000 puntos? ¿Y si sólo necesita saber si "mantener" o "vender al precio de mercado"?Lea también: Casos de usos de machine learning4. Ir más allá de los datos y las habilidades analíticas para tener éxito en el análisis de datos!Las empresas a menudo sólo contratan por habilidades de aprendizaje de la máquina. Invierten en ingeniería de datos y pueden organizar algún tipo de entrenamiento en visualización y conocimiento de datos. Pero, este equipo está desequilibrado y dará resultados no óptimos. Cada equipo de ciencia de datos debe tener 5 habilidades para lograr resultados efectivos en un proyecto.Las 5 funciones y habilidades críticas para entregar valor en la ciencia de los datos (Cómics: www.gramener.com/comicgen)Si estás realizando uno de estos roles, ¿deberías preocuparte por esto? Por supuesto. Así es como puedes aumentar tu influencia en cualquier proyecto. Domina una habilidad como tu área principal. Este es tu papel principal. Invierte y aprende una habilidad secundaria. Deberías ser capaz de realizarlo como respaldo y apoyar en este¿Qué hay de los otros tres? Obtén una amplia familiaridad. Debes ser capaz de relacionarte con ellos, entender las áreas de dolor y conectarlos con tu trabajo. ¡Haz esto y valdrás tu peso en oro!“Necesitas mucho más que datos y análisis para tener éxito en la industria de análisis de datos”Un punto clave aquí es que hay 5 roles en una carrera de ciencias de datos. No sólo "científico de datos". Digamos que eres un ingeniero de aprendizaje automático. Tu habilidad secundaria puede ser el diseño de información. Aprende sobre los gráficos y cómo elegir el correcto. Encuentra lo que los usuarios buscan en las imágenes y lo que significa para la interfaz de usuario que estás construyendo.Es hora de hacerte indispensableTodos los proyectos de ciencia de los datos se enfrentan a estos cuatro desafíos. Las organizaciones pierden millones debido al fracaso de las inversiones en ciencia de los datos. Los clientes están preocupados porque sus problemas empresariales siguen sin resolverse. Los líderes y gerentes de la ciencia de los datos se enloquecen porque la tasa de fracaso de los proyectos es una barbaridad.Todo esto se traduce a menudo en un exceso de demandas y una gran presión sobre los profesionales de la ciencia de los datos. Comprender estos grandes desafíos es un gran punto de partida para usted. Empatice con su equipo de proyecto y los líderesLos cuatro consejos que has aprendido aquí te preparará para afrontar los desafíos de frente. Empiece a practicarlos y verá una mayor confianza y aceptación de su trabajo. Pronto, se volverá indispensable y ascenderá más rápido en su carrera.Buena suerte para superar estos desafíos en tu proyecto!¿Te han resultado útiles estas sugerencias? ¿Tienes más consejos para afrontar estos retos? Añádelos a los comentarios. Mantente en contacto conmigo en Linkedin, Twitter.Foto del título por Steven Libralon en Unsplash.
Deep learning
Data Science
Machine Learning
Google Cree Que Los Frameworks De Machine Learning Necesitan Cinco Cosas Clave Para Llegar A Todos Los Desarrolladores
Google Research realizó una encuesta detallada dentro de los desarrolladores de TensorFlow.js para determinar los elementos clave que racionalizan la adopción de los frameworks de Machine Learning.El aprendizaje automático (Machine Learning) podría ser el elemento más importante de la próxima generación de aplicaciones informáticas y, sin embargo, su uso está limitado a desarrolladores altamente cualificados. A diferencia de las tendencias tecnológicas anteriores, el aprendizaje automático no muestra un camino claro de transición hacia la adopción por parte de los desarrolladores en general. Parte de esa fricción se debe al hecho de que la mayoría de los frameworks de machine learning siguen requiriendo un punto de entrada muy alto en términos de conocimientos informáticos. Recientemente, Google Research publicó un documento en el que se esbozaban cinco principios clave para romper ese punto de fricción y diseñar frameworks de aprendizaje automático que puedan ser adoptados por una gama más amplia de desarrolladores.Tinkers vs. Científicos: El síndrome del impostor en el aprendizaje automáticoEn un famoso artículo publicado en 1978, la Dra. Pauline R. Clance describió un fenómeno en el que los individuos consumados experimentan una falsedad intelectual autopercibida o la sensación de ser un fraude. La Dra. Clance se refirió a este fenómeno como el "síndrome del impostor" que se ha convertido en un término común en la psicología moderna. El síndrome impostor está presente en todo tipo de áreas de la sociedad moderna, pero definitivamente prevalece en escenarios que requieren una gran capacidad intelectual. Creo que una versión de ese fenómeno está influyendo negativamente en la adopción de tecnologías de aprendizaje automático, ya que muchos desarrolladores creen que no tienen los conocimientos matemáticos e informáticos necesarios para saltar a este espacio.La industria de las tecnologías de desarrollo de software ha sido una búsqueda constante para amarrar el punto de entrada para aumentar la adopción. Desde los primeros lenguajes de programación hasta movimientos recientes como los desarrollos móviles, las tecnologías de desarrollo de software se someten a varios ciclos de simplificación para atraer a grupos más amplios de desarrolladores. Desde los primeros días de los lenguajes de programación y las interfaces gráficas, la mayoría de los stacks de desarrollo de programas informáticos han creado capas y capas de abstracciones que ocultan los detalles informáticos subyacentes. Parte de la adopción masiva de los desarrolladores experimentada por las tecnologías móviles y de la web se basó en atraer a desarrolladores, muchos de los cuales son "thinkers" y hacedores sin conocimientos de informática. Ese camino hacia la simplificación no parece muy obvio en el caso del aprendizaje automático.La investigación de Google descubrió correctamente que muchos desarrolladores temen entrar en las tecnologías de aprendizaje automático porque carecen que los conocimientos matemáticos son necesarios. A pesar de la abundante evidencia de hackers autodidactas que juegan con modelos de aprendizaje automático, la mayoría de los desarrolladores ven a los especialistas en aprendizaje automático como personas con profundos conocimientos de álgebra lineal y estadística; una definición de libro de texto del síndrome del impostor. En mi opinión, hay varios factores que no ayudan a mitigar este desafío:La terminología matemática en la documentación de los frameworks de Machine Learning: Hoy en día, la documentación de la mayoría de los frameworks de aprendizaje de máquinas se lee como una clase de matemáticas en lugar de un framework de desarrollo.Aceleración de la investigación de la inteligencia artificial (IA): El rápido crecimiento de la investigación de la IA es algo fascinante. Sin embargo, muy regularmente los frameworks de aprendizaje de máquinas se ven obligados a adaptar nuevas técnicas de investigación que carecen de una experiencia adecuada de los desarrolladores.Falta de herramientas de gestión del ciclo de vida de Machine Learning: El proceso de depuración o prueba de los modelos de aprendizaje automático se siente como un ejercicio interminable de ajuste de cientos de parámetros oscuros que no son comprendidos por los desarrolladores. El conjunto de herramientas existentes en el espacio de aprendizaje automático es todavía demasiado limitado para su adopción por la corriente principal.Los cinco principios de Google para mejorar los frameworks de machine learningEl diseño de mejores frameworks de aprendizaje automático para racionalizar la adopción por parte de los desarrolladores es uno de los retos fundamentales de la próxima década del espacio de la IA. Basándose en su investigación, Google identificó cinco aspectos clave que los diseñadores de frameworks de aprendizaje automático deben considerar para reducir los puntos de entrada para los desarrolladores:1) Desmitificar los conceptos matemáticos y algorítmicosA pesar de los esfuerzos en curso para reducir las barreras del aprendizaje automático, y a pesar de la preponderancia de los recién llegados al ML que aspiran a aprender, sorprendentemente muchos desarrolladores percibieron que los recursos actuales están destinados a públicos más avanzados. Los nuevos frameworks de aprendizaje de máquinas deberían abstraer estos modelos matemáticos en conceptos prácticos y digeribles. Por ejemplo, la mayoría de los desarrolladores no tienen idea de lo que es un gradiente-descendiente, pero sin duda pueden entender el ajuste del ritmo de aprendizaje de un modelo.2) Apoyar el aprendizaje prácticoHoy en día, la mayoría de los tutoriales que destacan las mejores prácticas en el aprendizaje de las máquinas requieren un número de líneas de código sustanciales. Abstraer las mejores prácticas en pequeños bloques de código que puedan ser utilizados por los desarrolladores principiantes es esencial para ayudar a los desarrolladores que prefieren un enfoque de "aprender haciendo" para materializar una nueva tecnología.3) Apoyar la reutilización y modificación de modelos Machine Learning prefabricadosComplementando el punto anterior, parece importante incluir modelos canónicos que podrían ayudar a los desarrolladores a tomar conciencia de las idiosincrasias del aprendizaje de máquina desde dentro de su flujo de trabajo de programación existente. Además de reducir el punto de entrada para los desarrolladores, también puede ayudar a reforzar la coherencia entre los programas.4) Sintetizar las mejores prácticas de Machine Learning en consejos justo a tiempoDecisiones tales como qué parámetro afinar primero o cuántas capas utilizar en un modelo pueden requerir años de experiencia en el desarrollo del aprendizaje de máquinas. La creación de mejores herramientas de visualización e interpretación que utilicen indicadores estratégicos puede ayudar a los desarrolladores a superar este desafío.5) Destacar y apoyar la naturaleza experimental del Machine LearningEl ciclo de vida de las aplicaciones de aprendizaje de máquina es diferente de las tendencias tecnológicas anteriores. Específicamente, las aplicaciones de aprendizaje de máquinas requieren una gran experimentación, ensayo y error. A pesar de utilizar el mejor modelo para un escenario específico, se requiere llevar a cabo docenas y docenas de experimentos para asegurar su óptimo rendimiento. La facilitación del proceso de experimentación debería ser otro punto clave en los futuros frameworks de aprendizaje automático.Estas son algunas de las recomendaciones que Google Research considera necesarias para agilizar la adopción de frameworks de aprendizaje automático. En última instancia, los nuevos stacks para desarrolladores deben equilibrar la incorporación de nuevos métodos de investigación con una experiencia sencilla de desarrollo que facilite la adopción por una gama más amplia de desarrolladores.
Deep learning
Machine Learning
Data Science
Numpy Y OpenCV En Acción
Numpy es una poderosa librería de fuente libre de python, que es ampliamente utilizada sobre todo para hacer calculos matematicos y estadisticos. Esto es debido a que muchas de sus operaciones son basadas en cálculos vectoriales haciendo uso de arreglos multidimensionales. Además, otras importantes librerías como Pandas y OpenCV hacen uso de Numpy. En este post veremos un poco la eficiencia de numpy al momento de seleccionar los datos presentados en filas y columnas. Adicionalmente, hablaremos de OpenCV el cual es muy usado en procesamiento de imágenes,machine learning y visión computacional. También, entenderemos cómo se relaciona con Numpy. Por último, trabajaremos operaciones básicas con OpenCV y cómo podemos hacer uso de Numpy en el procesamiento de imágenes.REQUERIMIENTOS Para empezar a trabajar con Numpy y OpenCV previamente debemos tener python instalado en el computador. En el link inferior encontrarás la página de descarga para obtener Python. https://www.python.org/downloads/Ya instalado Python, podemos seguir con obtener Numpy y OpenCV como sigue en los pasos inferiores.Para obtener Numpy solo basta con usar este comando “pip install numpy” en el command line de tu computador. En el link de abajo, puedes encontrar una breve descripción. https://pypi.org/project/numpy/De igual manera para OpenCV, podemos usar este comando “pip install opencv-python”. También, puedes ver el link de abajo para ver una breve descripción. https://pypi.org/project/opencv-python/Otra alternativa es tener descargado Anaconda, en el cual todos esos packages (Numpy,OpenCV etc...) han sido previamente instalados. Para descargar Anaconda dirígete al link en la parte inferior. https://www.anaconda.com/distribution/PRIMEROS PASOS CON NUMPYEl primer paso es importar la librería haciendo uso de la keyword “import”. Como sigue a continuación.import numpy as npYa importado Numpy , podemos crear una lista en la cual encontraremos números entre 0-10 que denota el puntaje de una encuesta para un nuevo producto lanzado en el mercado. La idea es seleccionar los puntajes usando Python y Numpy y ver la diferencia en cuanto a la selección.-Selección de datos únicos-Selección de columna -Selección de columna pero no completaComo podemos observar Python hace mucho uso del for loop para su selección. Esto le demanda tiempo y recurso por el hecho de tomar un dato a la vez. Por otro lado, Numpy usa vectores para hacer una selección mas rapida. De igual manera sus operaciones matemáticas se basan en vectorización. -Operaciones básicas con NumpyA continuación descargamos un dataset que presenta el número de muertes por Malaria filtrada por año y continente. De estos datos, veremos cómo extraer la información para ser analizada. Después, aplicaremos operaciones básicas de Numpy. El dataset fue descargado del siguiente link.https://ourworldindata.org/malaria#malaria-death-rates-Primero, importamos el csv donde está contenido la información como una lista.-Transformamos la lista en un array de Numpy.-Luego, extraemos la muertes de Malaria ocurridas en el año 2000 para los diferentes continentes.-Podemos comprobar esto haciéndola con Python y luego ver la diferencia.-Como podemos observar, obtuvimos los mismos valores. Sin embargo, estos valores son strings. Ahora los convertiremos a enteros. -Ahora que son enteros, podemos sumar los valores y saber el total de muertes de Malaria ocurridas en el año 2000.-También, sacar el promedio.-Valor maximo y minimo. HABLEMOS UN POCO DE OpenCV OpenCV es una poderoso librería para trabajar con computer vision, machine learning and image processing entre muchas otras aplicaciones. Un punto muy interesante de esta librería, es que hace uso de Numpy para manejar toda su estructura de vectores. Esto facilita mucho el uso de ciertas complejas operaciones ya que Numpy maneja muy bien las matematicas, estadisticas y vectores. Otro punto a favor, es la integración con otras librerías basadas en Numpy como Scipy and Matplotlib. Para mayor información acerca de OpenCV y su relación con Numpy mira el siguiente link.https://docs.opencv.org/master/d0/de3/tutorial_py_intro.htmlA continuación, veremos cómo importar OpenCV y leer una imagen desde esta librería y mostrarla con Matplotlib. En base a OpenCV,Numpy y Matplotlib desarrollaremos cada ítem que se encuentra en la lista inferior. -Importar OpenCV y matplotlib.-leer una imagen con OpenCV en escala de grises y de filtro RGB.-Verificar el tipo,dimensiones de la imagen (escala de grises y RGB).Para la imagen de escalas de grises:En esta sección podemos apreciar que una imagen en escalas de grises es un array de Numpy de 2 dimensiones. El cual es de tipo “Int8” , lo cual significa que está compuesto por valores entre 0-255. Estos dos valores los podemos asemejar con el color Negro para 0 y Blanco para 255 en el rango de colores. Por otra parte una imagen con filtros RGB (red,green,blue) es un array de Numpy de 3 dimensiones.Ahora que sabemos esto, podemos trabajar con las imágenes como lo hacíamos con los arrays de Numpy de dos dimensiones. Pero primero, veamos como lucen las imágenes. Para la imagen RGB, podemos ver cómo luce cada filtro.Ahora sí juguemos con las images de 2 dimensiones.-Podemos mostrar la mitad superior de la imagen de escala de grises.Luego la mitad inferior.También con Numpy podemos rotar las imágenes.Adicionalmente, hay una opción para rotar la imagen 90 grados.Por último, saquemos el negativo de una imagen con Numpy.Operaciones aritméticas con imágenes haciendo uso de Numpy y OpenCVImportemos una nueva imagen y ajustamos su tamaño al mismo de la primera imagen importada con shape de (600,571).Veamos la adición de imágenes con OpenCV.Ahora con Numpy. Cuando se usa Numpy los resultados se basan en operaciones de modulo y las imágenes no se ven muy bien. Por el contrario, usando openCV se mucho mejor porque está basada en saturación ya sea a 255 o a 0 dependiendo la operación. Para entender un poco mejor este concepto de modulo y saturación, simplemente es entender que Numpy saca el modulo de la operación sea suma o resta. Sin embargo , OpenCV usa saturación porque siempre trata de aproximar a 255 cuando es suma o 0 cuando es resta.Por tal motivo, las imágenes se ven más limpias.Para resta con Numpy podemos ver como sigue abajo.Ahora con OpenCV.Puedes tomar como referencia el link de abajo para ver las operaciones aritméticas con OpenCv y Numpy.https://docs.opencv.org/master/d0/d86/tutorial_py_image_arithmetics.html
Machine Learning
Deep learning
Uber Ha Estado Creando Silenciosamente Uno De Los Stacks Open Source De Deep Learning Más Impresionantes Del Mercado
Veamos algunos de los principales proyectos de código abierto de machine learning de UberLa inteligencia artificial (IA) ha sido una tendencia tecnológica atípica. En un ciclo tecnológico tradicional, la innovación suele comenzar con las nuevas empresas que tratan de disrumpir a los titanes de la industria. En el caso de la IA, la mayor parte de la innovación en el espacio ha venido de los grandes laboratorios corporativos de empresas como Google, Facebook, Uber o Microsoft. Esas empresas no sólo están liderando impresionantes vías de investigación sino que también abren regularmente nuevos frameworks y herramientas que agilizan la adopción de las tecnologías de la IA. En ese contexto, Uber ha surgido como uno de los contribuyentes más activos a las tecnologías de IA de código abierto en los ecosistemas actuales. En sólo unos pocos años, Uber ha abierto regularmente proyectos de código abierto en diferentes áreas del ciclo de vida de la IA. Hoy, me gustaría revisar algunos de mis favoritos.Uber es un campo de juego casi perfecto para las tecnologías de IA. Combina todos los requisitos tradicionales de la IA de una empresa de tecnología a gran escala con un asiento en primera fila para los primeros escenarios de transporte de la IA. Como resultado, Uber ha estado construyendo aplicaciones de machine y deep learning a través de escenarios muy diversos que van desde clasificaciones de clientes hasta vehículos de autónomos. Muchas de las tecnologías utilizadas por los equipos de Uber han sido de fuente abierta y han recibido elogios de la comunidad de machine learning. Veamos algunas de mis favoritas:Nota: No estoy cubriendo tecnologías como Michelangelo o PyML, ya que están bien documentadas al ser de código abierto.Ludwig: Una caja de herramientas para modelos de machine learning sin códigoLudwig es una caja de herramientas basada en TensorFlow que permite entrenar y probar modelos de aprendizaje profundo sin necesidad de escribir código. Conceptualmente, Ludwig fue creado bajo cinco principios fundamentales:No se requiere código: no se necesitan habilidades de programación para entrenar un modelo y usarlo para obtener predicciones.Generalidad: un nuevo enfoque basado en el tipo de datos para el diseño de modelos de aprendizaje profundo que hace que la herramienta sea utilizable en muchos casos de uso diferentes.Flexibilidad: los usuarios experimentados tienen un amplio control sobre la construcción de modelos y el entrenamiento, mientras que los recién llegados la encontrarán fácil de usar.Extensibilidad: es fácil añadir una nueva arquitectura de modelo y nuevos tipos de datos de características.Comprensibilidad: los internos de los modelos de aprendizaje profundo se consideran a menudo cajas negras, pero proporcionamos visualizaciones estándar para comprender su rendimiento y comparar sus predicciones.Utilizando Ludwig, un científico de datos puede entrenar un modelo de aprendizaje profundo simplemente proporcionando un archivo CSV que contiene los datos de entrenamiento así como un archivo YAML con las entradas y salidas del modelo. Utilizando esos dos puntos de datos, Ludwig realiza una rutina de aprendizaje de múltiples tareas para predecir todas las salidas simultáneamente y evaluar los resultados. Bajo cubierta, Ludwig proporciona una serie de modelos de aprendizaje profundo que se evalúan constantemente y pueden combinarse en una arquitectura final. El equipo de ingeniería de Uber explica este proceso usando la siguiente analogía: "si las librerías de aprendizaje profundo proporcionan los bloques de construcción para hacer un edificio, Ludwig proporciona los edificios para hacer una ciudad, y usted puede elegir entre los edificios disponibles o añadir su propio edificio al conjunto de los disponibles".Pyro: Un lenguaje de programación probabilístico nativoPyro es un lenguaje de programación probabilístico profundo (PPL) lanzado por Uber AI Labs. Pyro está construido sobre PyTorch y se basa en cuatro principios fundamentales:Universal: Pyro es un PPL universal - puede representar cualquier distribución de probabilidad computable. ¿Cómo? Comenzando desde un lenguaje universal con iteración y recursión (código Python arbitrario), y luego agregando muestreo aleatorio, observación e inferencia.Escalable: Pyro escala a grandes conjuntos de datos con poca sobrecarga sobre el código escrito a mano. ¿Cómo? Construyendo modernas técnicas de optimización de cajas negras, que usan mini lotes de datos, para aproximar la inferencia.Mínimalista: Pyro es ágil y mantenible. ¿Cómo? Pyro se implementa con un pequeño núcleo de poderosas abstracciones componibles. Siempre que es posible, el trabajo pesado se delega a PyTorch y otras bibliotecas.Es flexible: Pyro apunta a la automatización cuando se quiere y al control cuando se necesita. ¿Cómo? Pyro utiliza abstracciones de alto nivel para expresar modelos generativos y de inferencia, mientras que permite a los expertos personalizar fácilmente la inferencia.Estos principios a menudo llevan la implementación de Pyro en direcciones opuestas. Ser universal, por ejemplo, requiere permitir una estructura de control arbitraria dentro de los programas Pyro, pero esta generalidad hace difícil la escalada. Sin embargo, en general, Pyro logra un brillante equilibrio entre estas capacidades haciendo uno de los mejores PPL para aplicaciones del mundo real.Manifold: Un conjunto de herramientas de depuración e interpretación para modelos de aprendizaje automáticoMainfold es una tecnología Uber para depurar e interpretar modelos de machine learning a escala. Con Manifold, el equipo de ingeniería de Uber quería lograr algunos objetivos muy tangibles:Depurar errores de código en un modelo de aprendizaje automático.Comprender las fortalezas y debilidades de un modelo tanto en forma aislada como en comparación con otros modelos.Comparar y ensamblar diferentes modelos.Incorporar los conocimientos adquiridos a través de la inspección y el análisis de rendimiento en las iteraciones del modelo.Para lograr esos objetivos, Manifold segmenta el análisis de machine learning en tres fases principales: Inspección, Explicación y Refinamiento.Inspección: En la primera parte del proceso de análisis, el usuario diseña un modelo e intenta investigar y comparar el resultado del modelo con otros existentes. Durante esta fase, el usuario compara las métricas de rendimiento típicas, como la exactitud, la precisión/recordancia y la curva característica de funcionamiento del receptor (ROC), para tener información sobre si el nuevo modelo supera a los existentes.Explicación: En esta fase del proceso de análisis se intenta explicar las diferentes hipótesis formuladas en la fase anterior. Esta fase se basa en el análisis comparativo para explicar algunos de los síntomas de los modelos específicos.Refinamiento: En esta fase, el usuario intenta verificar las explicaciones generadas en la fase anterior codificando en el modelo los conocimientos extraídos de la explicación y probando el rendimiento.Plato: Un framework para la construcción de agentes de conversación a escalaUber construyó el Plato Research Dialogue System (PRDS) para abordar los desafíos de la construcción de aplicaciones de conversación a gran escala. Conceptualmente, el PRDS es un framework para crear, entrenar y evaluar agentes de IA conversacionales en diversos entornos. Desde un punto de vista funcional, el PRDS incluye los siguientes bloques de construcción:Reconocimiento del habla (transcribir el discurso al texto)Comprensión del lenguaje (extrae el significado de ese texto)Seguimiento del Estado (información agregada sobre lo que se ha dicho y hecho hasta ahora)Llamada a la API (búsqueda en una base de datos, consulta a una API, etc.)Política de diálogo (generar un significado abstracto de la respuesta del agente)Generación del lenguaje (convertir el significado abstracto en texto)Síntesis del habla (convertir el texto en discurso)El PRDS se diseñó teniendo en cuenta la modularidad para incorporar la investigación de vanguardia en sistemas conversacionales, así como la evolución continua de cada componente de la plataforma. En el PRDS, cada componente puede ser entrenado ya sea en línea (a partir de interacciones) o fuera de línea e incorporarse al núcleo del motor. Desde el punto de vista del entrenamiento, el PRDS soporta interacciones con usuarios humanos y simulados. Estos últimos son comunes para poner en marcha agentes de IA conversacionales en escenarios de investigación, mientras que los primeros son más representativos de interacciones en vivo.Horovod: Un framework para el entrenamiento de deep learning a escalaHorovod es una de los stacks de ML de Uber que se ha hecho muy popular en la comunidad y que ha sido adoptada por equipos de investigación de potencias de la IA como DeepMind u OpenAI. Conceptualmente, Horovod es un framework para ejecutar trabajos de entrenamiento de aprendizaje profundo distribuido a escala.Horovod aprovecha los stacks de interfaz de paso de mensajes como OpenMPI para permitir que un trabajo de entrenamiento se ejecute en una infraestructura altamente paralela y distribuida sin ninguna modificación. Ejecutar un trabajo de entrenamiento distribuido de TensorFlow en Horovod se logra en cuatro simples pasos:hvd.init() inicializa Horovod.config.gpu_options.visible_device_list = str(hvd.local_rank()) asigna una GPU a cada uno de los procesos de TensorFlow.opt=hvd.DistributedOptimizer(opt) envuelve cualquier optimizador regular de TensorFlow con el optimizador Horovod que se encarga de promediar los gradientes usando el anillo de reducción.hvd.BroadcastGlobalVariablesHook(0) difunde las variables del primer proceso a todos los demás procesos para asegurar una inicialización consistente.Uber AI Research: Una fuente regular de investigación de IAPor último, debemos mencionar la activa contribución de Uber a la investigación de la IA. Muchos de los lanzamientos de código abierto de Uber están inspirados en sus esfuerzos de investigación. El sitio web de Investigación de IA de Uber es un fenomenal catálogo de artículos que destacan el último esfuerzo de Uber en la investigación de la IA.Estas son algunas de las contribuciones del equipo de ingeniería de Uber que han sido adoptadas regularmente por la comunidad de investigación y desarrollo de la IA. A medida que Uber continúa implementando soluciones de IA a escala, deberíamos ver frameworks nuevos e innovadores que simplifiquen la adopción del aprendizaje automático por parte de los científicos de datos e investigadores.
