Data Science
Visualization
Matplotlib
Identificando Relaciones Lineales Entre Variables En Machine Learning
Identificando Relaciones Lineales Entre Variables En Machine Learning
Data Science
Matplotlib
Visualization
12 Proyectos Geniales De Data Science Para Principiantes Y Expertos
"¿Cuántos proyectos de ciencia de datos ha completado hasta ahora?"El dominio de la Ciencia de Datos trae consigo una variedad de herramientas, procesos, algoritmos y sistemas de extracción de datos estructurados y no estructurados por igual, para identificar patrones significativos en ella.La Ciencia de Datos ha estado en auge durante los últimos dos años, empujado por la Inteligencia Artificial y debido a las diversas innovaciones, que la ayudarán a llevarla aún más lejos y al siguiente nivel. A medida que más industrias empiezan a darse cuenta del poder de la Ciencia de Datos, más oportunidades surgen en el mercado.Si te gusta la Ciencia de Datos y estás ansioso por tener un sólido conocimiento de la tecnología, ahora es un buen momento para perfeccionar tus habilidades. El propósito de escribir este artículo es compartir algunas ideas prácticas para su próximo proyecto, que no sólo aumentará su confianza en la Ciencia de Datos sino que también jugará un papel crítico en la mejora de sus habilidades.Puedes leer más artículos de Data Science en español aquí Los datos realmente impulsan todo lo que hacemos.- Jeff WeinerProyectos interesantes de ciencia de datosEntender la ciencia de datos puede ser bastante confuso al principio, pero con una práctica constante, pronto se puede empezar a comprender las diversas nociones y terminologías del tema. La mejor manera de ganar más exposición a la Ciencia de Datos, aparte de revisar la literatura, es tomar algunos proyectos útiles que no sólo lo mejorarán, sino que también harán su currículum vitae más impresionante.En esta sección, compartiremos un puñado de ideas de proyectos divertidos e interesantes con usted, que se extienden a todos los niveles de habilidad, desde principiantes, intermedios y expertos.Pero antes de sumergirte en esto también puedes ver algunas ideas de proyectos python para desarrolladores de python aquí -1. Construyendo ChatbotsLenguaje: PythonConjunto de datos: Intents archivo JSONCódigo fuente: Construye tu primer proyecto de Chatbot en PythonLos chatbots juegan un papel fundamental para las empresas, ya que pueden manejar sin esfuerzo un aluvión de consultas y mensajes de los clientes sin ningún tipo de ralentización. Han reducido por sí mismos la carga de trabajo del servicio de atención al cliente para nosotros, automatizando la mayor parte del proceso. Lo hacen utilizando técnicas respaldadas por la Inteligencia Artificial, el Aprendizaje Automático y la Ciencia de los Datos.Los chatbots trabajan analizando la información del cliente y respondiendo con una respuesta mapeada apropiada. Para entrenar al chatbot, se pueden usar Redes Neuronales Recurrentes con el conjunto de datos JSON intencionados mientras que la implementación puede ser manejada usando Python. Si quieres que tu chatbot sea de dominio específico o de dominio abierto depende de su propósito. A medida que estos chatbots procesan más interacciones, su inteligencia y precisión también aumentan.Leat Tambien: Las 5 Principales Razones Para Volverse Cientifico De Datos En 20202. Detección de fraude con tarjetas de créditoLenguaje: R o PythonConjunto de datos: Los datos sobre la transacción de las tarjetas de crédito se utilizan aquí como un conjunto de datos.Código fuente: Detección de fraude de tarjetas de crédito usando PythonLos fraudes con tarjetas de crédito son más comunes de lo que crees, y últimamente, han estado en el punto más alto. Hablando en sentido figurado, estamos en camino de cruzarnos con mil millones de usuarios de tarjetas de crédito para finales de 2022. Pero gracias a las innovaciones en tecnologías como la Inteligencia Artificial, el Aprendizaje Automático y la Ciencia de Datos, las compañías de tarjetas de crédito han sido capaces de identificar e interceptar con éxito estos fraudes con suficiente precisión.En pocas palabras, la idea detrás de esto es analizar el comportamiento de gasto habitual del cliente, incluyendo el mapeo de la ubicación de esos gastos para identificar las transacciones fraudulentas de las no fraudulentas. Para este proyecto, se puede usar R o Python con el historial de transacciones del cliente como conjunto de datos e ingerirlo en árboles de decisión, redes neuronales artificiales y regresión logística. A medida que alimentas más datos a tu sistema, deberías ser capaz de aumentar su precisión general.Puedes leer más artículos de Data Science en español aquí 3. Detección de noticias falsasLenguaje: PythonConjunto de datos/paquetes: news.csvCódigo fuente: Detección de noticias falsasEstamos seguros de que las noticias falsas no necesitan presentación. En el mundo conectado de hoy en día, se ha vuelto ridículamente fácil compartir noticias falsas por Internet. De vez en cuando, se puede ver cómo se difunde información falsa en línea desde fuentes no autorizadas que no sólo causan problemas a las personas a las que se dirigen, sino que también tienen el potencial de causar pánico generalizado e incluso violencia.Para frenar la propagación de noticias falsas, es crucial identificar la autenticidad de la información, lo que puede hacerse utilizando este proyecto de Ciencia de Datos. Para ello, se puede utilizar Python y construir un modelo con TfidfVectorizer y PassiveAggressiveClassifier para separar las noticias reales de las falsas. Algunas de las librerías de Python adecuadas para este proyecto son pandas,NumPy, y scikit-learn, y para el conjunto de datos, puedes usar News.csv.4. Predicción de incendios forestalesPhoto by Pixabay from PexelsLa construcción de un sistema de predicción de incendios forestales será otro buen uso de las capacidades que ofrece la Ciencia de Datos. Un incendio forestal es esencialmente un incendio incontrolado en un bosque. Cada incidente de un incendio forestal ha causado una inmensa cantidad de daños no sólo a la naturaleza sino también al hábitat animal y a la propiedad humana.Para controlar e incluso predecir la naturaleza caótica de los incendios forestales, se puede utilizar la agrupación de k-means para identificar los principales focos de incendio y su gravedad. Esto podría ser útil para asignar adecuadamente los recursos. También puede utilizar los datos meteorológicos para encontrar períodos comunes, estaciones de incendios forestales para aumentar la precisión de su modelo.5. Clasificación del cáncer de mamaPhoto by Anna Shvets from PexelsLenguaje: PythonConjunto de datos: IDC (Carcinoma ductal invasivo)Código fuente: Clasificación del cáncer de mama con aprendizaje profundoEn caso de que quieras añadir un proyecto relacionado con la industria de la salud a tu portafolio, puedes intentar construir un sistema de detección de cáncer de mama utilizando Python. Los casos de cáncer de mama han aumentado últimamente, y la mejor manera de luchar contra el cáncer de mama es identificarlo en una etapa temprana y tomar las medidas preventivas adecuadas.Para construir tal sistema con Python, puedes usar el conjunto de datos IDC (Invasive Ductal Carcinoma), que contiene imágenes histológicas de células malignas que inducen al cáncer, y puedes entrenar tu modelo en este conjunto de datos. Para este proyecto, encontrará las redes neuronales convolucionales más adecuadas para la tarea, y en cuanto a las bibliotecas de Python, puede usar NumPy, OpenCV, TensorFlow, Keras, scikit-learn, y Matplotlib.Puedes leer más artículos de Data Science en español aquí 6. Detección de somnolencia del conductorLenguaje: PythonCódigo fuente: Sistema de detección de somnolencia del conductor con OpenCV y KerasLos accidentes de tráfico cobran muchas vidas cada año, y una de las causas de los accidentes de tráfico son los conductores somnolientos. Siendo una causa potencial de peligro en la carretera, una de las mejores maneras de prevenirlo es implementar un sistema de detección de somnolencia.Un sistema de detección de la somnolencia de los conductores como éste es otro proyecto que tiene el potencial de salvar muchas vidas al evaluar constantemente los ojos del conductor y alertarlo con alarmas en caso de que el sistema detecte el cierre frecuente de los ojos.Para este proyecto es imprescindible una cámara web que permita al sistema vigilar periódicamente los ojos del conductor. Para que esto suceda, este proyecto Python requerirá un modelo de aprendizaje profundo y bibliotecas como OpenCV, TensorFlow, Pygame y Keras.Lea Tambien: Entendiendo La Regresión Logística7. Sistemas de recomendación (Recomendación de película/espectáculo)Photo by Pixabay from PexelsLenguaje: RConjunto de datos: MovieLensPaquetes: recommenderlab, ggplot2, data.table, reshape2Código fuente: Proyecto de Sistema de Recomendación de Películas en R¿Alguna vez te has preguntado cómo las plataformas de medios como YouTube, NetFlix y otras te recomiendan qué ver a continuación? Para hacerlo, usan una herramienta llamada sistema de recomendación. Toma en consideración varias métricas, como la edad, los programas vistos anteriormente, el género más visto, la frecuencia de los programas, y los introduce en un modelo de aprendizaje automático que genera lo que el usuario podría querer ver a continuación.Basándose en sus preferencias y datos de entrada, puede intentar construir un sistema de recomendación basado en el contenido o un sistema de recomendación de filtrado colaborativo. Para este proyecto, puede elegir R con el conjunto de datos de MovieLens que cubre las clasificaciones de más de 58.000 películas, y en cuanto a los paquetes, puede usar recommenderlab, ggplot2, reshap2 y data.table.8. Análisis de sentimientosLenguaje: RConjunto de datos: janeaustenRCódigo fuente: Proyecto de Análisis de Sentimientos en RTambién conocido como minería de opiniones, el análisis de sentimientos es una herramienta respaldada por la Inteligencia Artificial, que esencialmente permite identificar, reunir y analizar las opiniones de la gente sobre un tema o un producto. Estas opiniones pueden provenir de una variedad de fuentes, incluyendo reseñas en línea, respuestas a encuestas, y pueden involucrar una gama de emociones como la felicidad, la ira, lo positivo, el amor, lo negativo, la emoción y más.Las empresas modernas basadas en datos son las que más se benefician de una herramienta de análisis de sentimientos, ya que les proporciona una visión crítica sobre la reacción de la gente ante el fracaso del lanzamiento de un nuevo producto o el cambio de estrategia comercial. Para construir un sistema como este, se podría usar R con el conjunto de datos de JaneaustenR junto con el paquete tidytext.9. Análisis Exploratorio de DatosLenguaje: PythonPaquetes: pandas, NumPy, seaborn, y matplotlibCódigo fuente - Análisis exploratorio de datos en PythonEl análisis de datos comienza con EDA. El Análisis Exploratorio de Datos juega un papel clave en el proceso de análisis de datos ya que este paso le ayuda a dar sentido a sus datos y a menudo implica visualizarlos para una mejor exploración. Para la visualización, se puede elegir entre una serie de opciones, como histogramas, diagramas de dispersión o mapas de calor. EDA también puede exponer resultados inesperados y valores atípicos en sus datos. Una vez que haya identificado los patrones y obtenido las percepciones necesarias de sus datos, estará listo para empezar.Un proyecto de esta escala se puede hacer fácilmente con Python, y para los paquetes, puedes usar pandas, NumPy, seaborn, y matplotlib.Una gran fuente para los conjuntos de datos de EDA es la Comunidad Analítica de IBM.10. Detección de género y predicción de edadLenguaje: PythonConjunto de datos: AdiencePaquetes: OpenCVCódigo fuente: OpenCV Detección de Edad con Aprendizaje ProfundoIdentificado como un problema de clasificación, este proyecto de detección de género y predicción de edad pondrá a prueba tanto su aprendizaje de máquina como sus habilidades de visión por computador. El objetivo aquí es construir un sistema que tome la imagen de una persona e intente identificar su edad y género.Para este divertido proyecto, puedes implementar Redes Neuronales Convolucionales y usar Python con el paquete OpenCV. Puedes tomar el conjunto de datos de Adience para este proyecto. Factores como el maquillaje, la iluminación, las expresiones faciales harán esto un desafío e intentarán despistar a tu modelo, así que tenlo en cuenta.11. Reconocer las emociones en el hablaLenguaje: PythonConjunto de datos: RAVDESSPaquetes: Librosa, Soundfile, NumPy, Sklearn, PyaudioCódigo fuente: Reconocimiento de la emoción del habla con librosaEl habla es una de las formas más fundamentales de expresarse, y esconde en su interior varias emociones, como la calma, la ira, la alegría y la excitación, por nombrar algunas. Analizando las emociones que hay detrás del habla, es posible utilizar esta información para reestructurar nuestras acciones y servicios, e incluso productos, para ofrecer un servicio más personalizado a individuos específicos.Este proyecto de Reconocimiento de Emociones del Habla trata de identificar y extraer emociones de múltiples archivos de sonido que contienen el habla humana. Para hacer algo así en Python, se pueden utilizar los paquetes Librosa, SoundFile, NumPy, Scikit-learn y PyAaudio. Para el conjunto de datos, puedes usar la Base de Datos Audiovisual Ryerson de Discurso y Canción Emocional (RAVDESS), que tiene más de 7300 archivos para que los uses.12. Segmentación de clientesPhoto by You X Ventures on UnsplashLenguaje: RCódigo fuente: Segmentación de clientes mediante el aprendizaje automáticoLas empresas modernas se esfuerzan por prestar servicios altamente personalizados a sus clientes, lo que no habría sido posible sin alguna forma de categorización o segmentación de los clientes. Al hacerlo, las organizaciones pueden estructurar fácilmente sus servicios y productos en torno a sus clientes y, al mismo tiempo, dirigirse a ellos para obtener más ingresos.Para este proyecto, se utilizará el aprendizaje no supervisado para agrupar a los clientes en clusters basados en aspectos individuales como la edad, el género, la región, los intereses, etc. K-means clustering o clustering jerárquico será adecuado aquí, pero también puede experimentar con Fuzzy clustering o métodos de clustering basados en la densidad. Puede utilizar el conjunto de datos Mall_Customers como datos de muestra.Más ideas de proyectos de ciencias de datos para construir -Visualizaciones del CoronavirusVisualizando el cambio climáticoEl análisis de Uber PickupPrevisión del tráfico en la web mediante series temporalesImpacto del cambio climático en el suministro mundial de alimentosDetección de la enfermedad de ParkinsonExploración de datos PokemonVisualización de la temperatura de la superficie de la TierraDetección de tumores cerebrales con la ciencia de los datosPuedes leer más artículos de Data Science en español aquí ConclusiónA través de este artículo, intentamos cubrir más de 10 ideas de proyectos de Ciencia de Datos divertidos y prácticos para usted, que le ayudarán a entender el ABC de la tecnología. Siendo uno de los dominios de mayor demanda en la industria, el futuro de la Ciencia de los Datos encierra muchas promesas, pero para aprovechar al máximo las oportunidades que se avecinan, hay que estar preparado para asumir los retos que conlleva. Buena suerte!Nota: Para eliminar problemas de diferente tipo, quiero alertarles del hecho de que este artículo representa sólo mi opinión personal que quiero compartir, y ustedes tienen todo el derecho a estar en desacuerdo con él.Si tiene más sugerencias o ideas, nos encantaría escucharlas.Enlaces de interés:- Si desea competir y resolver problemas de data science- Si desea aprender más sobre data science- Si desea trabajar como data scientist
Jupyter
Python
Pandas
Matplotlib
Data Science
Como Crear Un Gráfico de Gantt Accediendo Por La API the Google
Como sabemos existen diversas formas de almacenar nuestros datos. Normalmente, podemos leer y extraer información de manera sencilla por medio de archivos txt.csv entre muchos otros. Sin embargo, también podemos extraer información de la nube de Google. En este post nos enfocaremos en extraer datos de la API de Google spreadsheet y graficar un diagrama de Gantt con estos datos.Para esto, seguiremos de forma general los pasos que se encuentran a continuación.Crear un spreadsheet de Google con datos de tareas y sus respectivos tiempos.Acceder a https://console.developers.google.com/ y crear un nuevo proyecto.Habilitar la API de Google drive.Crear nuestras credenciales.Habilitar la API de Google sheets.Compartir acceso de nuestro Google sheet atreves de la API con las credenciales previamente creadas.Crear nuestro jupyter notebook y que empiece la acción !!!El primer paso como antes mencionado es crear nuestro spreadsheet llamado times con los siguientes campos. Task_idstart_timeend_timedate Luego accedemos a https://console.developers.google.com/ y creamos nuestro proyecto.Le damos un nombre a nuestro proyecto y dejamos el campo ubicación como ninguna. Esto no afectará nuestro proyecto, después hacemos click en continuar.En este paso, buscaremos la biblioteca de Google dando click en APIs y servicios.Buscamos por Google drive API y le damos habilitar.Damos click en crear credenciales. Luego, configuramos nuestras credenciales como sigue en la parte inferior. Damos click en la opción “Que credenciales necesito” y configuramos como sigue a continuación. Seleccionamos continuar y se nos generará un archivo .json. Este debe asegurarse, ya que lo utilizaremos más adelante.Nuevamente buscamos en la librería de Google la API de Google sheets y le damos habilitar.Abrimos nuestro .json file que fue descargado en pasos previos. De este, copiamos nuestro “client_email” para ser compartido con nuestro spreadsheet.Para ello accedemos a nuestro spreadsheet y damos click en compartir para pegar nuestro email.Es hora de crear nuestro Jupyter Notebook para comenzar a jugar con nuestro spreadsheet. Como requerimiento debemos instalar gspread y oauth2client con el comando pip como sigue a continuación.!pip install gspread oauth2clientDespués, importamos las librerías previamente descargadas.Creamos nuestro scope para ser usado en las credenciales.Creamos nuestras credenciales con ServiceAccountCredentials y pasamos como argumento nuestro .json file con el scope. Creamos nuestro cliente con gspread.Abrimos nuestra hoja donde está contenida la información de nuestro spreadsheet llamado times. Podemos conseguir nuestra data con el comando get_all_records().Imprimimos nuestra data.Si queremos una forma amigable de imprimir nuestros datos solo importemos pprint.from pprint import pprintPodemos incluso extraer las filas como sigue a continuación.Elaboremos nuestro diagrama de Gantt. Importamos pandas como de costumbre. Creamos nuestro DataFrame con la data proveniente del spreadsheet. Si revisamos el tipo de datos contenido en el DataFrame, nos daremos cuenta que es de tipo string. Por lo cual necesitaremos pasar los campos date,end_time y start_time a tipo time.El campo date será de tipo datetime y los campos start_time y end_time serán de tipo Timedelta como sigue a continuación. Imprimimos como quedo nuestro DataFrame.Por otro lado, no es suficiente con tener start_time y end_time en tiempo. De alguna manera debemos sacar la duración y expresarla en número entero sea en horas,minutos o segundos. Para esto, sacaremos la duración de la diferencia entre start_time y end_time y la expresaremos en minutos al igual que el start_time estará en minutos. Para graficar nuestro diagrama de Gantt solo necesitaremos los campos Task_id,start_time[m] y duration[m].La gráfica de Gantt será originada usando la función de matplotlib broken_barh que tomará como argumentos 3 partes que serán descritas a continuación.Un tuple conformado por las variables start_time y duration.Un tuple conformado por el mínimo valor de la axis y y/o altura o incremento. El color de cada tarea.Esta función debe lucir como sigue en la parte inferior.broken_barh((start_time,duration),(y_minimum,height),color)Ya sabemos de forma general cómo se compone la función de Gantt. Ahora es nuestro turno de graficarla siguiendo los pasos que se encuentran en la parte inferior.Importamos matplotlib.Creamos nuestro diccionario de colores.Creamos una figura para graficar nuestro diagrama de Gantt. Adicionalmente, iteramos a través de un for para conseguir los valores de los campos start_time[m] y duration[m] para cada task.Finalmente, obtenemos nuestro diagrama de Gantt para cada tarea asignada. Esto es un claro ejemplo que tenemos la oportunidad de poder automatizar ciertas tareas haciendo uso de la API de Google sheet. Solo basta con alimentar el spreadsheet, conectarse a la API de Google sheet y hacer uso de nuestra imaginación.
