Pandas
SQL
Pandas vs SQL. ¿Cuándo Los Científicos de Datos Deben Usar Uno Sobre el Otro?
Una inmersión en los beneficios de cada herramientaTabla de ContenidoIntroducciónPandasSQLResumenIntroducciónAmbas herramientas son importantes no sólo para los científicos de datos, sino también para los que ocupan puestos similares como los de análisis de datos e inteligencia empresarial. Dicho esto, ¿cuándo deberían los científicos de datos utilizar específicamente pandas en lugar de SQL y viceversa? En algunas situaciones, puede salirse con la suya utilizando sólo SQL, y otras veces, pandas es mucho más fácil de usar, especialmente para los científicos de datos que se centran en la investigación en un entorno de Jupyter Notebook. A continuación, voy a discutir cuando se debe utilizar SQL y cuando se debe utilizar pandas. Ten en cuenta que ambas herramientas tienen casos de uso específicos, pero hay muchas veces en las que su funcionalidad se solapa, y eso es lo que compararé a continuación también.PandasPhoto by Kalen Kemp on Unsplash [2].Pandas [3] es una herramienta de análisis de datos de código abierto en el lenguaje de programación Python. El beneficio de pandas comienza cuando ya se tiene el conjunto de datos principal, generalmente a partir de una consulta SQL. Esta diferencia principal puede significar que las dos herramientas están separadas, sin embargo, también puedes realizar varias de las mismas funciones en cada herramienta respectiva, por ejemplo, puedes crear nuevas características a partir de columnas existentes en pandas, quizás más fácil y rápido que en SQL.Es importante señalar que no estoy comparando lo que Pandas hace que SQL no puede hacer y viceversa. Estaré escogiendo la herramienta que puede hacer la función de manera más eficiente o preferible para el trabajo de ciencia de datos - en mi opinión, desde la experiencia personal.Aquí hay momentos en los que el uso de pandas es más beneficioso que SQL - mientras que también tiene la misma funcionalidad que SQL:crear campos calculados a partir de características existentesCuando se incorpora una consulta SQL más compleja, a menudo se incorporan también subconsultas para dividir valores de diferentes columnas. En pandas se pueden dividir las características de forma mucho más sencilla como la siguiente:df["new_column"] = df["first_column"]/df["second_column"]El código anterior muestra cómo se pueden dividir dos columnas separadas, y asignar esos valores a una nueva columna - en este caso, se está realizando la creación de características en todo el conjunto de datos o marco de datos. Puede utilizar esta función tanto en la exploración de características como en la ingeniería de características en el proceso de la ciencia de datos.grouping byTambién en referencia a las subconsultas, agrupar por en SQL puede llegar a ser bastante complejo y requerir líneas y líneas de código que pueden ser visualmente abrumadoras. En pandas, se puede agrupar simplemente por una línea de código. No me refiero a la agrupación por al final de una simple consulta select from table, sino a una donde hay múltiples subconsultas involucradas.df.groupby(by="first_column").mean()El resultado sería devolver la media de la primera columna para cada columna del marco de datos. Hay muchas otras formas de utilizar esta función de agrupación, que se describen muy bien en la documentación de pandas enlazada a continuación.checking data typesEn SQL, a menudo tendrá que fundir los tipos, pero a veces puede ser un poco más claro ver la forma en que pandas presenta los tipos de datos en un formato vertical, en lugar de desplazarse a través de una salida horizontal en SQL. Algunos ejemplos de tipos de datos devueltos son int64, float64, datetime64[ns], y object.df.dtypesAunque todas estas son funciones bastante simples de pandas y SQL, en SQL son particularmente complicadas, y a veces son mucho más fáciles de implementar en un dataframe de pandas. Ahora, veamos qué es lo que hace mejor SQL.SQLPhoto by Caspar Camille Rubin on Unsplash [4].SQL es probablemente el lenguaje más utilizado por la mayor cantidad de puestos diferentes. Por ejemplo, un ingeniero de datos puede utilizar SQL, un desarrollador de Tableau o un gestor de productos. Dicho esto, los científicos de datos tienden a utilizar SQL con frecuencia. Es importante tener en cuenta que hay varias versiones diferentes de SQL, por lo general todos tienen una función similar, sólo ligeramente formateado de manera diferente.Aquí hay momentos en los que el uso de SQL es más beneficioso que el de pandas - mientras que también tiene la misma funcionalidad que pandasWHERE clauseEsta cláusula en SQL se utiliza con frecuencia y también se puede realizar en pandas. Sin embargo, en pandas es algo más difícil, o menos intuitivo. Por ejemplo, hay que escribir código redundante, mientras que en SQL basta con el WHERESELECT ID
FROM TABLE
WHERE ID > 100En pandas, sería algo así como:df[df["ID"] > 100]["ID"]Sí, ambos son simples, uno es sólo un poco más intuitivo.JOINSPandas tiene unas cuantas formas de unir, que pueden ser un poco abrumadoras, mientras que en SQL se pueden realizar uniones simples como las siguientes: INNER, LEFT, RIGHTSELECT
one.column_A,
two.column_B
FROM FIRST_TABLE one
INNER JOIN SECOND_TABLE two on two.ID = one.IDEn este código, la unión es ligeramente más fácil de leer, que en pandas, donde hay que fusionar marcos de datos, y especialmente cuando se fusionan más de dos marcos de datos, puede ser bastante complejo en pandas. SQL puede realizar múltiples uniones ya sea INNER, etc., todo en la misma consulta.Todos estos ejemplos, ya sea SQL o pandas, se pueden utilizar al menos en la parte de análisis exploratorio de datos del proceso de ciencia de datos, así como en la ingeniería de características, y la consulta de los resultados del modelo una vez que se almacenan en una base de datos.ResumenEsta comparación entre pandas y SQL es más bien una preferencia personal. Dicho esto, es posible que opines lo contrario a mi opinión. Sin embargo, espero que siga arrojando luz sobre las diferencias entre pandas y SQL, así como lo que se puede realizar igual en ambas herramientas, utilizando técnicas de codificación ligeramente diferentes y un lenguaje totalmente distinto.En resumen, hemos comparado las ventajas de usar pandas sobre SQL y viceversa para algunas de sus funciones compartidas:* creating calculated fields from existing features
* grouping by
* checking data types
* WHERE clause
* JOINSEspero que mi artículo le resulte interesante y útil. No dude en comentar más abajo si está de acuerdo con estas comparaciones: ¿por qué o por qué no? ¿Crees que una herramienta, en particular, es mejor que la otra? ¿Qué otras herramientas de ciencia de datos se te ocurren que tengan una comparación similar? ¿Qué otras funciones de pandas y SQL podríamos comparar?
Programming
SQL
Python
¿Cómo Usar Correctamente Los Datetimes En Python?
Datetime es básicamente un objeto python que representa un punto en el tiempo, como años, días, segundos, milisegundos. Esto es muy útil para crear nuestros programas.El módulo datetime proporciona clases para manipular fechas y horas de forma simple y compleja. Mientras que la aritmética de la fecha y la hora está soportada, la aplicación se centra en la extracción eficiente de atributos para formatear y manipular la salidaVamos a importar el módulo de Python
Programming
SQL
Joins En SQL: Un Breve Ejemplo | Entender El Por Qué Y El Cómo De Los Joins En SQL
Esta entrada en el blog fue originalmente destinada a ser una nota complementaria a mi entrada de Pandas Join vs. Merge. Pero resultó ser lo suficientemente larga como para justificar su propio post (y demasiado verborreica para ser una nota complementaria). No pretende ser un manual completo sobre Joins en SQL, sino más bien un ejemplo para ayudar a aquellos que son nuevos en SQL y en bases de datos relacionales a entender lo que significa unir dos tablas.¿Por qué unimos?¿Por qué molestarse en unir? ¿No podemos simplemente volcar todo en una hoja de cálculo y ordenar las cosas allí? Tal vez... pero sería increíblemente lento, tedioso y propenso a errores.Las bases de datos relacionales están diseñadas para ser unidas. Cada tabla de la base de datos contiene datos de una forma o función específica. Por ejemplo, una tabla podría tener datos básicos sobre los clientes de una compañía como el ID del cliente (un ID único que puede ser usado para identificar a cada cliente), nombre, edad, sexo, fecha de la primera compra y dirección. Mientras que una tabla separada mucho más grande almacena datos detallados a nivel de transacción - ID de transacción, fecha de transacción, ID de cliente, categoría de producto, ID de producto, unidades vendidas y precio.Un cliente determinado (o ID de cliente) podría tener cientos o incluso miles de transacciones, por lo que sería extremadamente redundante almacenar la información básica de ese cliente una y otra vez para cada fila de la tabla de transacciones. La tabla de transacciones debería ser sólo para datos relevantes para las transacciones. Tener demasiados datos superpuestos entre los cuadros es un despilfarro y puede afectar negativamente al rendimiento del sistema.Pero eso no significa que no nos preocupemos por los vínculos entre las tablas. Dada la especificidad de cada tabla, los análisis que sólo implican una unica tabla no suelen ser útiles. Los análisis interesantes provienen de conjuntos de datos que combinan múltiples tablas. Por ejemplo, podríamos querer segmentar las transacciones por edad o geografía. Para ello, necesitaríamos datos de ambas tablas. Y ahí es donde entra en juego el join ¿Cómo unimos?Cuando unimos dos tablas, las unimos mediante una característica seleccionada. Digamos que tenemos dos tablas. La primera, Empleado, lista el número de identificación único de un empleado, su nombre y cargo. La segunda, Venta, lista los datos de quién hizo qué venta adjuntando el número de identificación del empleado y las unidades vendidas a un número de venta único:SELECT * FROM Employee
SELECT * FROM SaleNuestras 2 tablas Empleado (izquierda) y Venta (derecha). (Omití los subrayados de los nombres de las columnas en mis gráficos para su legibilidad)Ahora unamos las dos tablas. Para unir las dos tablas, necesitamos elegir una columna (o combinación de columnas) que sirva como punto de intersección - llamemos a la columna elegida el índice de unión. Las entradas de la tabla que comparten el mismo valor para el índice de unión se unen entre sí. Tenga en cuenta que la intersección no tiene que ser uno a uno. Por ejemplo, Tony ha hecho 2 ventas, así que al unirse a las tablas, ambas ventas estarán vinculadas a Tony (también conocido como Employee ID 1).Cuando unimos las tablas, generalmente queremos que el índice de unión sea único. Si el índice de unión no fuera único, podrían ocurrir cosas extrañas. Por ejemplo, digamos que tenemos un segundo empleado llamado Tony (ejemplo en las tablas de abajo), y que es un vendedor mega estrella. Si en lugar de unirnos en "ID de empleado" unimos en "Nombre", entonces vincularíamos erróneamente las ventas de Tony la Megaestrella a mí, haciendo que mi bonificación sea demasiado alta:No se recomienda unir en columnas no únicasY Tony la Megaestrella también obtendría crédito por mis lamentables ventas (no es que lo necesite). Así que para evitar esto, unimos en una columna con valores únicos como "Employee ID" (eliminé a Tony la Megaestrella ya que sólo estaba allí para ilustrar lo que no se debía hacer, y sus increíbles éxitos me hicieron sentir indigno):La columna "Employee ID" proporciona el enlace entre las 2 tablasHay varios tipos de uniones SQL y no voy a entrar en los detalles de todos ellos aquí. En este ejemplo, usaremos un Left Join (unión izquierda), lo que significa que priorizamos las filas de la tabla de la izquierda. Así que nuestra salida incluirá cada fila de la tabla izquierda (la que tiene "Nombre" y "Título") independientemente de si hay una coincidencia con la tabla derecha - por lo tanto, los empleados que no han hecho una venta seguirán apareciendo en una fila de nuestro resultado, pero no habrá valores (NULLs para ser exactos) para las columnas "Número de venta" y "Unidades vendidas".Echemos un vistazo a nuestro resultado (estamos seleccionando sólo "Número de Venta" y "Unidades Vendidas" de la tabla de la derecha y clasificando por "ID del Empleado"):SELECT e.*, s.Sale_Number, s.Units_Sold
FROM Employee as e
LEFT JOIN Sale as s ON e.Employee_ID=s.Employee_ID
ORDER BY e.Employee_IDResultado de nuestra unión a la izquierdaLa salida de nuestra unión ahora incluye datos de ambas tablas. Los datos de ventas de Tony han sido vinculados sus datos de (gracias al Employee ID) al igual que los de Lisa. Fijemonos en dos cosas:Parece un poco repetitivo porque "ID de empleado", "Nombre" y "Título" se repiten tantas veces como el empleado tenga ventas. En realidad, no nos detendremos aquí. A continuación, lo más probable es que hagamos un group by para contar cuántas ventas hizo cada vendedor o calcular el promedio de unidades vendidas cada vez que el vendedor hizo una ventaEl ID del empleado 3 no está en la salida porque hicimos una unión a la izquierda y no había ninguna entrada para el ID del empleado 3 en la tabla de la izquierda. Por lo tanto, se omitió.Asi concluye nuestro breve ejemplo. Con suerte, esto te da una idea rudimentaria de por qué necesitamos las uniones y cómo funcionan.Puntos importantesLas tablas de la base de datos generalmente contienen información muy específica. Por lo tanto, los análisis significativos suelen combinar datos de múltiples tablas.Esto se logra a través de la operación de unión, que combina dos tablas haciéndolas coincidir en base a una columna específica.La columna utilizada para combinar las tablas debe contener sólo valores únicos.Existen varios tipos de uniones. La de este ejemplo es una unión a la izquierda, que devuelve cada fila de la tabla de la izquierda, haya o no coincidencia.
Python
SQL
Viajes, Bases De Datos Y Python. Que Comience La Aventura!
En este blog veremos una breve pero muy útil introducción al manejo y creación de base de datos a través de Python, mientras vemos algunos sitios que valen la pena ser visitados. La idea es crear nuestra propia base de datos con destinos turísticos y para esto escogeremos sitios al azar para ser registrados en la base de datos. Luego, esta información será extraída y presentada.Sabemos que existen muchas formas de almacenar datos. Por ejemplo cuando manejamos archivos txt, xlsx que a su vez son formas simples, sencillas de guardar datos. En este caso manejaremos SQLite. Esta es una base de datos que no demanda muchos recursos, es flexible y lo mejor es que puede ser manejada con Python. Si quieres saber un poco más de SQLite, te invito a que revises el blog What Is SQLite and How To Install It? que esta publicado en la pagina de DataSource.ai.Ahora que sabemos que manejaremos SQLite a través de Python, vamos a darle un vistazo general de lo que necesitaremos para empezar a ver algunos sitios turísticos en LATAM.Crear un espacio virtual para almacenar toda la información tales como librerías,base de datos y el notebook.Descargar SQLite.Crear la base de datos.Conectarnos a la base de datos.Crearemos una tabla. Almacenaremos datos.Guardaremos y presentaremos datos.Ya tenemos nuestro plan a seguir. Es la hora de comenzar este viaje a través de los pasos anteriormente mencionados, e iniciarnos en el manejo de base de datos con Python.Primero, descargamos virtualenv para configurar nuestro espacio virtual. Para eso utilizaremos un pip command el cual es pip install virtualenv. También, puedes revisar el siguiente link https://pypi.org/project/virtualenv/.Una vez descargado virtualenv, creamos un directorio en nuestro PC. Esto, para organizar nuestro espacio de trabajo. Puedes hacerlo con “mkdir virtual_env”.Ya estando en el path de ese directorio, solo debemos seguir los pasos de abajo. Estos fueron ejecutados en un sistema operativo windows con Powershell. Para crear nuestro ambiente virtual, corremos este comando. virtualenv virtual_env/virt1Luego, activamos este ambiente virt1 con el siguiente comando..\virt1\Scripts\activateDespués, veremos que el ambiente sobresale así (virt1). También, usamos el comando pip list para listar lo que se tiene en ese ambiente virtual.Ya se ha creado el ambiente virtual virt1, ahora descarguemos SQLite3 y creemos nuestra base de datos. Para esto solo basta con correr pip install db-sqlite3. Puedes ver el link que está en la parte inferior.https://pypi.org/project/db-sqlite3/Luego, podremos observar SQLite3 instalado. Después, solo es crear un archivo con nombre database.db y también nuestro notebook donde usaremos Python para administrar nuestra base de datos.Una vez instalado todo lo necesario, solo es abrir Jupyter notebook e importar SQlite3 como sigue a continuación.Luego, creamos nuestra conexión con la base de datos previamente creada.El siguiente paso es solo crear nuestra tabla. Esta será llamada “Destinos” y estará compuesta por las siguientes columnas.PaísSitio Puntaje DescripciónEs importante recordar que los puntajes simplemente son valores al azar, ya que todo destino vale la pena ser visitado. Con el comando connection.execute, podemos realizar muchas acciones como crear tablas, insertar datos, eliminar y seleccionar. Observemos un ejemplo de como insertar nuestro primer destino.Es importante denotar, que no solo basta ejecutar el INSERT INTO para guardar nuestros datos. Para eso, debemos correr connection.commit() después para guardar cualquier cambio establecido en nuestra base de datos.Veamos, si es verdad que pudimos guardar nuestro primer destino. Para ello, la consulta será almacenada en una variable llamada data.De qué tipo será esta variable?Como podemos observar esta variable es de tipo Cursor. Luego, veremos que podemos instanciar un objeto de tipo Cursor para seleccionar y mostrar nuestros datos. Ahora, que sabemos que data es de tipo Cursor, podemos llamar uno de sus métodos para mostrar el output del SELECT.Como podemos observar este fue el primer destino que almacenamos, y lo muestra como una variable de tipo tuple.Qué pasaría si quisiéramos utilizar data.fetchone() una vez más, para mostrar el destino de argentina?.El resultado es un None como respuesta, esto es debido a que tenemos que ejecutar el comando SELECT para nuevamente ejecutar la consulta y mostrar el output una vez más.Como se que muchos de ustedes no quieren ir solo a argentina, insertemos más destinos para visitar. Para esto, crearemos una lista llamada datos_destinos. Estos pueden ser algunas sugerencias, agreguen más destinos según su preferencia.El siguiente paso es sólo iterar en la lista y agregar los destinos antes guardados.Recordemos, que necesitamos el connection.commit() para guardar los cambios.Ejecutemos un SELECT y guardamos el resultado en una variable llamada all_data. Luego, iteramos sobre ella y veamos que obtenemos. También, podemos hacer uso del método fetchall(), para mostrar nuestra query. Para esto guardaremos el resultado en una variable llamada gather_data.Supongamos que por error se ejecutó un INSERT INTO a un mismo destino. En este caso por error guardamos a Argentina nuevamente como destino y tenemos las mismas entradas 2 veces.Observemos la primera y última entrada de all_data. Podemos ver que esta Argentina 2 veces y realmente queremos otro destino ya que Argentina fue el primero. Para ello, eliminaremos la última entrada con el comando DELETE.Ahora, verificamos.En esta última parte, crearemos un objeto Cursor como habíamos mencionado al principio. Luego, mostraremos los datos y finalmente usaremos Matplotlib para graficarlos.Es importante ejecutar el comando connection.close() para cerrar la conexión con la base de datos si ya términos de ejecutar cualquier acción.Finalmente con Matplotlib visualizamos nuestros destinos y sus respectivos puntajes.Todo viaje tiene sus inicios, espero que esta introducción a base de datos con Python los lleve a grandes destinos.
