Big Data
Pandas
¿Cómo Procesar un DataFrame con Millones de Filas en Segundos?
Otra biblioteca de Python para el análisis de datos que deberías conocer - y no, no estoy hablando de Spark o DaskEl análisis de Big Data en Python está teniendo su renacimiento. Todo comenzó con NumPy, que es también uno de los bloques de construcción detrás de la herramienta que estoy presentando en este artículo.Puedes leer más artículos de Data Science en español aquí En 2006, el Big Data era un tema que estaba ganando terreno poco a poco, especialmente con el lanzamiento de Hadoop. Pandas le siguió poco después con sus DataFrames. 2014 fue el año en que Big Data se convirtió en la corriente principal, también Apache Spark fue lanzado ese año. En 2018 llegó Dask y otras librerías para la analítica de datos en Python.Cada mes encuentro una nueva herramienta de Data Analytics, que estoy deseando aprender. Merece la pena invertir una o dos horas en tutoriales, ya que a la larga puede ahorrarte mucho tiempo. También es importante mantenerse en contacto con las últimas tecnologías.Si bien puedes esperar que este artículo sea sobre Dask, estás equivocado. He encontrado otra biblioteca de Python para el análisis de datos que deberías conocer.Al igual que Python, es igual de importante que te hagas con el dominio de SQL. En caso de que no estés familiarizado con él, y tengas algo de dinero de sobra, echa un vistazo a este curso: Master SQL, the core language for Big Data analysis.El análisis de Big Data en Python está teniendo su renacimientoConoce VaexPhoto by Mathew Schwartz on UnsplashVaex es una biblioteca de Python de alto rendimiento para lazy Out-of-Core DataFrames (similar a Pandas), para visualizar y explorar grandes conjuntos de datos tabulares. Puede calcular estadísticas básicas para más de mil millones de filas por segundo. Soporta múltiples visualizaciones que permiten la exploración interactiva de big data. ¿Cuál es la diferencia entre Vaex y Dask?Photo by Stillness InMotion on UnsplashVaex no es similar a Dask, pero sí a los DataFrames de Dask, que están construidos sobre los DataFrames de pandas. Esto significa que Dask hereda los problemas de pandas, como el alto uso de memoria. Este no es el caso de Vaex.Vaex no hace copias de DataFrame por lo que puede procesar DataFrame más grandes en máquinas con menos memoria principal.Tanto Vaex como Dask utilizan el procesamiento "perezoso". La única diferencia es que Vaex calcula el campo cuando es necesario, mientras que con Dask tenemos que utilizar explícitamente la función de cálculo.Los datos deben estar en formato HDF5 o Apache Arrow para aprovechar al máximo las ventajas de Vaex.Puedes leer más artículos de Data Science en español aquí ¿Cómo se instala Vaex?Instalar Vaex es tan sencillo como instalar cualquier otro paquete de Python:pip install vaexVamos a hacer un test drive de Vaex Photo by Eugene Chystiakov on UnsplashVamos a crear un DataFrame de pandas con 1 millón de filas y 1000 columnas para crear un archivo de big data.import vaex
import pandas as pd
import numpy as np
n_rows = 1000000
n_cols = 1000
df = pd.DataFrame(np.random.randint(0, 100, size=(n_rows, n_cols)), columns=['col%d' % i for i in range(n_cols)])
df.head()First few lines in a Pandas Dataframe (image made by author)¿Cuánta memoria principal utiliza este DataFrame?df.info(memory_usage='deep')Guardémoslo en el disco para poder leerlo después con Vaex.file_path = 'big_file.csv'
df.to_csv(file_path, index=False)No ganaríamos mucho leyendo todo el CSV directamente con Vaex ya que la velocidad sería similar a la de pandas. Ambos necesitan aproximadamente 85 segundos en mi portátil.Tenemos que convertir el CSV a HDF5 (el Formato de Datos Jerárquicos versión 5) para ver el beneficio con Vaex. Vaex tiene una función para la conversión, que incluso soporta archivos más grandes que la memoria principal mediante la conversión de trozos más pequeños.Si no puedes abrir un archivo grande con pandas, por limitaciones de memoria, puedes convertirlo a HDF5 y procesarlo con Vaex.Puedes leer más artículos de Data Science en español aquí dv = vaex.from_csv(file_path, convert=True, chunk_size=5_000_000)Esta función crea un archivo HDF5 y lo persigue en el disco. ¿Cuál es el tipo de datos de dv?type(dv)
# output
vaex.hdf5.dataset.Hdf5MemoryMappedAhora, vamos a leer el conjunto de datos de 7,5 GB con Vaex - No necesitaríamos leerlo de nuevo porque ya lo tenemos en la variable dv. Esto es sólo para probar la velocidad.dv = vaex.open('big_file.csv.hdf5')Vaex necesitó menos de 1 segundo para ejecutar el comando anterior. Pero Vaex no leyó realmente el archivo, debido a la carga perezosa, ¿verdad? Vamos a forzar a leerlo calculando una suma de col1.suma = dv.col1.sum()
suma
# Output
# array(49486599)Este me sorprendió mucho. Vaex necesitó menos de 1 segundo para calcular la suma. ¿Cómo es posible? La apertura de estos datos es instantánea, independientemente del tamaño del archivo en el disco. Vaex se limitará a mapear en memoria los datos en lugar de leerlos en memoria. Esta es la forma óptima de trabajar con grandes conjuntos de datos que son mayores que la memoria RAM disponible. Ploteando Vaex también es rápido a la hora de graficar los datos. Dispone de funciones especiales de trazado: plot1d, plot2d y plot2d_contour.dv.plot1d(dv.col2, figsize=(14, 7))Plotting with Vaex (image made by author)Columnas virtuales Vaex crea una columna virtual al añadir una nueva columna, una columna que no ocupa la memoria principal ya que se calcula sobre la marcha.dv['col1_plus_col2'] = dv.col1 + dv.col2
dv['col1_plus_col2']The virtual column in Vaex (image made by author)Filtrado eficiente Vaex no crea copias de DataFrame al filtrar los datos, lo cual es mucho más eficiente en cuanto a la memoria.dvv = dv[dv.col1 > 90]
AggregationsLas agregaciones funcionan de forma ligeramente diferente que en pandas, pero lo más importante es que son rapidísimas. Añadamos una columna virtual binaria donde col1 ≥ 50. dv['col1_50'] = dv.col1 >= 50 Vaex combina la agrupación por y la agregación en un solo comando. El siguiente comando agrupa los datos por la columna "col1_50" y calcula la suma de la columna col3.dv_group = dv.groupby(dv['col1_50'], agg=vaex.agg.sum(dv['col3']))
dv_groupAggregations in Vaex (image made by author)JoinsVaex une datos sin hacer copias de memoria, lo que ahorra la memoria principal. Los usuarios de Pandas estarán familiarizados con la función join:dv_join = dv.join(dv_group, on=’col1_50')Puedes leer más artículos de Data Science en español aquí ConclusiónAl final, te preguntarás: ¿Debemos simplemente cambiar de pandas a Vaex? La respuesta es un gran NO. Pandas sigue siendo la mejor herramienta para el análisis de datos en Python. Tiene funciones bien soportadas para las tareas de análisis de datos más comunes. Cuando se trata de archivos más grandes, pandas puede no ser la herramienta más rápida. Este es un gran momento para usar Vaex. Vaex es una herramienta que deberías añadir a tu caja de herramientas de análisis de datos. Cuando trabajes en una tarea de análisis en la que pandas es demasiado lento o simplemente se bloquea, saca Vaex de tu caja de herramientas, filtra las entradas más importantes y continúa el análisis con pandas. Sígueme en Twitter, donde tuiteo regularmente sobre Ciencia de Datos y Aprendizaje Automático
Data Science
Big Data
La Recopilación De Datos Podría No Ser Tan Fácil Como Parece
Exploración a fondo de los procesos de recopilación de datos.Algunos de mis repositorios más populares en GitHub han sido sobre la recolección de datos, ya sea a través de web scraping o usando una Interfaz de Programación de Aplicaciones (API). Mi enfoque siempre ha sido encontrar un recurso de donde pueda obtener los datos y luego directamente empezar a buscarlos. Después de recopilar los datos, simplemente los guardo, saco conclusiones y eso es todo.¿Pero qué pasa si quieres compartir los datos? ¿Qué pasa si alguien está buscando este conjunto de datos y no sabe cómo hacerlo? ¿Qué pasa si tienen este conjunto de datos pero no saben lo que significa cada columna o dónde buscar si necesitan más información? Estas preguntas surgen porque el intercambio de datos y la facilidad de uso es importante, pero casi nadie intenta hacer un esfuerzo para que sea reproducible y fácilmente accesible.Aquí es donde surgen las mejores prácticas de recopilación de datos. Los metadatos junto con sus datos son casi tan importantes porque sin ellos sus datos podrían ser inútiles. Vamos a explorar en profundidad, lo que esto es y lo que todo el mundo debe hacer para hacer el proceso de recopilación de datos correcto!Lea También: ¿Cómo Construir Su Portafolio Definitivo De Data Science?Photo by Milan Seitler on UnsplashEmpieza por averiguar qué hay que recolectarPhoto by Edho Pratama on UnsplashEl primer paso, como siempre, es buscar los datos que ya existen. Alguien podría haber recogido un dato similar o el mismo que querías recoger para su problema. Si encuentra un dato de ese tipo, tómelo (si lo pone a disposición) y cite adecuadamente su fuente donde y cuando utilice ese dato para cualquier análisis. Eso es todo!Sin embargo, si no encuentras los datos que necesitas, tendrás que recopilarlos tú mismo. Podría ser una lista de páginas de Wikipedia que saques de su sitio web, información de repositorios que quieras coger para tu cuenta GitHub usando la API de GitHub o datos recogidos de un sensor. Las cosas que puedes recolectar son casi ilimitadas.Lea También: 10 Trucos En Pandas Que Hacen Su Trabajo Más Eficiente.Recopilacion de los datosPhoto by Markus Spiske on UnsplashSea lo que sea que decidas recolectar, comienza a recolectar propios tus datos. Puedes usar BeautifulSoup para extraer información de páginas HTML, acceder a APIs según sea necesario usando su documentación o tal vez crear una aplicación para Android que lea los datos de un sensor y los guarde en un archivo CSV.Una vez que tenga los datos que desea, es posible que desee compartir su trabajo con otros. Querrás que los demás entiendan lo que has recopilado, por qué lo has hecho y tal vez utilizar tus datos citando adecuadamente tu trabajo. Entonces se vuelve esencial tener los datos en un formato apropiado que otros puedan entender y usar.Datos sobre sus datos – MetadatosAhora, te diré algo que siempre usamos pero que a menudo pasamos por alto como parte esencial de los datos. Sí, estoy hablando de los metadatos. La información que te dice lo que significa cada columna, cuáles son las unidades de medida, cuándo se recogieron los datos y mucho más.Entendamos la importancia de los metadatos con un ejemplo. El repositorio de la UCI Machine Learning incluye una larga lista de conjuntos de datos que puedes utilizar para tu análisis y predicción. Elijamos el conjunto de datos sobre el cáncer de mama. Así es como se ve el conjunto de datos:Breast Cancer Data Set (Data)— UCI Machine LearningCon sólo mirar los datos y sin información adicional, no podemos averiguar lo que significa cada columna, y mucho menos hacer un análisis de la misma. Pero justo cuando muestro la siguiente imagen que tiene la descripción de la columna, podemos usar el conjunto de datos, extraer información, realizar análisis exploratorios y hacer predicciones.Breast Cancer Data Set (Attributes) — UCI Machine LearningPor eso la información sobre los datos es realmente importante. Este paso esencial puede hacer o deshacer su conjunto de datos.¿Pero qué es lo que debemos recoger?Photo by Phad Pichetbovornkul on UnsplashSi lo piensas, verás que hay muchas cosas que puedes recopilar como metadatos, como la fecha de recopilación, la ubicación, la descripción de la columna y más. Por lo tanto, existe una colección unificada de estándares de metadatos que uno puede elegir de manera que otros puedan obtener información completa. Algunos de los más comunes son los siguientes:Dublin CoreEl Dublin Core incluye una lista de elementos que hay que especificar sobre los datos como la fecha de creación, el creador y otra información.Norma de codificación y transmisión de metadatosLas normas de codificación y transmisión de metadatos (METS) son una norma de metadatos para datos descriptivos y estructurales representada como el eXtensible Markup Language (XML).Organización Internacional de Normalización (ISO)La ISO define una lista de normas que se siguen en todo el mundo. Las normas pueden variar según el uso y la zona. Por ejemplo, para una forma estándar de representar el tiempo - existe la norma ISO 8601 que significa cómo escribir la fecha y la hora en un patrón comúnmente entendido.Hay otros estándares que también existen, pero el uso depende de los datos que se intentan recoger. El punto básico general cuando se recogen metadatos es que si alguien hoy o en algún momento en el futuro, decide trabajar en sus datos, los datos y metadatos deben ser autosuficientes para describirlo todo.Sin embargo, para hacerlo, hay otra información esencial junto con los metadatos: la procedencia.La procedencia incluye información sobre el proceso de recopilación de datos y si se han realizado transformaciones en esos datos. Mientras se recogen los datos, hacemos un seguimiento de cuándo y cómo se recogieron los datos, los dispositivos de medición, el proceso, el recolector de datos, cualquier limitación, y todo lo relacionado con el proceso de procesamiento de datos (si se hizo).ConclusiónEl paquete completo de datos, junto con los metadatos y la procedencia, hace que los datos sean a prueba de futuro en un formato utilizable.
Data Science
Machine Learning
Big Data
La Pregunta Más Difícil Que Te Han Hecho En Una Entrevista De Ciencia De Datos
Trabajo en una compañía de YCombinator que ha desarrollado un interesante grupo interno de científicos de datos. Es un grupo privado, pero recientemente recibió cierta atención en Twitter y pensamos que podría ayudar a los aspirantes a científicos de datos si publicamos algunas de las conversaciones que hemos estado teniendo allí. Twitter estuvo de acuerdo, así que eso es lo que voy a hacer hoy.La primera conversación que voy a publicar comenzó con una pregunta que uno de nuestros compañeros hizo a la comunidad: ¿Cuál es la pregunta más difícil que te han hecho en una entrevista de ciencia de datos?(He cambiado el nombre del solicitante a continuación, pero algunos de los participantes accedieron amablemente a compartir sus nombres completos y enlaces a sus perfiles en línea).Susan Pan pregunta: ¿Cuál es la pregunta más difícil que has encontrado en una entrevista de ciencia de datos?Compartiré la mía: "¿Cuántos años de experiencia tienes en el lenguaje X?" Esto es realmente difícil de responder: ¿Cuento los años que lo usé en la universidad? ¿Cuento los años que lo usé en mis proyectos de hobby? ¿Cuento los años en que lo usé en mi trabajo, pero sólo durante el 15% de mi tiempo?Una vez decidí responder a esta pregunta preguntándole al entrevistador: "¿Puede explicarlo mejor?" Creo que el entrevistador pensó que estaba loco. Espero escuchar sus preguntas más difíciles y tal vez podamos compartir consejos sobre cómo responderlas.La respuesta de Ray Phan: Aquí está la mía: "Si tuvieras que elegir un problema técnico que fuera el más difícil para ti, explica cuál fué y cómo lo resolviste."La razón por la que esto es engañosamente difícil es que te abre a preguntas a medida que avanzas. Pueden decidir hasta dónde o cuán profundo quieren investigar cada parte de su enfoque. De hecho, esta es una pregunta que hago todo el tiempo cuando entrevisto a alguien. Puedes determinar rápidamente si alguien sabe realmente cómo resolver el problema, o si se ha montado en los hombros de otra persona.Curiosamente, esta es la única pregunta que Elon Musk hace durante las entrevistas. (Fuente: Él me entrevistó personalmente cuando me postulé para el Programa de Piloto Automático de Tesla).Susan: ¡Gracias por compartir! Con esta pregunta, ¿estás poniendo a prueba el enfoque de resolución de problemas de un candidato o su profundidad de comprensión de los conceptos técnicos o una mezcla de ambos?Ray: Mezcla de ambos. Quiero ver lo buenos que son a la hora de abordar un problema relativamente desconocido dado su conjunto de habilidades en ese momento, qué habilidades y enfoques aprendieron a lo largo de todo el proceso, y su capacidad de resolución de problemas para determinar si lo resolvieron con éxito.Lea También: ¿Sus Habilidades De Programación Son Los Suficientemente Buenas Para Un Puesto De Trabajo En Data Science?Por la forma en que responden a mis preguntas de seguimiento, así como por el nivel de detalle que comparten conmigo con respecto a cómo lo resuelven, me da una idea bastante buena sobre si son alguien que puede trabajar de forma independiente, puede trabajar en grupo (ya que me están explicando los conceptos y profundizo más) y si confiaría en esa persona al final del día.Por eso dije que esta pregunta es engañosamente difícil porque me dice casi todo sobre la aptitud de la persona en una sola pregunta.Leo Knauth:Mi problema ahora mismo sería: Podría contarles lo que realmente fue el problema más difícil que enfrenté, pero entonces tendría que admitir que me fue mal en ese momento. Realmente mal. Me doy cuenta de que este es un lugar potencial para mostrar crecimiento, pero al final tendría que admitir primero que inicialmente me caí de cara.Si me entrevistara, ¿apreciarías la honestidad? ¿O me recomendaría que eligiera el segundo problema más difícil que he enfrentado, tal vez uno en el que me haya comportado menos miserablemente?Ray: Me gustaría que lo admitieras y me dijeras por qué. El crecimiento es también algo que busco y si no aprendieras nada de eso, entonces no te contrataría... y si la conversación se corta, ¡pasaría al segundo problema!Leo:¡Gracias! Ciertamente necesito practicar este tipo de preguntas de entrevista.Ray:Parte de mi tutoría que hago con mis pupilos es exactamente esta línea de cuestionamiento. Normalmente lo divido en 4 grupos de entrevistas para asegurarme de que el alumno está preparado.Visualización Ajuste técnico ← La pregunta que mencioné anteriormente va aquí Visión para los negocios Ajuste a nuestra cultura coporativa.Lo que trato de hacer es hacer preguntas que los candidatos no se esperan... ...por lo que les insisto en que no se preparen para mis simulacros de entrevistas. Pero sí, ¡práctica! Tu mentor hará, con suerte, las cosas que acabo de decir.La conversación completa fue un poco más larga que esto, y obtuvo un par de respuestas más. Pero la de Ray era mi favorita, porque la pregunta de la entrevista que da te obliga a establecer tu propio nivel de dificultad. Si eliges un problema técnico demasiado fácil, puedes quedar mal; pero si eliges uno demasiado difícil, puedes estropear tu solución, ¡y también quedar mal! Así que tienes que elegir el problema más difícil que estés seguro de poder resolver, que es el objetivo de la pregunta.También es interesante que esta es la única pregunta que Elon Musk hace durante sus entrevistas. Eso es algo que no sabía. Estoy pensando en publicar más de estas conversaciones de Slack en el futuro. De hecho ya hemos continuado con este hilo aqui. Así que si estás interesado en ver las otras respuestas en esta conversación (o en ver las otras), dame un toque en Twitter y házmelo saber. Mi DM está abierto si tienes alguna pregunta.Suponemos que ya eres un experto en responder las preguntas dificiles de una entrevista de trabajo en data science, que tal si ahora pruebas postulandote a diferentes ofertas y pones en practica lo aprendido? Mira estas ofertas de trabajo en data science.Lea También: Consigue Tu Primer Trabajo Como Científico De Datos.
Big Data
Data Science
¿Qué es SQLite Y Cómo Instalarlo?
¿Qué es SQLite?Conozca el motor de base de datos de SQLite y cómo instalarlo en su ordenador.En este artículo exploraremos el motor de base de datos más extendido llamado SQLite. Describiremos lo que hace, sus principales usos, y luego explicaremos cómo configurarlo y utilizarlo en tu propio ordenador.¿QUÉ ES SQLITE?SQLite es un motor de base de datos. Es un software que permite a los usuarios interactuar con una base de datos relacional. En SQLite, una base de datos se almacena en un único archivo, un rasgo que la distingue de otros motores de base de datos. Este hecho permite una gran accesibilidad: copiar una base de datos no es más complicado que copiar el archivo que almacena los datos, compartir una base de datos puede significar enviar un archivo adjunto de un correo electrónico.INCONVENIENTES DE SQLITELamentablemente, la portabilidad de SQLite hace que sea una mala elección cuando muchos usuarios diferentes están actualizando una tabla al mismo tiempo (para mantener la integridad de los datos, sólo un usuario puede escribir en el archivo a la vez). También puede requerir algo más de trabajo para garantizar la seguridad de los datos privados debido a las mismas características que hacen accesible SQLite. Además, SQLite no ofrece exactamente la misma funcionalidad que muchos otros sistemas de bases de datos, lo que limita algunas características avanzadas que ofrecen otros sistemas de bases de datos relacionales. Por último, SQLite no valida los tipos de datos. Mientras que muchos otros programas de bases de datos rechazarían los datos que no se ajustan al esquema de una tabla, SQLite permite a los usuarios almacenar datos de cualquier tipo en cualquier columna.SQLite crea esquemas que limitan el tipo de datos en cada columna, pero no los aplica. En el ejemplo que figura a continuación se muestra que la columna id espera almacenar números enteros, la columna name espera almacenar texto y la columna age espera almacenar números enteros:CREATE TABLE celebs (
id INTEGER,
name TEXT,
age INTEGER
);Sin embargo, SQLite no rechazará valores del tipo equivocado. Podríamos insertar accidentalmente los tipos de datos equivocados en las columnas. Almacenar diferentes tipos de datos en la misma columna es un mal hábito que puede provocar errores difíciles de corregir, por lo que es importante ser estricto con el esquema aunque SQLite no lo aplique.USOS DE SQLITEIncluso considerando los inconvenientes, los beneficios de poder acceder y manipular una base de datos sin involucrar un servidor son enormes. SQLite se utiliza en todo el mundo para pruebas, desarrollo y en cualquier otro escenario en el que tenga sentido que la base de datos esté en el mismo disco que el código de la aplicación. Los mantenedores de SQLite lo consideran como una de las piezas de software más replicadas del mundo.CONFIGURAR SQLITELos binarios para SQLite se pueden instalar en la página de descarga de SQLite.WINDOWSPara las máquinas de Windows:Descargue el archivo sqlite-tools-win32-x86-3200100.zip y descomprímalo.Desde tu terminal git-bash, abra el directorio de la carpeta descomprimida con cd ~/Descargas/sqlite-tools-win32-x86-3200100/sqlite-tools-win32-x86-3200100/.Intente ejecutar sqlite con el comando winpty ./sqlite3.exe. Si ese comando abre un prompt de sqlite>, ¡felicidades! Has instalado SQLite.Queremos poder acceder a este comando rápidamente desde otro lugar, así que vamos a crear un alias para el comando. Salga del prompt sqlite> escribiendo Ctrl + C, y en la misma terminal de git-bash sin cambiar de carpeta, ejecutar estos comandos:echo "alias sqlite3=\"winpty ${PWD}/sqlite3.exe\"" >> ~/.bashrcysource ~/.bashrcEl primer comando creará el alias sqlite3 que puedes usar para abrir una base de datos. El segundo comando refrescará tu terminal para que puedas empezar a usar este comando. Intenta escribir el comando sqlite3 newdb.sqlite. Si se le presenta un aviso sqlite>, ha creado con éxito el comando sqlite3 para su terminal. Escriba Ctrl + C para salir. También puede salir escribiendo .exit en el prompt y presionando Enter.MAC OS XPara los Mac, usa el paquete de herramientas sqlite de Mac OS X (x86):Instálalo y descomprímelo.En su terminal, navegue hasta el directorio de la carpeta descomprimida usando cd.Ejecute el comando mv sqlite3 /usr/local/bin/. Esto añadirá el comando sqlite3 a la ruta de su terminal, permitiéndole usar el comando desde cualquier lugar.Intente escribir sqlite3 newdb.sqlite. Si se te presenta un sqlite> prompt, ¡has instalado SQLite! Introduce control + d para salir. También puedes salir escribiendo .exit en el prompt y pulsando return.LINUXEn Ubuntu o distribuciones similares:Abra su terminal y ejecute sudo apt-get install sqlite3. De lo contrario, use los administradores de paquetes de su distribución.Intente escribir el comando sqlite3 newdb.sqlite. Si se le presenta un aviso sqlite>, ha creado con éxito el comando sqlite3 para su terminal. Puede salir escribiendo .exit en el prompt y presionando enter.CONCLUSIÓNHa instalado un software de base de datos y ha abierto una conexión a una base de datos. Ahora tiene todo el poder de SQL a su alcance. Podrá gestionar todos los datos de cualquier aplicación que sueñe con escribir. Felicitaciones!
Big Data
En La Bolsa De Valores De Nueva York, El Diluvio De Datos Sobrepasa Las Bases De Datos Tradicionales
NYSE y NYSE Technologies, su subsidiaria de tecnología, encontraron que el continuo crecimiento de los datos del mercado de valores, la demanda de más análisis y, gracias a los reguladores, muchos más informes, eran demasiado para su base de datos existente.NYSE Technologies recibe de cuatro a cinco terabytes de datos al día y los utiliza para hacer análisis complejos, vigilancia del mercado, planificación de capacidad y monitoreo.La compañía había estado usando una base de datos tradicional, dijo Emile Werr, jefe de desarrollo de productos, NYSE Big Data Group y jefe global de Enterprise Data Architecture e Identity Access Management para NYSE Euronext . El sistema existente no podía manejar la carga de trabajo -- tardaba horas en cargarse y tenía poca velocidad de consulta.NYSE recurrió a la plataforma Netezza de IBM porque no podía lograr sus objetivos con la tecnología de bases de datos tradicionales, dijo Werr."Empezamos hace cinco años y ahora estamos más maduros en la industria con el uso de sistemas MPP (procesamiento paralelo masivo), y hemos mostrado un significativo retorno de la inversión, al poder hacer análisis complejos mientras se gestiona el footprint", dijo Werr."La Bolsa de Valores de Nueva York necesita almacenar y analizar siete años de datos históricos y ser capaz de buscar a través de aproximadamente un terabyte de datos por día, lo que equivale a cientos en total", añadió Werr. "El sistema PureData para análisis impulsado por Netezza proporciona la escalabilidad, la simplicidad y el rendimiento críticos para poder analizar nuestros grandes datos y ofrecer resultados ocho horas más rápido que en la solución anterior, que en nuestro mundo es game changer".El enfoque inicial de la Bolsa de Nueva York fue la vigilancia comercial de los creadores de mercado y las plataformas comerciales de los corredores de bolsa. Una segunda preocupación fue la planificación de la capacidad."Los acuerdos de nivel de servicio de la Bolsa de Nueva York son estrictos", dijo Werr. "El sistema debe ser 100 por ciento tolerante a las fallas. Cuando los sistemas cruzan los umbrales de capacidad, la capacidad adicional se activaría automáticamente y el comercio continuaría fluyendo sin interrupciones".Werr dijo que quedó claro que la tecnología tradicional de bases de datos no haría lo que necesitaba la Bolsa de Valores de Nueva York."Los volúmenes de datos extremadamente grandes, las complejidades de integración de datos, la vigilancia del mercado y los requisitos de análisis ad hoc requerían un gran número de recursos informáticos para cuidar el entorno y afinarlo constantemente. Los sistemas se volvieron demasiado complejos y lentos", añadió Werr.Para ejecutar el análisis, los datos tenían que ser extraídos de la base de datos en aplicaciones como SAS y aplicaciones propietarias de la Bolsa de Valores de Nueva York para realizar los análisis necesarios.Werr dijo que NYSE Technologies ha descubierto cómo utilizar todos sus activos de datos de una manera eficiente y rentable. La empresa ha ampliado su data wharehouse con una fuente de archivos distribuidos, añadió."El Big Data para nosotros son el aumento entre sistemas como Netezza y un conjunto de tecnologías como Hadoop y un sistema de archivos distribuidos y niveles de identificación que orquestan el acceso a los datos. El big data en la Bolsa de Nueva York se trata sobre llevarlos al siguiente nivel y empaquetarlos para que puedan ser lanzados en una organización y aprovechados para que puedan seguir apoyando las innovaciones en big data".Phil Francisco, vicepresidente de gestión de productos de big data de IBM, dijo que Werr había desarrollado algunas formas interesantes de cargar datos de archivo en Netezza muy rápidamente para que la Bolsa de Nueva York pueda realizar análisis de vigilancia contra los registros de hace unos meses o unos años."Típicamente tendrán menos de un año de datos en Netezza pero siempre pueden cargar datos de un archivo". Con los métodos que Werr desarrolló, la Bolsa de Valores de Nueva York puede buscar patrones de largo plazo. Emile fue el arquitecto de eso... cómo usar un data wharehouse de alto rendimiento en torno a la retención de datos"."La Bolsa de Valores de Nueva York continúa ampliando los límites de alto rendimiento, escalabilidad y fiabilidad", dijo Werr. "La NYSE ha implementado grandes pipelines de red a través de centros de datos y sistemas de comercio. Podemos mover los datos muy rápidamente. Los datos necesitan moverse dentro y fuera de los sistemas de análisis (como Netezza) rápidamente.NYSE Technologies pone sus sistemas a disposición para su compra e instalación detrás de un firewall o como un servicio. El sistema es rápido -- en términos de análisis; no está diseñado para el comercio de alta frecuencia. Se actualiza a intervalos de un minuto, casi en tiempo real en el mundo de la analítica.Algunos corredores de bolsa piden datos en un momento específico, como el Flash Crash para poder probar sus algoritmos contra él. Mover esos datos a una empresa puede ser costoso, por lo que NYSE Technologies los deja en su centro de datos y las empresas pueden probarlos sin mover los datos del día."Muchas firmas quieren obtener datos a pedido mientras los dejan en nuestra empresa", explicó. Los datos pueden ser ofrecidos en bruto o personalizados para hacerlos más fáciles de usar.
Big Data
Una Guía Para Principiantes - Apache Spark
Apache Spark vs. Hadoop MapReduce - pros, contras, y cuándo usar cuál¿Qué es Apache Spark?La compañía fundada por los creadores de Spark - Databricks - resume su funcionalidad de la mejor manera en su libro Gentle Intro to Apache Spark eBook (lectura altamente recomendada - enlace a la descarga de PDF proporcionado al final de este artículo):"Apache Spark es un motor de computación unificado y un conjunto de librerías para el procesamiento paralelo de datos en clusters de computadoras. En el momento de escribir este artículo, Spark es el motor de código abierto más activamente desarrollado para esta tarea; convirtiéndolo en la herramienta de facto para cualquier desarrollador o científico de datos interesado en Big Data. Spark soporta múltiples lenguajes de programación ampliamente utilizados (Python, Java, Scala y R), incluye bibliotecas para diversas tareas que van desde SQL hasta streaming y aprendizaje automático, y funciona en cualquier lugar desde un ordenador portátil hasta un clúster de miles de servidores. Esto lo convierte en un sistema fácil de iniciar y escalar hasta el procesamiento de grandes datos a una escala increíblemente grande".¿Qué es Big Data?Veamos la definición ampliamente usada de Gartner de Big Data, para que luego podamos entender cómo Spark opta por abordar muchos de los desafíos asociados con el trabajo con Big Data en tiempo real a escala:"El Big Data son activos de información de gran volumen, alta velocidad y/o variedad que exigen formas rentables e innovadoras de procesamiento de la información que permitan mejorar el conocimiento, la toma de decisiones y la automatización de los procesos".El complejo mundo del big dataNota: La clave aquí es que lo "grande" en Big Data no es sólo el volumen. No sólo se trata de obtener un montón de datos, sino que también viene: rápido en tiempo real, en un formato complejo, y de una variedad de fuentes. De ahí las 3-Vs de Big Data - Volumen, Velocidad, Variedad.¿Por qué la mayoría de las compañías de Big Data Analytics tienen "spark en la mira" cuando escuchan sobre todas las funcionalidades útiles de Spark?Basado en mi investigación preliminar, parece que hay tres componentes principales que hacen de Apache Spark el líder para trabajar eficientemente con Big Data a escala, lo que motiva a muchas grandes compañías que trabajan con grandes cantidades de datos no estructurados, a adoptar Apache Spark en su stack.Spark es un one-stop-shop para trabajar con Big Data - "Spark está diseñado para soportar una amplia gama de tareas de análisis de datos, que van desde la simple carga de datos y consultas SQL hasta el aprendizaje automático y la computación en flujo, sobre el mismo motor de computación y con un conjunto consistente de APIs. La principal idea que subyace a este objetivo es que las tareas de análisis de datos en el mundo real -ya se trate de análisis interactivos en una herramienta, como un notebook de Jupyter, o de desarrollo de software tradicional para aplicaciones de producción- tienden a combinar muchos tipos y bibliotecas de procesamiento diferentes. La naturaleza unificada de Spark hace que estas tareas sean más fáciles y eficientes de escribir" (Databricks eBook). Por ejemplo, si se cargan datos mediante una consulta SQL y luego se evalúa un modelo de aprendizaje automático sobre él utilizando una biblioteca ML de Spark, el motor puede combinar estos pasos en una sola exploración sobre los datos. Además, los científicos de datos pueden beneficiarse de un conjunto unificado de bibliotecas (por ejemplo, Python o R) al realizar el modelado, y los desarrolladores web pueden beneficiarse de marcos unificados como Node.js o Django.Spark optimiza su motor central para la eficiencia de los cálculos - "con esto queremos decir que Spark sólo maneja la carga de datos de los sistemas de almacenamiento y la realización de cálculos en ellos, no el almacenamiento permanente como fin en sí mismo. Spark puede ser usado con una amplia variedad de sistemas de almacenamiento persistente, incluyendo sistemas de almacenamiento en la nube como Azure Storage y Amazon S3, sistemas de archivos distribuidos como Apache Hadoop, almacenes de clave-valor como Apache Cassandra, y buses de mensajes como Apache Kafka. Sin embargo, Spark no almacena los datos a largo plazo por sí misma ni favorece a ninguno de ellos. La motivación clave aquí es que la mayoría de los datos ya residen en una mezcla de sistemas de almacenamiento. Los datos son caros de mover, así que Spark se centra en realizar cálculos sobre los datos, sin importar dónde residan" (Databricks eBook). El enfoque de Spark en la computación lo hace diferente de las anteriores grandes plataformas de software de datos como Apache Hadoop. Hadoop incluía tanto un sistema de almacenamiento (el sistema de archivos Hadoop, diseñado para el almacenamiento de bajo costo sobre clusters de servidores de productos básicos de Defining Spark 4) como un sistema de computación (MapReduce), que estaban estrechamente integrados entre sí. Sin embargo, esta elección dificulta la ejecución de uno de los sistemas sin el otro o, lo que es más importante, la escritura de aplicaciones que accedan a datos almacenados en cualquier otro lugar. Si bien Spark funciona bien en el almacenamiento Hadoop, actualmente también se utiliza ampliamente en entornos en los que la arquitectura Hadoop no tiene sentido, como la nube pública (en la que el almacenamiento puede adquirirse por separado de la computación) o las aplicaciones de streaming.Las bibliotecas de Spark le dan una gama muy amplia de funcionalidades - Hoy en día, las bibliotecas estándar de Spark son el grueso del proyecto de código abierto. El motor central de Spark en sí mismo ha cambiado poco desde de que fue lanzado por primera vez, pero las bibliotecas han crecido para proporcionar cada vez más tipos de funcionalidad, convirtiéndolo en una herramienta multifuncional de análisis de datos. Spark incluye bibliotecas para SQL y datos estructurados (Spark SQL), aprendizaje automático (MLlib), procesamiento de flujos (Spark Streaming y el más reciente Structured Streaming), y análisis de gráficos (GraphX). Más allá de estas bibliotecas, hay cientos de bibliotecas externas de código abierto que van desde conectores para varios sistemas de almacenamiento hasta algoritmos de aprendizaje automático.Apache Spark vs. Hadoop MapReduce... ¿Cuál debería usar?La respuesta corta es - depende de las necesidades particulares de su negocio, pero basado en mi investigación, parece que 7 de cada 10 veces la respuesta será - Spark. El procesamiento lineal de enormes conjuntos de datos es la ventaja de Hadoop MapReduce, mientras que Spark ofrece un rápido rendimiento, procesamiento iterativo, análisis en tiempo real, procesamiento de gráficos, aprendizaje automático y más.La gran noticia es que Spark es totalmente compatible con el ecosistema Hadoop y funciona sin problemas con el Sistema de Archivos Distribuidos Hadoop (HDFS), Apache Hive, y otros. Así que, cuando el tamaño de los datos es demasiado grande para que Spark lo maneje en memoria, Hadoop puede ayudar a superar ese obstáculo a través de su funcionalidad HDFS. A continuación se muestra un ejemplo visual de cómo Spark y Hadoop pueden trabajar juntos:https://www.quora.com/What-is-the-difference-between-Hadoop-and-SparkLa imagen de arriba demuestra cómo Spark utiliza las mejores partes de Hadoop a través del HDFS para leer y almacenar datos, MapReduce para el procesamiento opcional y YARN para la asignación de recursos.A continuación, trataré de destacar las muchas ventajas de Spark sobre Hadoop MapReduce realizando una breve comparación cara a cara entre ambos.Source: https://data-flair.training/blogs/spark-vs-hadoop-mapreduce/VelocidadApache Spark, es una herramienta de computación en clúster que trabaja a la velocidad de la luz. Spark ejecuta las aplicaciones hasta 100 veces más rápido en memoria y 10 veces más rápido en disco que Hadoop, reduciendo el número de ciclos de lectura-escritura en disco y almacenando los datos intermedios en memoria.Hadoop MapReduce - MapReduce lee y escribe desde el disco, lo que reduce la velocidad de procesamiento y la eficiencia general.Facilidad de usoApache Spark - Las muchas bibliotecas de Spark facilitan la ejecución de muchos de los principales operadores de alto nivel con RDD (Resilient Distributed Dataset).Hadoop - En MapReduce, los desarrolladores necesitan codificar a mano cada operación, lo que puede hacer más difícil su uso para proyectos complejos a escala.Manejo de grandes conjuntos de datosApache Spark - ya que Spark está optimizado para la velocidad y la eficiencia computacional al almacenar la mayoría de los datos en la memoria y no en el disco, puede tener un rendimiento inferior al de Hadoop MapReduce cuando el tamaño de los datos es tan grande que la insuficiencia de la memoria RAM se convierte en un problema.Hadoop - Hadoop MapReduce permite el procesamiento paralelo de grandes cantidades de datos. Rompe un gran trozo en otros más pequeños para ser procesados por separado en diferentes nodos de datos. En caso de que el conjunto de datos resultante sea más grande que la RAM disponible, Hadoop MapReduce puede superar a Spark. Es una buena solución si la velocidad de procesamiento no es crítica y las tareas pueden dejarse en marcha durante la noche para generar resultados por la mañana.FuncionalidadApache Spark es el ganador indiscutible en esta categoría. A continuación se muestra una lista de las muchas tareas de Big Data Analytics en las que Spark supera a Hadoop:Procesamiento iterativo. Si la tarea es procesar datos una y otra vez - Spark derrota a Hadoop MapReduce. Los Resilient Distributed Datasets (RDDs) de Spark permiten múltiples operaciones de mapas en memoria, mientras que Hadoop MapReduce tiene que escribir los resultados provisionales en un disco.Procesamiento casi en tiempo real. Si una empresa necesita conocimientos inmediatos, entonces debe optar por Spark y su procesamiento en memoria.Procesamiento de gráficos. El modelo computacional de Spark es bueno para los cálculos iterativos que son típicos en el procesamiento de gráficos. Y Apache Spark tiene GraphX - una API para el cálculo de gráficos.Aprendizaje automático. Spark tiene MLlib - una biblioteca de aprendizaje automático incorporada, mientras que Hadoop necesita un tercero para proporcionarla. MLlib tiene algoritmos listos para usar que también se ejecutan en memoria.Uniendo conjuntos de datos. Debido a su velocidad, Spark puede crear todas las combinaciones más rápido, aunque Hadoop puede ser mejor si se unen conjuntos de datos muy grandes que requieren mucha mezcla y clasificación.Un resumen visual de las muchas capacidades de Spark y su compatibilidad con otros motores de Big Data y lenguajes de programación:source: https://www.quora.com/Is-Spark-a-component-of-the-Hadoop-ecosystemSpark Core - Spark Core es el motor base para el procesamiento paralelo y distribuido de datos a gran escala. Además, las bibliotecas adicionales que se construyen sobre el núcleo permiten diversas cargas de trabajo para streaming, SQL y aprendizaje automático. Es responsable de la administración de la memoria y la recuperación de fallas, la programación, la distribución y el monitoreo de los trabajos en un clúster y la interacción con los sistemas de almacenamiento.Administración de clústeres - El administrador de clústeres se utiliza para adquirir recursos de clústeres para la ejecución de trabajos. El núcleo de Spark funciona sobre diversos administradores de clusters, incluyendo Hadoop YARN, Apache Mesos, Amazon EC2 y el administrador de clusters incorporado de Spark. El administrador del clúster se encarga de compartir recursos entre las aplicaciones de Spark. Por otro lado, Spark puede acceder a datos en HDFS, Cassandra, HBase, Hive, Alluxio, y cualquier fuente de datos HadoopSpark Streaming - Spark Streaming es el componente de Spark que se utiliza para procesar datos de transmisión en tiempo real.Spark SQL: Spark SQL es un nuevo módulo en el Spark que integra el procesamiento relacional con la API de programación funcional del Spark. Soporta la consulta de datos ya sea a través de SQL o a través de Hive Query Language. Las API de DataFrame y Dataset de Spark SQL proporcionan un mayor nivel de abstracción para los datos estructurados.GraphX: GraphX es la API de Spark para gráficos y cálculo paralelo de gráficos. Por lo tanto, extiende Spark RDD con un Resilient Distributed Property Graph.MLlib (Machine Learning): MLlib significa Machine Learning Library. Spark MLlib se utiliza para realizar el aprendizaje automático en Apache Spark.ConclusiónCon la explosión masiva de Big Data y el aumento exponencial de la velocidad de la potencia de cálculo, herramientas como Apache Spark y otros motores de Big Data Analytics pronto serán indispensables para los científicos de datos y se convertirán rápidamente en el estándar de la industria para la realización de Big Data Analytics y la resolución de complejos problemas empresariales a escala en tiempo real. Para aquellos interesados en profundizar en la tecnología que hay detrás de todas esas funcionalidades, por favor haga clic en el enlace de abajo y descargue el eBook de Databricks - "A Gentle Intro to Apache Spark", o consulte "Big Data Analytics on Apache Spark" a continuación.
Big Data
¿Qué Le Pasó A Hadoop? ¿Qué Deberías Hacer Ahora? Los 5 Ingredientes Para Una Estrategia Exitosa De Modernización De Aplicaciones
por Monte Zweben y Syed Mahmood de Splice MachineApache Hadoop surgió en el escenario tecnológico en el 2006 con la promesa de proporcionar a las organizaciones la capacidad de almacenar un volumen de datos sin precedentes utilizando hardware básico. Esta promesa no sólo se refería al tamaño de los conjuntos de datos sino también al tipo de datos, como los datos generados por los dispositivos IoT, sensores, servidores y medios sociales que las empresas estaban cada vez más interesadas en analizar. La combinación de volumen, velocidad y variedad de datos se conocía popularmente como Big Data.El schema-on-read jugó un papel vital en la popularidad de Hadoop. Las empresas pensaron que ya no tenían que preocuparse por el tedioso proceso de definir qué tablas contenían qué datos y cómo se conectaban entre sí, un proceso que llevaba meses y que no se podía ejecutar ni una sola consulta antes de que se completara. En este valiente nuevo mundo, las empresas podían almacenar tantos datos como pudieran en repositorios basados en Hadoop conocidos como Data Lakes y preocuparse por cómo se analizarán más tarde.Los Data Lakes comenzaron a aparecer en las empresas. Estos Data Lakes fueron habilitados por las distribuciones comerciales de Big Data - un número de motores de computación independientes de código abierto soportados en una plataforma que impulsaría el data lake para analizar los datos de diferentes maneras. Y encima de eso, todo esto siendo Código Abierto era gratis probarlo! ¿Qué podría salir mal?El esquema de lectura (Schema-on-Read) fue un errorComo con tantas cosas en la vida, las características de Hadoop que se pregonaban como sus ventajas también resultaron ser su talón de Aquiles. Primero, con el schema-on-read levantado, los terabytes de datos estructurados y no estructurados comenzaron a fluir en los lagos de datos. Con el marco y la capacidad de gobierno de datos de Hadoop aún en proceso de definición, se hizo cada vez más difícil para las empresas determinar el contenido de su lago de datos y el linaje de sus datos. Además, los datos no estaban listos para ser consumidos. Las empresas comenzaron a perder la fe en los datos que estaban en sus lagos de datos y lentamente estos lagos de datos comenzaron a convertirse en pantanos de datos (Data Swamps). La filosofía de "constrúyelo y vendrán" del scheme-on-road fracasó.La complejidad de Hadoop y los motores de computación en forma de conductoEn segundo lugar, las distribuciones Hadoop proporcionaron varios motores de computación de código abierto como Apache Hive, Apache Spark y Apache Kafka, por nombrar sólo algunos, pero esto resultó ser un caso de "demasiado bueno para ser cierto". Un ejemplo: una plataforma comercial de Hadoop consistía en 26 de estos motores separados. Estos motores de computación eran complejos de operar y requerían habilidades especializadas para unir los conductos que eran difíciles de encontrar en el mercado.El enfoque equivocado: El lago de datos Vs El proyectoEn tercer lugar, y lo más importante, los proyectos data lake comenzaron a fracasar porque las empresas dieron prioridad al almacenamiento de todos los datos de la empresa en una ubicación central con el objetivo de poner estos datos a disposición de todos los desarrolladores - un almacén de datos uber si se quiere, en lugar de pensar en cómo los datos impactarían en las aplicaciones. Como resultado, los clústeres Hadoop se convirtieron a menudo en las puertas de entrada de los conductos de datos empresariales que filtran, procesan y transforman los datos que luego se exportan a otras bases de datos y mercados de datos para la elaboración de informes en sentido descendente y casi nunca encuentran su camino hacia una aplicación empresarial real en la empresa de tejido operativo. Como resultado, los lagos de datos terminan siendo un conjunto masivo de motores de computación dispares, que operan con cargas de trabajo dispares, todos compartiendo el mismo almacenamiento. Esto es muy difícil de manejar. El aislamiento de los recursos y las herramientas de gestión en este ecosistema están mejorando, pero todavía tienen un camino por recorrer.Las empresas, en su mayor parte, no fueron capaces de cambiar su enfoque de utilizar sus lagos de datos como depósitos de datos baratos y pipelines de procesamiento a plataformas que consumen datos y alimentan aplicaciones de misión crítica. Por ejemplo, Apache Hive y Apache Spark están entre los motores de computación más utilizados para los lagos de datos de Hadoop. Ambos motores se utilizan con fines analíticos, ya sea para procesar consultas de tipo SQL (Hive) o para realizar transformaciones de datos de tipo SQL y construir modelos predictivos (Spark). Estas implementaciones de lagos de datos no se han centrado lo suficiente en cómo utilizar operativamente los datos en las aplicaciones.Estrategia para el futuroPor lo tanto, si su organización está preocupada por los recientes acontecimientos en el ecosistema de Hadoop y cada vez más presionada para demostrar el valor de su lago de datos, debería empezar por centrarse primero en las aplicaciones operativas y luego trabajar de nuevo en los datos.Photo by Tiago Gerken on UnsplashAl centrarse en la modernización de las aplicaciones con datos e inteligencia, terminará con aplicaciones que pueden aprovechar los datos para predecir lo que podría suceder en el futuro basándose en la experiencia y ser proactivos para tomar decisiones en el momento que resulten en resultados empresariales superiores. A continuación se presentan 5 ingredientes para una estrategia exitosa de modernización de aplicaciones:Elegir una aplicación para modernizar: En lugar de enfocar sus esfuerzos en centralizar los datos, primero, elija una aplicación que le gustaría modernizar. El principal candidato para ello es una de las muchas aplicaciones internas y personalizadas que se han quedado atrás en el mercado y que necesitan ser más ágiles, inteligentes y basadas en datos. Una vez que haya identificado la aplicación que puede ofrecer una ventaja competitiva a su organización, entonces podrá centrarse en la obtención de los datos necesarios para impulsar esa aplicación y en si esos datos pueden estar disponibles desde el lago de datos.Utilice el SQL de escalado (scale-out SQL) para la modernización de su aplicación: SQL ha sido el caballo de batalla de las cargas de trabajo en la empresa durante varios años y hay cientos de desarrolladores, analistas de negocios y personal de TI en su organización que están completamente familiarizados con SQL. No incurra en tiempo, gastos y riesgos adicionales al reescribir su aplicación SQL original en una API de NoSQL de bajo nivel. Seleccione una plataforma que le permita mantener los patrones familiares y la potente funcionalidad de SQL para modernizar la aplicación, pero hágalo en una arquitectura que pueda escalar de forma elástica en una infraestructura económica. El escalamiento trae el poder de un clúster entero para que se aplique a la computación, haciéndolo mucho más rápido que los viejos sistemas SQL que funcionaban en un sistema centralizado. Con el scale-out se puede añadir más capacidad y quitarla a medida que las cargas de trabajo también cambian.Adopte una plataforma ACID: El cumplimiento del ACID es el mecanismo a través del cual las transacciones mantienen la integridad de la base de datos y permite a los usuarios realizar acciones como el commit y el rollback. Se trata de una funcionalidad crítica para potenciar las aplicaciones operativas, ya que garantiza que la base de datos no haga visibles los cambios a los demás hasta que se haya emitido un commit. Seleccione una plataforma que proporcione capacidad ACID a nivel de transacción individual en la base de datos. De lo contrario, todas estas ramificaciones de consistencia deben ser manejadas en el código de la aplicación. Todos los sistemas SQL tradicionales cumplían con el ACID. Los lagos de datos descartaron erróneamente esto haciendo que las aplicaciones sean muy difíciles de escribir.Unificar los motores analíticos: Según un reciente blog de Gartner, históricamente, había buenas razones para separar la infraestructura de TI en componentes operativos (OLTP) y analíticos (OLAP), pero ya no es así. ETL mata nuestros SLA's con latencia. Solía ocurrir que las cargas de trabajo operacional y analítica interferían entre sí y había que separarlas. Además, las plataformas de datos heredadas funcionaban tan mal que teníamos que transformar el esquema operacional en star-schemas o snowflake-schemas que eran mejores para las cargas de trabajo analítico. Este ETL ya no es necesario y se puede ejecutar el análisis en la plataforma operativa, a menudo utilizando el esquema operativo. Al implementar esta plataforma se asegurará de que su aplicación se ejecuta en una plataforma que minimiza el movimiento de datos y no contribuye a la latencia de la aplicación. Esto entrega sus conocimientos, informes y cuadros de mando actuales frente a los datos de ayer o de la semana pasada.Embeber el machine learning nativo: Una de las principales razones para modernizar su aplicación es inyectar Inteligencia Artificial y Machine Learning en ella para que pueda aprender de la experiencia, adaptarse dinámicamente a los cambios y tomar decisiones en el momento. Para que su aplicación sea inteligente es fundamental que seleccione una plataforma que tenga incorporado el aprendizaje automático a nivel de base de datos, de modo que los datos actualizados estén siempre disponibles para que los modelos puedan experimentar, entrenar y ejecutar.Este es fundamentalmente un enfoque diferente al que ha utilizado su lago de datos hasta ahora. Este enfoque ofrece un valor comercial tangible a la línea de negocio más rápido a través de la aplicación (el proyecto) que ahora puede aprovechar el lago de datos.Este enfoque garantizará que, además de modernizar las aplicaciones que proporcionan a su negocio una ventaja competitiva, también preservará la inversión en su lago de datos.Si desea saber más sobre las cinco señales de advertencia de que su aplicación se está quedando atrás en los esfuerzos de transformación digital, obtenga una copia del white paper hoy mismo.
Big Data
Data Science
Business
Eligiendo La Base De Datos Correcta
Un paso crítico para comenzar cualquier proyecto de base de datos: relacional vs. no relacional, Teorema CAP y más.@fellowferdi unsplash.comCuando se inicia un nuevo proyecto de base de datos de una empresa, uno de los pasos más críticos es elegir la base de datos correcta. Con la llegada del big data, simplemente hay muchas más opciones para sus necesidades de gestión de datos. Elegir la base de datos correcta significará lo siguiente:Ante todo, debe comprender cómo se utilizará su base de datos en el marco de los requisitos de su proyecto.Con un tipo de base de datos, sólo se satisfarán algunas de las necesidades de la base de datos.El rendimiento sólo se obtiene después de que se hayan satisfecho todas las necesidades de la base de datos de forma individual con el tipo de base de datos adecuado.Siempre hay unas cosas por sacrificar entre la consistencia, la disponibilidad y la tolerancia de la partición.Entendiendo estas cosas por sacrificarLa razón por la que tenemos muchas opciones de bases de datos disponibles hoy en día se debe al Teorema CAP. CAP significa consistencia, disponibilidad (availability) y tolerancia de partición (partition tolerance).Consistencia significa que cualquier petición de lectura devolverá la escritura más reciente.Disponibilidad significa que el nodo que no responde debe responder en un tiempo razonable.Tolerancia de partición significa que el sistema seguirá funcionando a pesar de los fallos de la red o del nodo."En un momento dado, sólo se pueden satisfacer dos de estos tres requisitos a la vez".Las bases de datos relacionales se caracterizan tradicionalmente por su gran coherencia y alta disponibilidad a expensas de la tolerancia a las particiones.Ejemplos: SQL Server, MySQL, base de datos Oracle, PostgresSQL, IBM DB2Se han creado bases de datos no relacionales para atender a las necesidades de disponibilidad y tolerancia de partición o (de consistencia y tolerancia de partición).Ejemplos: Memcached, Redis, Coherencia, Hbase, BigTable, Accumulo, MongoDB, CouchDB"Para los sistemas complejos que son intensivos en lectura y escritura, puede ser importante tener una combinación de bases de datos relacionales y no relacionales para dividir las tareas de lectura versus escritura para optimizar el CAP".Preguntas importantes para hacerEl siguiente paso para elegir una base de datos es tener una lista de preguntas para hacer en relación con su requisito empresarial. Aquí hay algunas¿Cuántas relaciones hay en sus datos? ¿Cuál es el nivel de complejidad de sus datos? ¿Con qué frecuencia cambian los datos? ¿Con qué frecuencia su aplicación consulta los datos? ¿Con qué frecuencia consulta su aplicación la relación subyacente a los datos?¿Con qué frecuencia actualizan sus usuarios los datos? ¿Con qué frecuencia actualizan los usuarios la lógica de los datos?¿Qué tan crítica es su aplicación en un escenario de desastre?Comprensión de las ventajas y desventajasLas bases de datos relacionales están optimizadas para las escrituras. Están optimizadas para la consistencia y la disponibilidad.Las ventajas de las bases de datos relacionales incluyen simplicidad, facilidad de recuperación de datos, integridad de los datos y flexibilidad.Las desventajas de las bases de datos relacionales incluyen:Costosas - costosa la creación y el mantenimiento de la base de datos.Límites estructurados - las bases de datos relacionales tienen límites en cuanto a la longitud de los campos. Esto puede ser engorroso para almacenar una gran cantidad de información en un campo. Aislamiento - múltiples bases de datos relacionales pueden convertirse fácilmente en "islas de información". Puede ser difícil conectar las bases de datos donde puedan hablar entre ellas.Las bases de datos no relacionales están optimizadas para las lecturas. Sirven para las necesidades de disponibilidad y tolerancia de partición, o de consistencia y tolerancia de partición.Las ventajas de las bases de datos no relacionales incluyen:Flexibilidad: almacenamiento de grandes volúmenes de datos estructurados, semiestructurados y no estructurados. Programación ágil - puede acomodar rápidas iteraciones de sprints y subidas de código.Escalabilidad económica - puede escalar la arquitectura de manera eficiente sin costosos gastos generales.Las desventajas de las bases de datos no relacionales incluyen:Consistencia de los datos - las bases de datos no relacionales no realizan transacciones ACID. En su lugar, se basan en la "consistencia eventual". Los beneficios de rendimiento de estas bases de datos significan que hay un costo de consistencia.Estandarización - No existe una interfaz de programación específica para las diferentes bases de datos. Cada una varía en el lenguaje de consulta con otra.Escalabilidad - No todas las bases de datos no relacionales son buenas para automatizar el proceso de fragmentación, o para extender la base de datos a través de múltiples nodos. Esto presenta limitaciones para poder escalar hacia arriba o hacia abajo por la fluctuación de la demanda.Entendiendo los diferentes tipos de bases de datos no relacionalesHoy en día, hay diferentes tipos de bases de datos no relacionales. Se clasifican en categorías específicas. Cada categoría de base de datos no relacional sirve para un propósito determinado.Clave-valor - Estas bases de datos funcionan mejor con un simple esquema de base de datos. Es mejor para muchas lecturas y escritura, pero pocas actualizaciones. Funciona mejor cuando no hay consultas complejas o lógica de negocios.Ejemplos: Redis, Dynamo DB, y Cosmos DB.Documento - Estas bases de datos funcionan mejor si se necesita un esquema flexible. Los datos se almacenan en formato XML o JSON. Puede vivir con un alto rendimiento de lectura y puede equilibrar el rendimiento de lectura con el de escritura. Puede utilizar índices para maximizar su rendimiento con estas bases de datos.Ejemplos: MongoDB, DynamoDB y Couchbase.Grafos - Estas bases de datos son excelentes para cuando tienes un esquema de base de datos complejo. Necesitas mostrar la lógica de negocio con frecuencia entre los nodos. Estas bases de datos te permitirán navegar entre los nodos.Ejemplos: Neo4j, Cosmos Db, y Amazon Neptune.Ahora que ya tiene una sólida comprensión de lo que se necesita para elegir una base de datos para su próximo proyecto empresarial, puede seleccionar una o varias para las diferentes necesidades de aplicaciones que pueda tener. Tu selección será una selección informada y que tiene en cuenta todas las diferentes necesidades empresariales que puedas tener.
Big Data
Volumen, Velocidad Y Variedad: Entendiendo Las Tres V's Del Big Data
Para aquellos que luchan por entender el big data, hay tres conceptos clave que pueden ayudar: volumen, velocidad y variedad. Estos tres vectores describen cómo el big data es tan diferente de la gestión de datos de la vieja escuela.Nota del editor: Este artículo fue publicado originalmente en 2016 y ha sido actualizado para 2018.Nosotros, los profesionales de las artes tecnológicas, tenemos la tendencia a usar una jerga especializada. Eso no es inusual. La mayoría de los gremios, sacerdocios y profesiones han tenido su propio estilo de comunicación, ya sea por conveniencia o para establecer un sentido de exclusividad. En tecnología, también tendemos a adjuntar palabras de moda muy simples a temas muy complejos, y luego esperamos que el resto del mundo lo haga.Tomemos, por ejemplo, las etiquetas de "nube" y "big data". El término "nube" surgió porque los ingenieros de sistemas solían dibujar diagramas de redes de área local. Entre los diagramas de las redes locales, dibujábamos un revoltijo parecido a una nube que se refería, más o menos, a "las cosas indefinidas que hay en medio". Por supuesto, la Internet se convirtió en la última cosa indefinida en el medio, y la nube se convirtió en La Nube.Para el tío Steve, la tía Becky y Janice en Contabilidad, "La Nube" significa el lugar donde guardas tus fotos y otras cosas. Mucha gente no sabe realmente que "nube" es una abreviatura, y la realidad de la nube es el crecimiento de casi inimaginables enormes centros de datos que contienen grandes cantidades de información.Big data es otra de esas palabras abreviadas, pero esta es una que Janice en Contabilidad, Jack en Marketing, y Bob el miembro de junta directiva de la empresa realmente necesitan entender. El big data no sólo puede responder a grandes preguntas y abrir nuevas puertas a la oportunidad, sino que sus competidores están usando casi sin duda big data para su propia ventaja competitiva.Eso, por supuesto, plantea la pregunta: ¿qué es el big data? La respuesta, como la mayoría en la tecnología, depende de su perspectiva. Aquí hay una buena manera de pensar en ello. El big data son datos que son demasiado grandes para que la gestión de datos tradicional los maneje.Los grandes, por supuesto, también son subjetivos. Por eso lo describiremos de acuerdo a tres vectores: volumen, velocidad y variedad... las tres V.VOLUMENEl volumen es la V más asociada al big data porque, bueno, el volumen puede ser grande. De lo que estamos hablando aquí es de cantidades de datos que alcanzan proporciones casi incomprensibles.Facebook, por ejemplo, almacena fotografías. Esa declaración no empieza a aturdir la mente hasta que empiezas a darte cuenta de que Facebook tiene más usuarios que China. Cada uno de esos usuarios ha almacenado un montón de fotografías. Facebook está almacenando aproximadamente 250 mil millones de imágenes.¿Puedes imaginarlo? En serio. Adelante. Trata de envolver tu cabeza alrededor de 250 mil millones de imágenes. Intenta con esta. En 2016, Facebook tenía 2,5 billones de publicaciones. En serio, es un número tan grande que es casi imposible de imaginar.Así que, en el mundo de los grandes datos, cuando empezamos a hablar de volumen, estamos hablando de cantidades insanamente grandes de datos. A medida que avanzamos, vamos a tener más y más grandes colecciones. Por ejemplo, a medida que agregamos sensores conectados a casi todo, todos esos datos de telemetría se sumarán.¿Cuánto se sumará? Considere esto. Gartner, Cisco e Intel estiman que habrá entre 20 y 200 (no, no están de acuerdo, ¡sorpresa!) dispositivos de IO conectados, el número es enorme sin importar qué. Pero no es sólo la cantidad de dispositivos.Considera cuántos datos salen de cada uno. Tengo un sensor de temperatura en mi garaje. Incluso con un nivel de granularidad de un minuto (una medida por minuto), eso sigue siendo 525.950 puntos de datos en un año, y eso es sólo un sensor. Digamos que tienes una fábrica con mil sensores, estás viendo medio billón de puntos de datos, sólo para la temperatura.O, consideremos nuestro nuevo mundo de aplicaciones conectadas. Todo el mundo lleva un teléfono inteligente. Veamos un ejemplo sencillo, una aplicación de lista de tareas pendientes. Cada vez más proveedores gestionan los datos de las aplicaciones en la nube, de modo que los usuarios pueden acceder a sus listas de tareas en todos los dispositivos. Dado que muchas aplicaciones utilizan un modelo freemium, en el que se entrega una versión gratuita y otra version premium, los proveedores de aplicaciones basadas en SaaS tienden a tener muchos datos que almacenar.Todoist, por ejemplo (el gestor de tareas que utilizo) tiene aproximadamente 10 millones de instalaciones activas, según Android Play. Eso sin contar todas las instalaciones en la Web y en el iOS. Cada uno de esos usuarios tiene listas de elementos... y todos esos datos deben ser almacenados. Todoist no es ciertamente del nivel de Facebook, pero aún así almacenan muchos más datos que casi cualquier aplicación hace una década.Luego, por supuesto, están todas las colecciones internas de datos de la empresa, que van desde la industria energética a la salud y la seguridad nacional. Todas estas industrias están generando y capturando grandes cantidades de datos.Ese es el vector del volumen.VELOCIDAD¿Recuerdas nuestro ejemplo de Facebook? 250 mil millones de imágenes pueden parecer muchas. Pero si quieres que te vuele la cabeza, considera esto: Los usuarios de Facebook suben más de 900 millones de fotos al día. Un día. Así que ese número de 250 mil millones del año pasado parecerá una gota en un vaso de agua en unos meses.La velocidad es la medida de la rapidez con la que llegan los datos. Facebook tiene que manejar un tsunami de fotografías todos los días. Tiene que ingerirlo todo, procesarlo, archivarlo, y de alguna manera, más tarde, ser capaz de recuperarlo.Aquí hay otro ejemplo. Digamos que estás llevando a cabo una campaña de marketing y quieres saber cómo la gente "ahí fuera" se siente acerca de tu marca en este momento. ¿Cómo lo harías? Una forma sería licenciar algunos datos de Twitter de Gnip (adquiridos por Twitter) para agarrar un flujo constante de tweets, y someterlos a un análisis de sentimientos.Esa alimentación de datos de Twitter a menudo se llama "la manguera de fuego" (the firehose) porque se producen tantos datos (en forma de tweets), que se siente como estar en el extremo de una manguera de fuego.Aquí hay otro ejemplo de velocidad: análisis de paquetes para ciberseguridad. Internet envía una gran cantidad de información a través del mundo cada segundo. Para un equipo de TI de una empresa, una parte de esa inundación tiene que viajar a través de cortafuegos a una red corporativa.Desafortunadamente, debido al aumento de los ciberataques, el cibercrimen y el ciberespionaje, las siniestras cargas útiles pueden ocultarse en ese flujo de datos que pasa a través del cortafuegos. Para prevenir el compromiso, ese flujo de datos tiene que ser investigado y analizado por anomalías, patrones de comportamiento que son señales de alerta. Esto se está volviendo más difícil a medida que más y más datos son protegidos con encriptación. Al mismo tiempo, los malos están escondiendo sus cargas de malware dentro de paquetes encriptados.O tomar los datos de los sensores. Cuanto más despegue la Internet de las cosas, más sensores conectados estarán en el mundo, transmitiendo diminutos bits de datos a una tasa casi constante. A medida que el número de unidades aumenta, también lo hace el flujo.Ese flujo de datos es el vector de velocidad.VARIEDADHabrás notado que he hablado de fotografías, datos de sensores, tweets, paquetes encriptados, etc. Cada uno de estos son muy diferentes entre sí. Estos datos no son las antiguas filas y columnas y joins de bases de datos de nuestros antepasados. Es muy diferente de una aplicación a otra, y gran parte de ella no está estructurada. Eso significa que no encajan fácilmente en los campos de una hoja de cálculo o una aplicación de base de datos.Tomemos, por ejemplo, los mensajes de correo electrónico. Un proceso de descubrimiento legal podría requerir el cribado de miles a millones de mensajes de correo electrónico en una colección. Ninguno de esos mensajes va a ser exactamente igual a otro. Cada uno consistirá en una dirección de correo electrónico del remitente, un destino, más un sello de tiempo. Cada mensaje tendrá texto escrito por humanos y posiblemente archivos adjuntos.Fotos y videos y grabaciones de audio y mensajes de correo electrónico y documentos y libros y presentaciones y tweets son todos datos, pero generalmente no están estructurados, y son increíblemente variados.Toda esa diversidad de datos constituye el vector de variedad de los grandes datos.MANEJANDO LAS TRES Vs.Se necesitaría una biblioteca de libros para describir todos los diversos métodos que los profesionales del big data utilizan para procesar las tres V. Por ahora, sin embargo, tu gran aporte debería ser este: una vez que empieces a hablar de datos en términos que van más allá de lo básico, una vez que empieces a hablar de cantidades épicas, flujo insano y amplio surtido, estarás hablando de big data.Una última reflexión: ahora hay maneras de cribar toda esa locura y recoger ideas que pueden aplicarse para resolver problemas, discernir patrones e identificar oportunidades. Ese proceso se llama analítica, y es por eso que, cuando escuchas big data, a menudo escuchas el término analítica aplicado en la misma frase.Las tres Vs describen los datos a ser analizados. La analítica es el proceso de derivar valor de esos datos. Tomados en conjunto, existe el potencial para una sorprendente perspicacia o un preocupante descuido. Como cualquier otra gran potencia, el big data viene con una gran promesa y una gran responsabilidad.
Big Data
Data Science
Python
Todo Lo Que un Científico de Datos Debe Saber Sobre la Gestión de Datos (Pero Tiene Miedo de Preguntar)
Para ser un verdadero científico de datos "full-stack", o lo que muchos blogueros y empleadores llaman un "unicornio", tienes que dominar cada paso del proceso de la ciencia de los datos, desde el almacenamiento de tus datos, hasta la puesta en producción de tu producto final (típicamente un modelo predictivo). Pero la mayor parte de la formación en data science se centra en técnicas de machine learning o deep learning y el conocimiento en gestión de datos se trata a menudo como una idea a parte. Los estudiantes de data science suelen aprender habilidades de modelado con datos ya procesados y limpios en archivos de texto almacenados en su portátil, ignorando cómo se hace ese manejo de los datos. Los estudiantes a menudo no se dan cuenta de que conseguir que los datos (y obtenerlos de varias fuentes) estén listos para el modelado suele ser el 80% del trabajo. Y debido a que los proyectos de grandes empresas suelen implicar una cantidad masiva de datos, su máquina local no está equipada para manejar todo el proceso de modelado y a menudo se lleva a cabo en la nube, con la mayoría de las aplicaciones y bases de datos alojadas en los servidores de los centros de datos en otros lugares. Incluso después de que el estudiante consiguió un trabajo como científico de datos, la gestión de datos a menudo se convierte en algo de lo que se encarga un equipo de ingeniería de datos por separado. Como resultado, demasiados científicos de datos saben muy poco sobre almacenamiento de datos e infraestructura, a menudo en detrimento de su capacidad para tomar las decisiones correctas en sus trabajos. El objetivo de este artículo es proporcionar una hoja de ruta de lo que un científico de datos en 2020 debe saber sobre la gestión de datos - desde los tipos de bases de datos, dónde y cómo se almacenan y procesan los datos, hasta las opciones comerciales actuales - para que los aspirantes a "unicornios" puedan profundizar por su cuenta, o al menos aprender lo suficiente para parecerlo en entrevistas y eventos de networking.El aumento de los datos no estructurados y las herramientas de Big DataIBM 305 RAMAC (Fuente: WikiCommons)La historia del data science es realmente la historia del almacenamiento de datos. En la era pre-digital, los datos se almacenaban en nuestras cabezas, en tablillas de arcilla o en papel, lo que hacía que la agregación y el análisis de los datos llevara mucho tiempo. En 1956, IBM introdujo la primera computadora comercial con un disco duro magnético, 305 RAMAC. La unidad completa requería 30 x 50 pies de espacio físico, pesaba más de una tonelada, y por 3.200 dólares al mes, las empresas podían alquilar la unidad para almacenar hasta 5 MB de datos. En los 60 años transcurridos desde entonces, los precios por gigabyte en DRAM han bajado de la friolera de 2.640 millones de dólares en 1965 a 4.9 en 2017. Además de ser, por mucha diferencia, más baratas, el almacenamiento de datos también se volvió mucho más denso/pequeño en tamaño. Un plato de disco en la RAMAC 305 almacenaba cien bits por pulgada cuadrada, comparado con más de un trillón de bits por pulgada cuadrada en un plato de disco típico hoy en día.Esta combinación de costo y tamaño (dramáticamente reducidos) en el almacenamiento de datos es lo que hace posible el gran análisis de datos de hoy en día. Con un costo de almacenamiento ultra bajo, la construcción de la infraestructura de la ciencia de los datos para recolectar y extraer información de una enorme cantidad de datos se convirtió en un enfoque rentable para las empresas. Y con la proliferación de los dispositivos IoT que generan y transmiten constantemente los datos de los usuarios, las empresas están recogiendo datos sobre un número cada vez mayor de actividades, creando una cantidad masiva de activos de información de gran volumen, alta velocidad y gran variedad (o las "tres V del Big Data"). La mayoría de esas actividades (por ejemplo, correos electrónicos, vídeos, audio, mensajes de chat, publicaciones en medios sociales) generan datos no estructurados, que representan casi el 80% de los datos totales de las empresas en la actualidad y están creciendo el doble de rápido que los datos estructurados en el último decenio.25 Exabytes de datos empresariales se almacenaron en 2017; el 80% eran datos no estructurados. (Fuente: Credit Suisse)Este crecimiento masivo de datos transformó dramáticamente la forma en que se almacenan y analizan los datos, ya que las herramientas y enfoques tradicionales no estaban equipadas para manejar las "tres V de los grandes datos". Se desarrollaron nuevas tecnologías con la capacidad de manejar el volumen y la variedad cada vez mayor de datos, y a una velocidad más rápida y a un costo menor. Estas nuevas herramientas también tienen profundos efectos en la forma en que los científicos de datos hacen su trabajo, permitiéndoles monetizar el masivo volumen de datos mediante la realización de análisis y la construcción de nuevas aplicaciones que antes no eran posibles. A continuación se presentan las principales innovaciones de gestión de datos que creemos que todo científico de datos debe conocer.Bases de datos relacionales y NoSQLLos Sistemas de Gestión de Bases de Datos Relacionales (RDBMS - Relational Data Base Management Systems) surgieron en la década de 1970 para almacenar datos en forma de tablas con filas y columnas, utilizando declaraciones del Lenguaje de Consulta Estructurado (SQL) para consultar y mantener la base de datos. Una base de datos relacional es básicamente una colección de tablas, cada una con un esquema que define rígidamente los atributos y tipos de datos que almacenan, así como claves que identifican columnas o filas específicas para facilitar el acceso. El panorama de los sistemas de gestión de bases de datos relacionales fue alguna vez gobernado por Oracle e IBM, pero hoy en día muchas opciones de código abierto, como MySQL, SQLite y PostgreSQL son igual de populares.RDBMS rankeados por popularidad (Fuente: DB-Engines)Las bases de datos relacionales encontraron un hogar en el mundo de los negocios debido a algunas propiedades muy atractivas. La integridad de los datos es absolutamente primordial en las bases de datos relacionales. Los RDBMS satisfacen los requisitos de atomicidad, consistencia, aislamiento y durabilidad (o conformes con el ACID) imponiendo una serie de restricciones para asegurar que los datos almacenados sean fiables y precisos, lo que los hace ideales para el seguimiento y almacenamiento de cosas como números de cuenta, pedidos y pagos. Pero estas restricciones vienen con costosas compensaciones. Debido a las restricciones de esquema y tipo, los RDBMS son terribles para almacenar datos no estructurados o semiestructurados. El rígido esquema también hace que los RDBMS sean más caros de configurar, mantener y crecer. La configuración de un RDBMS requiere que los usuarios dispongan de casos de uso específicos con antelación; cualquier cambio en el esquema suele ser difícil y lleva mucho tiempo. Además, los RDBMS tradicionales se diseñaron para funcionar en un solo nodo de computadora, lo que significa que su velocidad es significativamente más lenta cuando se procesan grandes volúmenes de datos. También es sumamente difícil cambiar el RDBMS para escalar horizontalmente y mantener al mismo tiempo el cumplimiento del ACID. Todos estos atributos hacen que los RDBMS tradicionales estén mal equipados para manejar el big data moderno.A mediados de los años 2000, los RDBMS existentes ya no podían manejar las necesidades cambiantes y el crecimiento exponencial de unos pocos negocios en línea muy exitosos, y muchas bases de datos no relacionales (o NoSQL) se desarrollaron como resultado (aquí hay una historia sobre cómo Facebook se enfrentó a las limitaciones de MySQL cuando su volumen de datos comenzó a crecer). Sin ninguna solución conocida en ese momento, estos negocios en línea inventaron nuevos enfoques y herramientas para manejar la enorme cantidad de datos no estructurados que recolectaban: Google creó GFS, MapReduce y BigTable; Amazon creó DynamoDB; Yahoo creó Hadoop; Facebook creó Cassandra y Hive; LinkedIn creó Kafka. Algunas de estas empresas lanzaron éste trabao en código abierto (open source); algunas publicaron documentos de investigación en los que detallaban sus diseños, lo que dio lugar a una proliferación de bases de datos con las nuevas tecnologías, y las bases de datos NoSQL se convirtieron en un importante protagonista de la industria.Una explosión de opciones de bases de datos desde los años 2000. Fuente: Korflatis et. al (2016)Las bases de datos NoSQL son agnósticas al esquema y proporcionan la flexibilidad necesaria para almacenar y manipular grandes volúmenes de datos no estructurados y semiestructurados. Los usuarios no necesitan saber qué tipos de datos se almacenarán durante la configuración, y el sistema puede acomodar los cambios en los tipos de datos y el esquema. Diseñadas para distribuir los datos a través de diferentes nodos, las bases de datos NoSQL son generalmente más escalables horizontalmente y tolerantes a las fallas. Sin embargo, estos beneficios de rendimiento también tienen un costo: las bases de datos NoSQL no son compatibles con el ACID y la consistencia de los datos no está garantizada. En cambio, proporcionan una "consistencia eventual": cuando los datos antiguos se sobrescriben, devuelven resultados que están un poco equivocados temporalmente. Por ejemplo, el índice del motor de búsqueda de Google no puede sobrescribir sus datos mientras la gente está buscando simultáneamente un término dado, por lo que no nos da los resultados más actualizados cuando buscamos, pero nos da la última y mejor respuesta posible. Aunque esta configuración no funcionará en situaciones en las que la consistencia de los datos sea absolutamente necesaria (como en las transacciones financieras), está bien para las tareas que requieren rapidez en lugar de precisión.Ahora hay varias categorías diferentes de NoSQL, cada una sirviendo a algunos propósitos específicos. Los Key-Value Stores, como Redis, DynamoDB y Cosmos DB, almacenan sólo pares clave-valor y proporcionan una funcionalidad básica para recuperar el valor asociado a una clave conocida. Funcionan mejor con un esquema simple de base de datos y cuando la velocidad es importante. Las Wide Column Stores, como Cassandra, Scylla, y HBase, almacenan datos en familias de columnas o tablas, y están construidas para manejar petabytes de datos a través de un sistema masivo y distribuido. Document Stores, como MongoDB y Couchbase, almacenan datos en formato XML o JSON, con el nombre del documento como clave y el contenido del documento como valor. Los documentos pueden contener muchos tipos de valores diferentes y pueden anidarse, lo que los hace especialmente adecuados para gestionar datos semiestructurados en sistemas distribuidos. Las bases de datos de grafos, como Neo4J y Amazon Neptune, representan los datos como una red de nodos u objetos relacionados para facilitar la visualización de los datos y el análisis de los gráficos. Las bases de datos de grafos son particularmente útiles para analizar las relaciones entre puntos de datos heterogéneos, como en la prevención de fraudes o el gráfico de amigos de Facebook (Facebook Graph).MongoDB es actualmente la base de datos NoSQL más popular, y ha proporcionado un valor agregado sustancial para algunas empresas que han estado luchando por manejar sus datos no estructurados con el enfoque tradicional de RDBMS. He aquí dos ejemplos de la industria: después de que MetLife pasó años tratando de construir una base de datos centralizada de clientes en un RDBMS que pudiera manejar todos sus productos de seguros, alguien en una hackathon interna construyó una con MongoDB en cuestión de horas, y entró en producción en 90 días. YouGov, una empresa de investigación de mercado que recoge 5 gigabits de datos por hora, ahorró el 70 por ciento de la capacidad de almacenamiento que antes utilizaba al migrar de RDBMS a MongoDB.Data Warehouse, Data Lake, y Data SwampA medida que las fuentes de datos siguen creciendo, la realización de análisis de datos con múltiples bases de datos se volvió ineficiente y costosa. En los años 80 surgió una solución llamada Data Warehouse, que centraliza los datos de una empresa de todas sus bases de datos. Data Warehouse soporta el flujo de datos desde los sistemas operativos a los sistemas de análisis/decisión creando un único repositorio de datos de varias fuentes (tanto internas como externas). En la mayoría de los casos, un Data Warehouse es una base de datos relacional que almacena los datos procesados y que está optimizada para recopilar información empresarial. Recoge datos con una estructura y un esquema predeterminados procedentes de sistemas transaccionales y aplicaciones empresariales, y los datos se utilizan normalmente para la presentación de informes y análisis operacionales.Pero debido a que los datos que entran en los almacenes de datos necesitan ser procesados antes de ser almacenados - con la enorme cantidad de datos no estructurados de hoy en día, eso podría llevar mucho tiempo y recursos. En respuesta, las empresas comenzaron a mantener Data Lakes en la década de 2010, que almacenan todos los datos estructurados y no estructurados de una empresa a cualquier escala. Los Data Lakes almacenan datos en bruto, y se pueden configurar sin tener que definir primero la estructura y el esquema de datos. Los Data Lakes permiten a los usuarios ejecutar análisis sin tener que trasladar los datos a un sistema de análisis separado, lo que permite a las empresas obtener conocimientos de nuevas fuentes de datos que antes no estaban disponibles para el análisis, por ejemplo, construyendo modelos de machine learning utilizando datos de archivos de registro, flujos de clics, medios sociales y dispositivos IoT. Al hacer que todos los datos de la empresa estén disponibles para el análisis, los científicos de datos podrían responder a un nuevo conjunto de preguntas de negocios, o abordar las viejas preguntas con nuevos datos.Comparación entre Data Warehouse y Data Lake (Fuente: AWS)Un desafío común con la arquitectura de los Data Lakes es que sin la calidad de datos apropiada y el marco de gobierno (governance framework) en su lugar, cuando los terabytes de datos estructurados y no estructurados fluyen hacia los Data Lakes a menudo se hace extremadamente difícil clasificar su contenido. Los Data Lakes podrían convertirse en Data Swamps, ya que los datos almacenados se vuelven demasiado desordenados para ser utilizables. Muchas organizaciones están pidiendo ahora más prácticas de gobierno de datos y de gestión de metadatos para evitar que se formen los Data Swamps.Procesamiento distribuido y paralelo: Hadoop, Spark y MPPMientras que las necesidades de almacenamiento y computación crecieron a pasos agigantados en las últimas décadas, el hardware tradicional no ha avanzado lo suficiente para mantenerse al día. Los datos de la empresa ya no encajan perfectamente en el almacenamiento estándar, y la potencia de cálculo necesaria para manejar la mayoría de las grandes tareas de análisis de datos puede llevar semanas, meses, o simplemente no es posible completarlas en un ordenador estándar. Para superar esta deficiencia, muchas nuevas tecnologías han evolucionado para incluir múltiples computadoras que trabajan juntas, distribuyendo la base de datos a miles de servidores básicos/sencillos. Cuando una red de computadoras se conectan y trabajan juntas para realizar la misma tarea, las computadoras forman un clúster. Se puede pensar en un clúster como una sola computadora, pero puede mejorar drásticamente el rendimiento, la disponibilidad y la escalabilidad en una sola máquina más potente y a un costo menor mediante el uso de hardware básico. Apache Hadoop es un ejemplo de infraestructuras de datos distribuidos que aprovechan los clusters para almacenar y procesar cantidades masivas de datos, y lo que permite la arquitectura Data Lake.Evolucion de las tecnologías en bases de datos (Source: Business Analytic 3.0)Cuando pienses en Hadoop, piensa en "distribución". Hadoop consta de tres componentes principales: Hadoop Distributed File System (HDFS), una forma de almacenar y hacer un seguimiento de sus datos a través de múltiples discos duros físicos (distribuidos); MapReduce, un marco para procesar datos a través de procesadores distribuidos; y Yet Another Resource Negotiator (YARN), un marco de gestión de clústeres que orquesta la distribución de cosas como el uso de la CPU, la memoria y la asignación de ancho de banda de red a través de ordenadores distribuidos. La capa de procesamiento de Hadoop es una innovación especialmente notable: MapReduce es un enfoque computacional de dos pasos para procesar grandes conjuntos de datos (de varios terabytes o más) distribuidos a través de grandes clusters de hardware básico de una manera fiable y tolerante a las fallas. El primer paso es distribuir los datos en múltiples computadoras (Map), y cada una de ellas realiza un cálculo en su parte de los datos en paralelo. El siguiente paso es combinar esos resultados de una manera "en pareja - pair-wise" (Reducir). Google publicó un paper sobre MapReduce en 2004, que fue recogido por los programadores de Yahoo que lo implementaron en el entorno Apache de código abierto en 2006, proporcionando a todas las empresas la capacidad de almacenar un volumen de datos sin precedentes utilizando hardware de consumo. Aunque hay muchas implementaciones de código abierto sobre ésta misma idea, la marca MapReduce de Google se ha mantenido, algo así como las marcas Jacuzzi o Kleenex.Hadoop está construido para cálculos iterativos, escaneando cantidades masivas de datos en una sola operación desde el disco, distribuyendo el procesamiento a través de múltiples nodos, y almacenando los resultados de nuevo en el disco. La consulta de zettabytes de datos indexados que tomaría 4 horas para ejecutarse en un entorno de almacenamiento de datos tradicional podría completarse en 10-12 segundos con Hadoop y HBase. Hadoop se utiliza típicamente para generar modelos analíticos complejos o aplicaciones de almacenamiento de datos de gran volumen, como análisis retrospectivos y predictivos; machine learning y correspondencia de patrones (pattern matching); segmentación de clientes y análisis de rotación.Pero MapReduce procesa los datos en lotes y, por lo tanto, no es adecuado para procesar datos en tiempo real. Apache Spark fue construido en 2012 para llenar ese vacío. Spark es una herramienta de procesamiento de datos en paralelo que se optimiza para obtener velocidad y eficiencia mediante el procesamiento de datos en memoria. Funciona bajo el mismo principio de MapReduce, pero se ejecuta mucho más rápido completando la mayor parte del cómputo en memoria y sólo escribiendo en disco cuando la memoria está llena o el cómputo se ha completado. Este cómputo en memoria permite a Spark "ejecutar programas hasta 100 veces más rápido que Hadoop MapReduce en memoria, o 10 veces más rápido en disco". Sin embargo, cuando el conjunto de datos es tan grande que la insuficiencia de la memoria RAM se convierte en un problema (por lo general, cientos de gigabytes o más), Hadoop MapReduce podría superar a Spark. Spark también tiene un extenso conjunto de bibliotecas de análisis de datos que cubren una amplia gama de funciones: Spark SQL para SQL y datos estructurados; MLib para machine learning, Spark Streaming para el procesamiento de stream y GraphX para el análisis de gráficos. Como Spark se centra en la computación, no viene con su propio sistema de almacenamiento y en su lugar se ejecuta en una variedad de sistemas de almacenamiento como Amazon S3, Azure Storage, y HDFS de Hadoop.En un sistema MPP, todos los nodos están interconectados y los datos pueden ser intercambiados a través de la red (Fuente: IBM)Hadoop y Spark no son las únicas tecnologías que aprovechan los clusters para procesar grandes volúmenes de datos. Otro enfoque computacional popular para el procesamiento distribuido de consultas se llama Procesamiento Masivo en Paralelo (MPP). De manera similar a MapReduce, MPP distribuye el procesamiento de datos entre múltiples nodos, y los nodos procesan los datos en paralelo para una mayor velocidad. Pero a diferencia de Hadoop, MPP se utiliza en el RDBMS y utiliza una arquitectura de "no compartir nada - share nothing" - cada nodo procesa su propia porción de los datos con procesadores de múltiples núcleos, lo que los hace mucho más rápidos que el RDBMS tradicional. Algunas bases de datos MPP, como Pivotal Greenplum, tienen librerías de machine learning maduras que permiten el análisis dentro de la base de datos. Sin embargo, al igual que con el RDBMS tradicional, la mayoría de las bases de datos MPP no admiten datos no estructurados, e incluso los datos estructurados requerirán algún tipo de procesamiento para adaptarse a la infraestructura MPP; por lo tanto, se necesita tiempo y recursos adicionales para establecer la tubería de datos (pipeline) para una base de datos MPP. Dado que las bases de datos MPP cumplen con los requisitos del ACID y ofrecen una velocidad mucho más rápida que los RDBMS tradicionales, suelen emplearse en soluciones de almacenamiento de datos empresariales de alto nivel, como Amazon Redshift, Pivotal Greenplum y Snowflake. Como ejemplo de la industria, la Bolsa de Valores de Nueva York recibe de cuatro a cinco terabytes de datos diariamente y lleva a cabo complejos análisis, vigilancia del mercado, planificación de la capacidad y supervisión. La empresa había estado utilizando una base de datos tradicional que no podía manejar la carga de trabajo, que se cargaba en horas y tenía poca velocidad de consulta. El cambio a una base de datos MPP redujo el tiempo de ejecución de sus análisis diarios en ocho horas.Servicios en la nubeOtra innovación que transformó completamente las capacidades de análisis de datos de las grandes empresas es el auge de los servicios en la nube. En los malos tiempos antes de que los servicios de nube estuvieran disponibles, las empresas tenían que comprar soluciones de almacenamiento y análisis de datos en las instalaciones de los proveedores de software y hardware, normalmente pagando por adelantado las tasas de licencia perpetua del software y las tasas anuales de mantenimiento y servicio de hardware. A esto se suman los costos de energía, refrigeración, seguridad, protección contra desastres, personal de TI, etc., para la construcción y mantenimiento de la infraestructura en las instalaciones. Incluso cuando era técnicamente posible almacenar y procesar grandes datos, la mayoría de las empresas encontraban prohibitivo el costo de hacerlo a escala. La ampliación de la infraestructura en las instalaciones también requiere un extenso proceso de diseño y adquisición, cuya aplicación lleva mucho tiempo y requiere un capital inicial considerable. Como resultado, se ignoraron muchas posibilidades de recopilación y análisis de datos potencialmente valiosos.Proveedores de "As a Service": por ejemplo, Infraestructura como un Servicio (IaaS) y Almacenamiento como un Servicio (STaaS) (Fuente: IMELGRAT.ME)El modelo de crear infraestructura en las propias instalaciones (on-promises) comenzó a perder cuota de mercado rápidamente cuando se introdujeron los servicios en la nube a finales del 2000 - el mercado mundial de servicios en la nube ha estado creciendo un 15% anual en la última década. Las plataformas de servicios en la nube ofrecen suscripciones a una variedad de servicios (desde computación virtual hasta infraestructura de almacenamiento y bases de datos), que se ofrecen a través de Internet sobre una base de pago por uso, ofreciendo a los clientes un acceso rápido a recursos de almacenamiento y computación virtual flexibles y de bajo costo. Los proveedores de servicios en la nube son responsables de todas sus compras y mantenimiento de hardware y software, y suelen disponer de una amplia red de servidores y personal de apoyo para prestar servicios fiables. Muchas empresas descubrieron que podían reducir significativamente los costos y mejorar la eficiencia operacional con los servicios en la nube, y son capaces de desarrollar y producir sus productos más rápidamente con los recursos de la nube listos para usar y su escalabilidad incorporada. Al eliminar los costos iniciales y el compromiso de tiempo para construir la infraestructura en sus propias instalaciones, los servicios de nube también disminuyen las barreras para adoptar herramientas de big data, y democratizaron efectivamente el análisis big data para las pequeñas y medianas empresas.Existen varios modelos de servicios en la nube, siendo las nubes públicas las más comunes. En una nube pública, todo el hardware, software y otra infraestructura de apoyo es propiedad del proveedor de servicios en la nube y es administrada por él. Los clientes comparten la infraestructura en la nube con otros "inquilinos de la nube" y acceden a sus servicios a través de un navegador de Internet. Una nube privada suele ser utilizada por organizaciones con necesidades especiales de seguridad, como organismos gubernamentales e instituciones financieras. En una nube privada, los servicios y la infraestructura se dedican exclusivamente a una organización y se mantienen en una red privada. La nube privada puede ser local o alojada por un tercer proveedor de servicios en otro lugar. Las nubes híbridas combinan las nubes privadas con las nubes públicas, lo que permite a las organizaciones aprovechar las ventajas de ambas. En una nube híbrida, los datos y las aplicaciones pueden desplazarse entre las nubes privadas y públicas para lograr una mayor flexibilidad: por ejemplo, la nube pública podría utilizarse para datos de gran volumen y menor seguridad, y la nube privada para datos sensibles y críticos para el negocio, como los informes financieros. El modelo de nubes múltiples implica múltiples plataformas de nubes, cada una de las cuales ofrece un servicio de aplicación específico. Una multi-nube puede ser una combinación de nubes públicas, privadas e híbridas para lograr los objetivos de la organización. Las organizaciones a menudo eligen la multi-nube para adaptarse a sus negocios, ubicaciones y necesidades de tiempo particulares, y para evitar el bloqueo del proveedor.Si quieres conocer un caso de estudio acerca del data management, ve al siguiente link. Por Phoebe Wong y Robert Bennett
