Mostrando entradas con la etiqueta almacenamiento. Mostrar todas las entradas
Mostrando entradas con la etiqueta almacenamiento. Mostrar todas las entradas

jueves, 18 de junio de 2015

Big data: los orígenes




Actualmente, el término Big Data está en boga en la industria tecnológica.  Por todas partes se oye hablar de nuevas tecnologías y aplicaciones basadas en el término. Sin embargo, muchos de estos usos y tecnologías eran ya conocidos en el pasado con otros nombres. Business intelligence, machine learning, predictive modeling...¿Qué es realmente Big Data y cuál es el origen del término? 

Por tomar un medio popular, si tomamos la Wikipedia en español, por ejemplo, la definición remite a: "sistemas informáticos basados en la acumulación a gran escala de datos y de los procedimientos usados para identificar patrones recurrentes dentro de esos datos". 

Pero en inglés es levemente diferente:  "is a broad term for data sets so large or complex that traditional data processing applications are inadequate" (término amplio para conjuntos de datos tan grandes y complejos que las aplicaciones de procesamiento de datos son inadecuadas).

En todo caso, está claro que el término se utiliza para referenciar el análisis predictivo, una forma de extraer valor de estos datos. El primer uso del término se rastrea hasta el año 2005, cuando lo utiliza por primera vez O´Reilly Media, pero su uso se dispara a partir de 2013, con la publicación del ensayo canónico de Viktor Mayer-Schönberger y Kenneth Cukier, "Big Data: A Revolution That Will Transform How We Live, Work, and Think", como se demuestra en esta gráfica de Google Trends.

Sin embargo, como se ve, el término Big Data no hace referencia a una sola técnica, tecnología o aplicación novedoas sino a un conjunto de ellas que ya existían, desarrolladas a lo largo del tiempo, con otros nombres, y que convergen en los últimos años, acompañando la explosión de datos.
IDC Digital Universe Study

Es la interpretación que hace la IEEE, que  lo define como una medida de conjunto, donde el conjunto no está definido, dado que término "big" habría que redefinirlo cada día, dado que los datos crecen continuamente y a un ritmo cada vez más alto.

Es que a partir de la década de 2010, el volumen de datos digitales generados y almacenados en sistemas informáticos creció exponencialmente a partir de una serie de hechos:

  • El exponencial crecimiento en el uso de redes sociales, donde los usuarios comparten cada día millones de entradas de texto, imagen o video.
  • La adopción masiva smartphones conectados a Internet, transformando lo que hasta entonces era un dispositivo analógico en otro generador de registros digitales.
  • El despliegue de millones de equipos autónomos conectados a Internet (M2M o IoT), generando en forma automática otros millones de registros digitales (sensores, robots, máquinas autónomas)
  • La digitalización de datos en numerosas industrias: imagen médica, medios de comunicación, editoriales y muchas otras.

En síntesis, las tecnologías que engloban el Big Data, ya estaban allí,  para gestionar la explosión de datos producida en los últimos años, y resolver una enorme cantidad de problemas prácticos y oportunidades que se presentan con esta enorme disponibilidad de datos.

Pero ¿Es esta explosión de datos realmente original? ¿No ocurrió nunca antes en la historia? ¿Y cuál es el origen de estas técnicas que ahora englobamos bajo el nombre de Big Data. Y como comentaba Julio Verne: "El futuro está escrito en el pasado", intentaremos ver hacia dónde podría llevarnos el Big Data.

La primera explosión de datos

Algunos analistas, volviendo muy atrás en el tiempo, refieren a la creación de tablillas cuneiformes y ábacos hace 10,000 años cuando la memoria humana y las operaciones digitales (de los dedos de las manos) se volvieron inadecuadas para manejar un creciente volumen de transacciones comerciales y cálculo de tributos.  Pero creo que es ir demasiado lejos.  La primera gran explosión de datos se produce a finales del siglo XIX, como hemos contado aquí. (http://gestionyti.blogspot.com.es/2015/06/comunicaciones-vintage-una-red-global.html)

El desarrollo vertiginoso de la red telegráfica global desde mediados del siglo XIX trajo aparejada la necesidad de gestionar miles, cientos de miles y luego millones de mensajes en un período de tiempo muy corto.  Si lo miramos los EE.UU. en 1850, apenas 10 años después de la invención del telégrafo, ya existían más de 20,000 millas de cables telegráficos y 75 compañías que operaban los servicios.  En 1867 ya se enviaban por las líneas la extraordinaria cantidad de 5,8 millones de mensajes, sólo en los EE.UU.

Pero lo mismo ocurría en el resto del mundo. En España, por ejemplo, la construcción de líneas comenzó en 1853 y en 10 años ya alcanzaba todas las principales ciudades de la península.
Desde la década de 1860 ya existían cables submarinos cruzando el Atlántico, con lo cual se multiplicó el tráfico al interconectarse las redes europeas y americanas.  Este intercambio de mensajes se basaba al principio en el "telégrafo Morse" clásico: una sencilla llave eléctrica operada manualmente para dejar pasar o no corriente, siguiendo el código de "puntos" y "rayas".

Llave del telégrafo Morse

Era un sistema muy engorroso.  Requería que el receptor transcribiera el mensaje en un papel, para que luego se decodificara, otra vez manualmente, en letras y números, para entregar al destinatario.  Si el mensaje debía de pasar por varios puntos de interconexión, el mensaje debía ser codificado y decodificaco en Morse varias veces, multiplicando el riesgo de errores o pérdidas de mensajes. Con el incremento del número de mensajes la calidad de servicio se volvió crítica.

La solución vino de la mano de un mecanismo automático para almacenar y reutilizar la información de los mensajes: el telégrafo impresor.  Cada pulso telegráfico era traducido en un punto o raya perforando una cinta de papel.  Una vez codificado el mensaje, la cinta de papel podía ser leída por el equipo transmisor que la transformaba en pulsos eléctricos.  En el otro extremo se imprimía una cinta similar que podía ser decodificada (a mano) o reinsertada en otro equipo transmisor para enviar a otro destino.

El sistema fue desarrollado por el ingeniero escocés Alexander Bain en 1846, luego mejorado e incorporado a los sistema telegráficos Wheatstones, a partir de la década de 1850, generalizándose su uso.  El sistema aceleraba hasta 8 veces el envío de mensajes respecto de la forma tradicional, con mucha mayor fiabilidad.  Además brindaba un mecanismo seguro para almacenar copias de los mensajes, transmitir mensajes recurrentes y otras ventajas.


Telégrafo impresor-Nótese la cinta de papel para almacenar datos


Digamos que esta fue una primera innovación disrruptiva de gestionar la explosión de datos.  Estos sistemas fueron evolucionando con el tiempo a medida que la tecnología electrónica fue permitiendo una mayor velocidad de procesamiento y mejores sistemas de codificación.

Volviendo a la actualidad se dice que el volumen de datos capturados y recogidos crece un 50% cada año y que en los dos últimos años se ha generado el mismo volumen de datos almacenados que en toda la historia previa de la humanidad.  Es evidentemente, una explosión todavía mayor a la que ocurriese a mediados del Siglo XIX.   Y este proceso tiende a acelerarse en la medida en que millones de nuevos equipos (coches, sensores, dispositivos wearables) se conecten a Internet y empiecen a transferir datos.

Hasta el momento, esta explosión ha podido ser gestionada por la tecnología existente, mejorando el rendimiento de los equipos de procesamiento y almacenamiento de datos, bajo las arquitecturas tradicionales.  No obstante, el ejemplo del siglo XIX nos hace pensar si puede llegar un momento en que la demanda de mayores capacidades de proceso y archivo supere a las mejoras en la tecnología. 

Si miramos la evolución a corto plazo de las tecnologías de almacenamiento, la idea se vuelve inquietante: no hay a 5 años vista cambios disrruptivos en este campo, se prevé sólo una evolución de las líneas actuales (http://www.zdnet.com/article/the-future-of-storage-2015-and-beyond/). ¿Será el momento de invertir activamente en nuevas tecnologías de almacenamiento?

Si nos atenemos a la definición "popular" de Big Data, otro buen ejemplo en la antigüedad sería el de los censos. Se vienen realizando censos poblacionales por razones demográficas, políticas, pero sobre todo fiscales, desde la Antigüedad, pero en general con métodos y aproximaciones prácticas y sin una periodicidad determinada.  El primer país que se impuso la necesidad legal de un censo periódico (cada 10 años) fueron los EE.UU., dado que sería la base para establecer la representación política de cada Estado de la Unión y, como no, el reparto del presupuesto federal.  Era un censo muy detallado en un territorio enorme.

El censo de 1880 llevó 7 años y medio para procesarse, lo que hizo evidente que las técnicas utilizadas ya no eran eficaces para manejar el volumen de datos que se manejaba. Cuando los datos estaban completos ya era completamente obsoletos en un país que crecía con oleadas de inmigrantes y grandes migraciones internas y para el censo de 1890 el problema sería todavía más serio. Era necesario encontrar otros medios para gestionar la "explosión de datos" (recordemos "las aplicaciones de procesamiento de datos son inadecuadas").

Para manejar esta "explosión de datos", un Ingeniero del Departamento de Censos, Herman Hollerith, desarrolló el primer tabulador automático.  Este se basaba en un mecanismo bastante sencillo.  En lugar de sumar a mano millares de planillas, Hollerith decidió codificar las preguntas del censo de 1890 en "tarjetas perforadas" utilizando preguntas sencillas llevadas a un código binario que se respondían por "Si" o "No" (Sexo, Grupo de Edad, Nivel educativo, etc). (Foto en el encabezado)

El mecanismo era muy simple. Las tarjetas se situaban en pilas y la máquina las iba dejando caer (abriendo y cerrando una puerta), sobre una placa. Entonces unas agujas bajaban sobre la tarjeta. Si la tarjeta estaba perforaba la aguja tocaría un contacto situado en la placa debajo de la tarjeta. Al hacer esto se cerraba un circuito y el pulso eléctrico hacía que se incrementara un contador. Si el espacio no estaba perforado, la aguja no generaba contacto y el contador no se incrementaba. Con este mecanismo, Hollerith procesó todo el censo de 1890 en sólo...¡6 semanas!.

Actualmente venimos ganando la carrera.  Nuestra capacidad de procesamiento de datos viene rigiéndose por la "Ley de Moore", que indica que "aproximadamente cada dos años se duplica el número de transistores en un circuito integrado", multiplicando la capacidad de proceso a medida que bajan los costes.  Esta observación, formulada por Gordon Moore en 1965, se ha venido cumpliendo, dado que ha servido como principio rector de la industria desde esa época.  No obstante, hay síntomas de que este principio está llegando a su agotamiento.

Intel (http://news.cnet.com/2100-1008-5112061.html) calcula que los límites físicos de la actual arquitectura de procesadores se alcanzarán en 2018 (o 2025 con algunas evoluciones). En 2011, en la revista Science se estimó que pico máximo de crecimiento en capacidad de proceso se alcanzó en 1998 y que después ha ido decreciendo.  El Big Data, interpretado como una "explosión" en la demanda de procesamiento podría generar también cambios disrruptivos en las tecnologías de microprocesadores, muchas de las cuáles están ya en fase de experimentación, en el mundo de las nanotecnologías.

Finalmente, respecto al uso de los modelos predictivos (es decir, técnicas para predecir un resultado, a partir de precedentes o del desarrollo de reglas), podemos decir que es MUY antiguo.  El propio método científico y las técnicas de razonamiento lógico de Aristóteles en la Antigua Grecia podrían ser un punto de partida.  Por supuesto, aquí nos costaría definir cómo representar y analizar en conjunto una gran cantidad de casos, con las limitadas herramientas de la época (memoria y papel).

Sin embargo, ya en el Siglo XIII, el mallorquín Ramón Llul diseñó un "máquina lógica" para generar resultados a partir de la combinación de conceptos básicos, aunque con un número de reglas muy limitado. Llul creía que se podía obtener una respuesta a cualquier cuestión a partir de la combinación de 9 conceptos básicos, una gran simplificación. Fue un gran avance en el sentido de que se intentó desarrollar un mecanismo de razonamiento automático, no humano. El trabajo de Llul influyó en las máquinas calculadoras de Leibniz y Pascal (aunque estos orientaron su trabajo al cálculo numérico).

Técnicas modernas como la regresión numérica datan de principios del siglo XIX y se aplicaron inicialmente para predecir la órbita de planetas y satélites a partir de observaciones previas, sin embargo no se puede decir que se aplicaran sobre una explosión masiva de datos en forma automática o mecánica.  Sin embargo, quizás los mejores ejemplos en cuánto al uso de modelos predictivos también los podemos encontrar a mediados del siglo XIX.

La "explosión de datos" transformó la forma de operar de muchas organizaciones públicas y privadas.  De repente, los Administradores pasaron a tener información sobre operaciones de campos a miles de kilómetros de distancia, casi en tiempo real.  De repente era posible cambiar la dirección de los barcos o trenes en ruta, coordinar el envío de una carga usando varios medios de transporte, mover los recursos humanos o materiales a uno u otros sitio rápidamente, vender en mercados situados a muchas millas de distancia y muchas otras mejoras en los negocios.

Esta nueva disponibilidad de información permitió cambiar radicalmente el concepto de planificación que pasó a transformarse en una gestión de recursos en tiempo real.  La disponibilidad de datos permitía analizarlos en mucho menos tiempo para tomar decisiones y comunicarlas muy rápidamente.
En este artículo de McKinsey se describe muy bien una de estas situaciones (http://www.mckinsey.com/insights/organization/big_data_in_the_age_of_the_telegraph), poniendo el ejemplo de una empresa ferroviaria en 1854.
Aunque el artículo lo cita como ejemplo de adaptación de la estructura organizacional a una nueva situación (destacando, de paso, la importancia del empowerment de los gerentes de campo), lo más interesante resulta que, finalmente, la empresa encontró una forma de procesar y modelar la información de campo, para la capacidad de proceso de que se disponía en esa época.  No fue más que establecer una estructura jerárquica de "árbol", donde los datos se agregan por regiones (o tramos de vía) y se van consolidando en ramas hasta el Board, que dispone de toda la información resumida para tomar decisiones, en función de las predicciones o cursos posibles de acción que surjan de los datos.

Esta es, en definitiva, la gran lección de la historia en cuanto a la actual "explosión de datos" que llamamos Big Data.  Nuestros actuales sistemas de almacenamiento, procesamiento y modelos predictivos están siendo puestos a prueba por un salto cualitativo, un cambio de escala, en la disponibilidad de datos.

Veremos pronto aparecer nuevas tecnologías informáticas que permitan aprovechar este salto y deberemos estar prontos a adoptarlas rápidamente (incluso corriendo riesgos) o podemos perder competitividad rápidamente. Y, sobre todo, debemos estar dispuestos a ajustar, de forma innovadora, los procesos internos de gestión, tratamiento y toma de decisiones, a la nueva velocidad y posibilidades que brinda el Big Data. Así es, por lo menos, la lección de la historia.

Bibliografía:

U.S. History of Telegraph Industry (http://eh.net/?s=history+of+the+u.s.+telegraph+industry)
Historia de las Telecomunicaciones en España (http://perso.ya.com/lsancano/historiateleco1.html), Luis Sánchez Cano



martes, 16 de junio de 2015

Una perspectiva histórica de la TI (XVII): la irrupción de las redes sociales y la Web 2.0.



Para el año 2005, la mayoría de las empresas había “digerido” la sobreinversión de la etapa de la “burbuja” y se había alcanzado un nuevo punto de equilibrio.  Como vimos antes, en ese período la sociedad había evolucionado rápidamente y el número de ciudadanos “conectados” había crecido dramáticamente, sobre todo en las economías desarrolladas.  No obstante, la forma de relacionamiento de las empresas con sus clientes no había cambiado mucho desde mediados de los ´90.

El comercio electrónico crecía, sí, pero no había logrado “desintermediar” a los canales tradicionales.  El comercio entre empresas, aunque más eficiente por medio del paradigma de la “empresa ampliada”, tampoco había variado mucho.  Su uno mira la arquitectura tecnológica de una empresa en 2005 era sustancialmente idéntica a la que había diez años atrás.

Sin embargo, a partir de ese año comenzó a desarrollarse un fenómeno que cambiaría la forma en que las empresas se relacionarían con sus clientes, particularmente con sus consumidores finales.  Y esto obligaría, nuevamente a remodelar la arquitectura de una compañía.  Es el fenómeno de las “redes sociales”.

El origen de las redes sociales

El fenómeno de las redes sociales surgió en forma casi espontánea y no fue percibido inmediatamente por los analistas.  En general se basa en un concepto muy simple y que ya existía en Internet desde hacía muchos años: la facilidad para compartir información de interés común entre personas.  Estas actividades sociales se realizaban hace siglos, en la forma de listas de correo, asociaciones civiles o clubes (formales o no). O incluso reuniones familiares.  Pero ahora la WWW ofrecía la posibilidad de compartir contenidos comunes (textos, fotos, comentarios, etc) sin moverse de casa.

Los primeros foros, chatrooms o newsgroups de Internet existían desde comienzos de los ´90, pero sólo eran usados por una minoría.  Generalmente, gente del sector informático, pero también con muchos otros usos (algunos ilegales).  La anonimidad que proporcionaba Internet facilitaba que la gente se sintiera segura para compartir contenidos.  También generaba sus temores puesto que no se sabía con quién se estaba compartiendo información del otro lado.

En los albores de Internet muchos ISPs o emprendedores individuales crearon BBS (Bulletin Board Systems) con sus usuarios afines para compartir ficheros, servicios de chat o noticias.  A mitad de los ´90, proveedores como Geocities, desarrollaron interfaces muy sencillas que animaban a los usuarios finales a publicar sus propios contenidos en la web, desarrollando páginas web personalizadas.  No obstante, sin un éxito masivo.

Esto cambió cuando entre 2000 y 2003 aparecieron algunas empresas que empezaron a ofrecer algunas innovaciones en estos servicios con algunas características diferentes:


  • Simplicidad: la capacidad de organizar el contenido multemedia (texto, fotos video) se simplificó muchísimo, haciéndose mucho más interactiva, y facilitando que muchos usuarios con escasos conocimientos informáticos, fuese capaces de relacionarse con estas herramientas.
  • Propagación: cada usuario pasó a ser capaz de invitar a otros usuarios a acceder a su contenido.  La sola disponibilidad de una cuenta de correo electrónico válida permitía a un usuario sumarse a una red e invitar a otros usuarios con correo a ver su contenido.  En segundos un usuario podía ser capaz de invitar a cientos de sus contactos de correo a formar parte de su “red de contactos”
  • Control de la privacidad: cada usuario pasó a ser capaz de controlar qué contenido era público y cuál no, y, además, controlar qué personas podían acceder a él.
  • Búsqueda: se comenzaron a ofrecer herramientas que facilitaban encontrar dentro de la red a otros usuarios afines al “buscador”

Pero el principal factor, que facilitó una dramática expansión de estas redes fue encontrar un modelo de negocio válido para que el usuario no tuviese que pagar nada por utilizar estas herramientas “sociales”.  Y esto se basó en dos grandes factores: la reducción de los costes de almacenamiento y la expansión de la publicidad en Internet.

La rápida reducción de los costes de almacenamiento a principios de los 2000 fue espectacular.  Mientras que en los ´90 todavía las empresas dudaban mucho en ofrecer servicios de almacenamiento gratuito (o con unas limitaciones muy grandes), en los 2000 ya se podían ofrecer grandes cantidades de almacenamiento, sin pagar absolutamente nada.  Esto permitía que las personas pudiesen publicar contenidos más “pesados” en bits/bytes, pero a la vez más atractivos (videos o fotos de alta definición). En la figura de abajo se ve como el almacenamiento "core" cae 10 veces en un lustro (de 0,1 a 0,01 U$S x MB).
Evolución del Precio del Almacenamiento
John McCallum y hblok.net
¿Cómo se financiaban estos servicios de almacenamiento? Con la publicidad.  Una vez que una red social alcanzaba una gran cantidad de usuarios pasaba a tener un “mercado cautivo” de usuarios a los cuáles se podía “bombardear” con publicidad online de los más diversos productos. Además, esta era una publicidad muy efectiva: se podía personalizar según los gustos y afinidades  del usuario, se podía crear un “atajo” para una compra rápida online y el impacto publicitario era muy fácil de medir.  El sueño de cualquier persona de marketing de consumo.

Bajo estas premisas, la gratuidad, la rapidez de propagación y la simplicidad, las redes sociales tuvieron un crecimiento exponencial a partir de 2005.  LinkedIn, una red orientada  profesionales, se lanzó en mayo de 2003 y alcanzó 20 millones de usuarios en 2006. Facebook, un servicio limitado a universidades hasta 2005, se abrió al público en general en 2006 y alcanzó 500 millones de usuarios para 2010.  Twitter, lanzada en 2006, alcanzó los 100 millones de usuarios en 2012. Y así otras, y siguen creciendo.
Crecimiento de Usuarios de Facebook
La expansión de las redes sociales fue uno de los factores que impulsó un nuevo paradigma en Internet: lo que se dio por llamar Web 2.0.   La principal característica de este nuevo paradigma es que el usuario de Internet dejaba de ser un sujeto "pasivo", un lector o espectador de los contenidos publicado en Internet, para ser un sujeto  "activo", que utilizaba la tecnología disponible para publicar su propios contenidos: blogs de texto, fotografías, videos, juegos, etc.

El factor de la publicidad, más la atención de la prensa a este fenómeno, hizo que las empresas pronto descubrieran un nuevo "medio" para comunicarse con sus consumidores.  En 2007, Facebook ya tenía abiertas 100,000 páginas de empresas que utilizaban este medio social para sus campañas.  Pronto, toda empresa de cierta notoriedad estaba obligada a tener su cuenta de Twitter y de Linkedin, además de otros posibles medios.

El uso masivo de estos medios en las empresas, trajo inicialmente una gran confusión.  Aparecieron una serie de cuestiones a resolver. ¿Quién debía gestionar estos medios? ¿Quién podría hablar en nombre de la compañía? ¿Cómo evitar que cualquier persona publicara algo inconveniente? ¿Cómo medir el impacto de las campañas? ¿Cómo afectaban los contenidos a la reputación de la compañía? ¿Qué rol debía de tener el área de TI en la empresa?

En un principio, el fenómeno creció por fuera de las áreas de TI, pasando a formar parte de una "shadow" IT, unas aplicaciones informáticas fuera de control por parte de los departamentos de Sistemas. Luego esto iría cambiando con el tiempo, pero inicialmente las áreas de Marketing y Comunicación se hicieron "dueñas" de estas aplicaciones.   El principal apoyo vino de fuera, agencias de publicidad y comunicación empezaron a ofrecer servicios para "administrar" la difusión de una compañía a través de las redes sociales.

Surgió un nuevo término: el "Community Manager", un especialista en estos medios sociales, que asesoraba a las empresas en sus iniciativas de comunicación en la materia. Es que los nuevos "consumidores conectados" eran muy exigentes.  Publicaban preguntas, consultas, quejas y exigían respuesta en forma inmediata por las redes sociales. Fue necesario desarrollar una estructura para gestionar esta interacción.

Se empezó a expandir también el término "buzz".  Es decir, el "ruido" que circulaba por las redes sociales en torno a una persona o empresa.  El "buzz" podía ser positivo o negativo, pero se expandía rápidamente en torno a los consumidores, por lo cual las empresas debían estar atentas a cualquier "cambio de humor" de sus clientes e iniciar campañas para contrarrestar noticias negativas, rumores o publicidad negativa.  En poco tiempo incluso surgieron herramientas de software, capaces de "interpretar" el "buzz" en Internet (leyendo foros, comentarios, noticias) y establecer la situación reputacional de la empresa en "tiempo real".

Social Cockpit-una herramienta para monitorizar la situación de una empresa en las redes sociales
En definitiva, el desarrollo de este nuevo canal de comunicación trajo aparejada la redefinición de muchos procesos internos de una organización.  Desde los procesos de marketing operativo (campañas), ventas, servicio al cliente, selección de RR.HH. y otros.  Esto tuvo su impacto en las áreas de tecnología, dado que es necesario ordenar y controlar el uso de estas nuevas herramientas, para evitar impactos negativos por interrupciones de los servicios y fallos de seguridad. Adicionalmente, fue necesario "integrar" estos medios nuevos con los sistemas tradicionales, para mantener la productividad.  

En sucesivas notas veremos cómo los departamentos de TI y la industria informática respondieron para responder al nuevo paradigma de las Web 2.0.  Pero antes, veremos la explosión de otro fenómeno de convergencia: la Internet Móvil.