Big data: el futuro del análisis de datos

A estas alturas, ya deberías saber qué es el big data, cómo surgió, dónde se utiliza y por qué es útil. Pero, ¿qué hay del futuro de big data analytics? ¿Cambiarán los macrodatos el entorno? ¿O caerá en el olvido dentro de un par de meses?

He reunido algunas de las predicciones más populares sobre big data para ayudarte a comprender qué puedes esperar de ellos en el futuro.

El volumen de datos no hará sino aumentar

Los expertos en big data afirman que el volumen de datos producidos crecerá exponencialmente. Según el informe Data Age 2025 de IDC, para el año 2025, la cantidad de datos podría alcanzar los 175 zettabytes. Eso es 40 veces más que el volumen de datos de 201

El aprendizaje automático seguirá desarrollándose

Como dijo Wei Li, Vicepresidente y Director General de Intel, cada año el aprendizaje automático se vuelve más y más sofisticado. Lo utilizamos en coches autoconducidos, dispositivos de detección de fraudes y big data, y el número de formas en que lo utilizamos no hará más que crecer. Esto se debe a que el aprendizaje automático depende de la cantidad de datos de entrada, de modo que a medida que aumenta la cantidad de datos, también lo hace la precisión de los resultados del aprendizaje automático.

Además, durante mucho tiempo el aprendizaje automático no estuvo al alcance de la mayoría de las empresas porque las plataformas de código abierto dominaban este ámbito. Esto significa que las empresas que querían implementar el aprendizaje automático en sus procesos tenían que configurar las soluciones por su cuenta, y la mayoría de ellas adolecían de falta de conocimientos en este ámbito. Pero todo cambió cuando los proveedores comerciales empezaron a crear sus propias soluciones asequibles que no requieren demasiada configuración. Las aplicaciones y plataformas de aprendizaje automático han reunido 2500 y 1400 millones de dólares estadounidenses respectivamente en financiación hasta marzo de 2019, y estas cifras aumentan a medida que lo hace la demanda.

Los expertos en big data estarán muy solicitados

Puestos como el de director de datos y científico de datos son relativamente nuevos y sólo existen realmente desde la implantación masiva de machine learning y big data.

Un buen responsable o científico de datos también es valioso por su base de conocimientos. Tienen que estar familiarizados con una amplia gama de temas, como lenguajes de programación, algoritmos de aprendizaje automático, técnicas de manipulación de datos y plataformas y herramientas de datos. Los especialistas tienen que conocer las últimas tendencias y cómo utilizarlas para resolver tareas concretas, lo que requiere tiempo y experiencia. Aunque estos dos factores implican que los especialistas pueden ser caros, potencialmente pueden aportar importantes beneficios a su empresa, por lo que empezar a buscar un especialista ahora puede ser una buena idea.

El uso de datos rápidos y procesables aumentará rápidamente

La competencia entre empresas significa que tienen que tomar decisiones que cambien el juego antes incluso de que otros competidores vean la oportunidad. Big data facilita la búsqueda de estos cambios y la actuación en consecuencia.

Si hablamos de análisis de datos, incluso cuando se trata de aprendizaje automático, solemos referirnos al análisis en modo batch (cuando recopilamos lotes de datos, se los damos a un algoritmo y éste nos da información valiosa sobre la salida). Pero esto no significa que podamos tomar una decisión en el momento en que obtenemos los datos; se necesita tiempo para hacer un análisis final.

Los datos rápidos permiten procesarlos en tiempo real, tal y como aparecen en nuestras bases de datos. Eso significa que podemos analizar los cambios en los flujos de datos sobre la marcha y responder a ellos rápidamente. Es un auténtico cambio de juego.

Los datos procesables son el resultado del análisis de big data. Cuando se obtiene un gran número de datos de diversos tipos, apenas se puede hacer nada con ellos. Pero tras procesarlos con herramientas de análisis de big data, podemos obtener información que nos ayudará a tomar decisiones informadas y racionales.

Según algunos expertos, en el futuro los big data podrían incluso ser sustituidos por datos rápidos y datos procesables.

Más empresas intentarán monetizar sus datos

Los datos se recogen en todas partes, desde tiendas de comestibles hasta sitios web y aplicaciones, y todos estos datos pueden venderse a otras empresas como otra fuente de ingresos. La demanda de este tipo de datos es alta y no parece que vaya a disminuir.

Más herramientas de data analysis ya no requerirán un analista

La demanda de data analysis es alta, pero como ya hemos dicho, faltan profesionales en este campo. Es muy posible que los proveedores empiecen a ofrecer a los clientes soluciones que requieran muchos menos conocimientos técnicos.

Big data podría acabar con el debate sobre el cambio climático

Otros big data analysis puede ayudar a los científicos a comprender mejor el cambio climático y sus causas y efectos. Esto contribuirá a que los debates políticos se basen en pruebas.

Big data podría ayudar a curar enfermedades infecciosas

La sanidad es uno de los principales sectores usuarios de big data. Algunos científicos creen que, tras consolidar grandes cantidades de historiales médicos en un lote de datos, podrían encontrarse nuevas curas mucho antes de lo esperado.

Tienen puntos, pero esta idea se enfrenta a dos grandes problemas. En primer lugar, el volumen de datos de historias clínicas rondaba los 170 exabytes solo en 2019, y el aumento anual estimado es de 1,2 a 2,4 exabytes al año. Eso es una gran cantidad de datos, y el desafío es reunirlos y almacenarlos en un solo lugar. Otro reto es que las instituciones de investigación pueden ralentizar el proceso de descubrimiento a través de la complicada ley de patentes.

El procesamiento del lenguaje natural (PLN) se utilizará más ampliamente

La tecnología se vuelve más asequible y fácil de usar a medida que se desarrolla. Algunos expertos predicen que en un futuro próximo no tendremos que utilizar código para interactuar con sistemas inteligentes.

Las empresas pueden beneficiarse de la PNL incluso ahora, proporcionando a sus clientes chatbots inteligentes que pueden proporcionar información rápidamente, como lo haría un agente humano. El análisis de las interacciones verbales entre el cliente y la empresa también puede ayudar a los profesionales del marketing a comprender cómo se siente el cliente respecto a la marca.

La ciberseguridad seguirá siendo un reto

Cuantos más datos se almacenen, más difícil será protegerlos. Las empresas que utilizan big data se enfrentarán a más retos de ciberseguridad, ya que el uso de productos de software adicionales conlleva más oportunidades para que los ciberdelincuentes roben datos.

Los datos seguirán migrando a la nube

Dado que el volumen de datos es cada vez mayor, las empresas que los utilizan tendrán que elegir entre establecer un almacenamiento de datos con más capacidad o dejar que los servicios en la nube se encarguen del problema del almacenamiento de datos. Teniendo en cuenta el hecho de que los servicios en la nube ofrecen un gran espacio de almacenamiento a precios asequibles sin necesidad de mantenimiento de hardware, esperamos que la mayoría opte por lo segundo. Esto es especialmente cierto porque si te quedas sin espacio de almacenamiento en la nube, no tienes que instalar aún más hardware; sólo tienes que ampliar tu plan.

Big data no sustituirá a los investigadores

Es obvio que el análisis de big data puede dar mucha más información que los métodos de investigación tradicionales, y esta información será más precisa y valiosa. Pero el principal problema es que podemos enseñar a una máquina a encontrar patrones y correlaciones, pero no podemos enseñarle a entender el contexto tan bien como un humano. Así que los expertos en big data seguirán siendo una ayuda para los investigadores, no un sustituto.

En el futuro, las habilidades de ciencia de datos podrían llegar a ser tan comunes como lo son hoy las habilidades de uso de Excel

El consejero delegado y fundador de Lotame, Andy Monfried, presume que surgirán aplicaciones de big data de autoservicio con una interfaz fácil de usar, lo que hará que casi todos los trabajadores sean capaces de analizar grandes volúmenes de datos, lo que podría convertirse en una rutina laboral en el futuro.

El Big Data se integrará con el Internet de las Cosas (IoT)

Las empresas buscan constantemente obtener más beneficios de sus productos, y la generación de datos es una forma de conseguirlo. Es probable que los dispositivos IoT recopilen mucha información sobre los usuarios y su entorno. A continuación, estos datos pueden analizarse dentro de la empresa para mejorar la experiencia del cliente o venderse.

Se analizarán más datos y se utilizarán en la toma de decisiones

El 99,5% de los datos recopilados nunca se analiza ni se utiliza de ninguna manera. Esto supone una enorme pérdida para las empresas que recopilan esos datos. Con el desarrollo de big data y machine learning, este porcentaje se reducirá definitivamente. Los científicos de datos encontrarán sin duda una forma de utilizar ese 99,5%.

Las empresas que utilicen big data tendrán menos gastos

Según las encuestas realizadas por Syncsort y NewVantage, el análisis de Big Data ayudó al 59,4% de los encuestados a reducir gastos. El 66,7% de las empresas empezaron a utilizar big data específicamente con ese fin.

El big data renovará el interés por la tecnología blockchain

Las grandes cantidades de datos plantean problemas de seguridad, y la cadena de bloques puede ser muy útil para resolverlos. Es posible que en un futuro próximo veamos un mayor interés por la tecnología blockchain para la seguridad de los datos.

Las empresas empezarán a utilizar más de una herramienta de análisis de datos

Las herramientas de análisis de datos siguen siendo nuevas y, a veces, un producto de software no puede satisfacer todas las necesidades de una empresa concreta. Por ejemplo, una solución puede ser bastante buena para trabajar con big data, pero no tener capacidades de análisis rápido de datos, mientras que otra puede ser capaz de hacer datos rápidos pero tener una interfaz de usuario poco amigable.

Por eso las empresas combinarán distintas aplicaciones para generar el máximo beneficio. Según Gartner, algunas empresas ya utilizan más de una aplicación "estándar empresarial".

Se espera un mayor uso de la arquitectura de tejido de datos

Data Fabric es una arquitectura que soporta datos y análisis componibles junto con una variedad de sus componentes. Entre sus ventajas se incluyen una reducción de 30% en el tiempo de diseño de la integración, una reducción de 30% en el tiempo de despliegue y una reducción de 70% en el mantenimiento. Data Fabric también puede aprovechar las capacidades y tecnologías existentes de los concentradores de datos, los lagos de datos y los almacenes de datos. Todo esto, junto con la capacidad de introducir nuevos enfoques y herramientas para el futuro, no deja casi ninguna duda de que esta arquitectura se utilizará ampliamente.

El GDPR seguirá siendo una gran preocupación

Las iniciativas de gobernanza de datos no han reducido sus actividades. El GDPR ha designado a los clientes como firmes propietarios de cualquier información que creen, y tienen el poder de elegir a qué empresas quieren ceder sus datos. Si una empresa se comporta mal, pueden irse a un competidor, con la consiguiente pérdida de ingresos.

El big data depende de los clientes, por lo que las empresas tendrán que cumplir el GDPR y las normativas locales, no solo para evitar sanciones, sino también para mantener sus ingresos de datos.

Qué es y para qué sirve big data

Big data es un término que se utiliza para describir conjuntos de datos extremadamente grandes que son demasiado complejos para ser procesados ​​por los sistemas de gestión de bases de datos tradicionales. Estos conjuntos de datos suelen ser de naturaleza diversa, incluyendo datos estructurados, semiestructurados y no estructurados. Big data puede provenir de una variedad de fuentes, como redes sociales, sensores IoT, registros de transacciones, archivos de registro del servidor web, archivos de audio/video, etc.

Big data tiene el potencial de proporcionar información valiosa que puede utilizarse para mejorar la toma de decisiones, optimizar los procesos y crear nuevos productos y servicios. Algunos ejemplos de casos de uso de big data incluyen:

• Análisis predictivo: Utilizar datos históricos para predecir tendencias futuras. Por ejemplo, las empresas de comercio electrónico pueden utilizar el análisis predictivo para predecir las ventas futuras o identificar los productos que probablemente tendrán una alta demanda.
• Personalización: Ofrecer experiencias personalizadas a los clientes. Por ejemplo, los sitios web de comercio electrónico pueden utilizar los datos de compra de los clientes para recomendarles productos que puedan interesarles.
• Detección de fraudes: Identificar transacciones sospechosas. Por ejemplo, los bancos pueden utilizar big data para identificar patrones de fraude en las transacciones con tarjetas de crédito.
• Análisis de riesgos: Evaluar riesgos potenciales. Por ejemplo, las compañías de seguros pueden utilizar big data para evaluar el riesgo de que un asegurado presente una reclamación.
• Investigación y desarrollo: Descubrir nuevos conocimientos y mejorar los productos y servicios. Por ejemplo, las empresas farmacéuticas pueden utilizar big data para identificar nuevas dianas farmacológicas o mejorar el desarrollo de fármacos.

Mejores prácticas de big data

Para ayudarte en tu transición a big data, hemos recopilado una serie de mejores prácticas que debes tener en cuenta. A continuación, detallamos nuestras pautas para crear con éxito una base de big data.

Alinea los big data con objetivos empresariales específicos

Los conjuntos de datos más amplios te permiten hacer nuevos descubrimientos. A tal efecto, es importante basar las nuevas inversiones en habilidades, organización o infraestructura con un marcado contexto empresarial para garantizar la constancia en la financiación e inversión en proyectos. Para determinar si te encuentras en el camino correcto, pregúntate en qué medida el big data respalda y habilita tus principales prioridades empresariales y de TI. Algunos ejemplos incluyen entender cómo filtrar los registros web para comprender el comportamiento del comercio electrónico, extraer el sentimiento de las redes sociales y de las interacciones de atención al cliente, así como entender los métodos de correlación estadística y su relevancia para los datos de clientes, productos, fabricación e ingeniería.

Facilita la escasez de competencias con estándares y gobernanza

Uno de los mayores obstáculos para beneficiarte de tu inversión en big data es la escasez de competencias. Puedes mitigar el riesgo asegurándote de incorporar a su programa de administración de TI tecnologías, consideraciones y decisiones relativas a big data. Normalizar tu enfoque te permitirá gestionar los costos y aprovechar los recursos. Las organizaciones que implanten soluciones y estrategias de big data deben evaluar sus necesidades de habilidades de forma temprana y frecuente, e identificar de manera proactiva las posibles carencias de habilidades. Esto puede lograrse mediante la impartición de formación o la formación cruzada entre recursos existentes, la contratación de nuevos recursos y el uso de empresas de consultoría.

Optimiza la transferencia de conocimientos con un centro de excelencia

Utiliza un enfoque de centro de excelencia para compartir conocimientos, controlar la supervisión y gestionar las comunicaciones del proyecto. Tanto si el big data es una inversión nueva o en expansión, los costos directos e indirectos pueden distribuirse en toda la empresa. Utilizar este enfoque puede contribuir a incrementar las capacidades de big data y la madurez del conjunto de la arquitectura de información de una forma más sistemática y estructurada.

La mejor recompensa es alinear los datos no estructurados con los estructurados

Sin duda es valioso analizar los big data por sí solos. Sin embargo, puedes obtener una perspectiva empresarial aún más valiosa relacionando e integrando el big data de baja densidad con los datos estructurados que ya usas actualmente.

Tanto si estás recopilando big data de clientes, de productos, de equipos o ambientales, el objetivo es añadir puntos de datos más relevantes a sus resúmenes maestros y analíticos, lo que te permitirá obtener mejores conclusiones. Por ejemplo, existe una diferencia en distinguir la percepción de todos los clientes de la de solo sus mejores clientes. Por eso, muchos consideran que big data constituye una extensión integral de sus capacidades existentes de inteligencia empresarial, de su plataforma de almacenamiento de datos y de su arquitectura de información.

Ten en cuenta que los modelos y procesos analíticos de big data pueden ser tanto humanos como automáticos. Las capacidades de análisis de big data incluyen estadísticas, análisis especiales, semántica, detección interactiva y visualización. Mediante el uso de modelos analíticos, puedes relacionar distintos tipos y fuentes de datos para realizar asociaciones y hallazgos significativos.

Planifica tu laboratorio de descubrimiento para el desempeño

Descubrir el significado de tus datos no siempre es sencillo En ocasiones, ni siquiera sabemos qué estamos buscando. Eso es de esperar. La dirección y los equipos de TI deben respaldar esta "falta de dirección" o "falta de claridad en los requisitos".

Al mismo tiempo, es importante que analistas y científicos de datos colaboren estrechamente con la empresa para entender las principales necesidades y las carencias de conocimientos de la empresa. Para incorporar el estudio interactivo de los datos y la experimentación de algoritmos estadísticos, necesitas contar con áreas de trabajo de alto rendimiento. Asegúrate de que los entornos de pruebas (sandbox) tienen apoyo que necesitan y están correctamente gobernados.

Alinearse con el modelo operativo de la nube

Los procesos y usuarios de big data necesitan acceder a una amplia gama de recursos tanto para la experimentación iterativa como para ejecutar trabajos de producción. Una solución de big data incluye todos los ámbitos de los datos, incluidas transacciones, datos principales, datos de referencia y datos resumidos. Los entornos de pruebas (sandboxes) analíticos deben crearse on-demand. La gestión de recursos es fundamental para garantizar el control de todo el flujo de datos, incluido el procesamiento previo y posterior, la integración, el resumen dentro de la base de datos y la creación de modelos analíticos. Disponer de una estrategia bien definida de aprovisionamiento y seguridad en la nube pública y privada es fundamental para respaldar estos requisitos cambiantes.

Qué empresas usan big data

En España, las empresas que usan 'big data' crecieron hasta alcanzar el 13,9% en 2023, lo que supuso un incremento de 2,8 puntos respecto al año anterior, como recoge el informe 'Uso de inteligencia artificial y 'big data' en las empresas españolas' del Ministerio de Asuntos Económicos y Transformación Digital de España. En este contexto, fijarse en algunos casos de éxito de cómo algunas compañías de referencia han explotado sus datos puede mostrar a otras empresas cómo adoptar una filosofía 'data driven'.

La personalización y creación de contenidos de Netflix

Con más de 260 millones suscriptores en todo el entorno a inicios de 2024, Netflix es uno de los ejemplos de cómo el 'big data' puede favorecer el éxito de una plataforma de treaming': recopila y analiza las interacciones de los usuarios, rastreando detalles como los hábitos de visionado, las pausas y las valoraciones de los usuarios para tomar decisiones que van desde la recomendación de contenidos hasta la creación de programación original.

Un ejemplo paradigmático del uso de los datos en Netflix ocurrió hace una década. En febrero de 2013, la plataforma sorprendió lanzando de una sola vez los primeros capítulos de la que hoy es una de sus series más vistas, 'House of Cards'. Pero ¿por qué decidieron invertir en reinventar esta serie, originalmente británica? Porque su éxito estaba garantizado. Gracias a los datos que recogen sus algoritmos, Netflix creyó que la serie combinaba ciertos elementos para triunfar.

Netflix publicó un informe sobre las preferencias de sus usuarios en la primera mitad de 2023 que muestra cómo, de entre las diez series más vistas entonces, nueve eran originales de la compañía. Una muestra más de la importancia que tiene el análisis de las preferencias de sus usuarios para ofrecer nuevas series.

El rendimiento de la compañía responde positivamente a esta estrategia. Los ingresos en el cuarto trimestre de 2023 crecieron un 12% interanual, hasta superar los 800 millones de dólares.

Las recomendaciones de Amazon

El gigante del comercio electrónico también utiliza el 'big data' para lograr una segmentación óptima de sus usuarios. Así, recopila, almacena, procesa y analiza la información de los compradores o su plataforma, entre la que se encuentra el seguimiento de los artículos comprados, el historial de visitas, las direcciones de envío y las opiniones.

Por ejemplo, la compañía utiliza el análisis de los macrodatos para ajustar de forma dinámica los precios de los productos en función de diversos factores, como la actividad en el sitio web, la exclusividad del producto o los patrones de compra. Así, los precios se actualizan cada 10 minutos, lo que supone unos 2,5 millones de cambios al día, según recoge Intelis.

Amazon también aprovecha todos los datos de sus usuarios para ofrecer recomendaciones de productos personalizadas. Tanto si un cliente compra, añade al carrito o simplemente ojea un producto, el gigante del comercio electrónico utiliza esa información para recomendar artículos similares. De hecho, “el 35% de lo que compran los consumidores en Amazon procede ya de recomendaciones de productos basadas en este tipo de algoritmos”, como recoge McKinsey & Company.

Innovación “Los datos bien utilizados nos cuentan historias sobre qué necesitan nuestros clientes” Los datos son una palanca estratégica para BBVA, que, desde hace años, trabaja para que sean accesibles a toda la organización de modo que estén detrás de cada decisión de negocio. En este empeño, Domo se ha convertido en una herramienta fundamental, como cuenta Elena Alfaro, responsable Global de Data y Advanced Analytics en Client Solutions en BBVA, en este nuevo caso de éxito, donde se pone en valor la capacidad de esta plataforma para monitorizar la evolución de los objetivos estratégicos y detectar tendencias específicas, lo que permite al banco adaptar con rapidez los productos y servicios a las necesidades de los clientes.

Si quieres conocer otros artículos parecidos a Big data: el futuro del análisis de datos puedes visitar la categoría Finanzas / Inversiones.