Tag: big data

La era digital ha provocado una explosión de datos en todas las formas y desde todas las regiones del mundo. Esta explosión de datos, conocido como Big Data, no siempre están bien estructurados y no son accesibles. Se podría tardar que una persona pudiera manualmente extraer la información relevante de estos grandes datos desestructurados. Sin embargo, existen técnicas de Inteligencia Artificial que permiten la estructuración de los datos y posibilita la extracción de información útil de los mismos. Por este motivo, las empresas se dan cuenta el increíble potencial del Big Data & Inteligencia Artificial.

QUÉ ES DEEP LEARNING

Deep learning (aprendizaje profundo) es una nueva técnica dentro del aprendizaje automático (machine learning) basado en arquitecturas de redes neuronales. Está relacionado con algoritmos inspirados en la estructura y función del cerebro, de ahí el nombre redes neuronales artificiales. Las redes neuronales artificiales se construyen como el cerebro humano, con nodos de neuronas conectados como una red.

Mientras que los modelos tradicionales crean análisis con estructuras lineales, los modelos de deep learning se caracterizan por su estructura jerárquica permitiendo procesar los datos con un enfoque no lineal.

¿Qué tiene de especial el deep learning? Un modelo basado en deep learning puede aprender a realizar tareas de clasificación directamente a partir de imágenes, texto o sonido, etc. Sin necesidad de intervención humana para la selección de características, esto se puede considera la principal característica y ventaja del deep learning, llamada “feature discovering” .Pueden, además, poseer una precisión que supera al ser humano.

EN QUÉ CONSISTE, CÓMO FUNCIONA

Los modelos se entrenan mediante un amplio conjunto de datos etiquetados y arquitecturas de redes neuronales que contienen muchas capas.

La primera capa de la red neuronal procesa una entrada de datos brutos como por ejemplo una imagen, y la pasa a la siguiente capa como salida, este proceso se va repitiendo sucesivamente hasta completar todas las capas de la red neuronal. Por ejemplo, una imagen que comienza como una matriz de píxeles. Las características aprendidas en la primera capa puede ser por ejemplo, la aparición o no de ejes en una parte concreta de la imagen. La segunda capa detecta uniones de ejes. La tercera capa aprende combinaciones que correspondería a partes de objetos. La principal característica de este método es que estas capas realizan el descubrimiento de características sin intervención humana, aprendiéndolo directamente de los datos brutos.

El término “deep” (profundo) suele hacer referencia al número de capas ocultas en la red neuronal que pueden ser hasta 150 capas (las redes neuronales tradicionales solo contienen dos o tres capas oculta).

ARQUITECTURAS DEEP LEARNING

Hemos comentado que la mayoría de métodos de machine learning emplean arquitecturas neuronales, por lo que las arquitecturas de deep learning emplean modelización de redes neuronales, tales como:

  • Deep Neural Network (DNN) o Redes neuronales profundas
  • Convolutional Neuronal Network (CNN) ó Redes neuronales profundas convolucionales
  • Deep Belief Network (DBN) o Redes de creencia profundas

corteza visual_deep learning

CONVOLUTIONAL NEURONAL NETWORK 

En este post nos centraremos en la arquitectura de deep learning, Convolutional Neural Network (CNN) que, traducido al español, se trata de Redes Neuronales Convolucionales. En este tipo de arquitectura se emplean modelizacion de redes neuronales artificiales donde las neuronas correspondes a campos receptivos -similar a las neuronas en la corteza visual V1 de un cerebro humano-. Este tipo de redes son muy efectivas para tareas de:

  • Detección y categorización de objetos
  • Clasificación y segmentación de imágenes

El objetivo de CNN es aprender características de orden superior utilizando la operación de convolución. Puesto que las redes neuronales convolucionales puede aprenden relaciones de entrada-salida (donde la entrada es una imagen), en la convolución, cada pixel de salida es una combinación lineal de los pixeles de entrada.

Pero, ¿qué significa “convolucion”? La convolución consiste en filtrar una imagen utilizando una máscara. Diferentes máscaras producen distintos resultados. Las máscaras representan las conexiones entre neuronas de capas anteriores. (INAOE).

Estas capas aprenden progresivamente las características de orden superior de la entrada sin procesar. Este proceso para aprender características automáticas es la característica principal del modelo de deep learning, llamado descubrimiento de características.

Las redes neuronales convolucionales se forman usando dos tipos de capas: convolucionales y pooling.(INAOE). La capa de convolución transforma los datos de entrada utilizando la operación matemática de convolución. La operación de convolución describe cómo fusionar dos conjuntos de información diferentes.

Después de la capa o capas de convolucion se usa una capa de pooling. La función de las capas de pooling es resumir las respuestas de las salidas cercanas. La principal característica de la capa de pooling son dos. Primero, la capa de pooling reduce progresivamente el tamaño espacial de los datos. Y segundo, la agrupación ayuda a obtener una representación invariable a una pequeña traslacion de la entrada.

Convolutional Neuronal Network

Las redes neuronales convolucionales fueron algunas de las primeras redes neuronales aplicadas para resolver aplicaciones comerciales importantes. Un ejemplo de ello fue en la década de 1990, AT & T desarrolló un modelo de CNN para la lectura de cheques. También más tarde se desarrollaron muchos sistemas OCR basados ​​en CNN. Actualmente, el interés por el deep learning se debe en gran parte a la victoria de Krizhevsky et al. en el desafío de imageNet.

La transformación digital está comenzando a ser un factor competitivo para marcar la diferencia dentro del sector inmobiliario. Las nuevas tecnologías IT suponen una revolución dentro del sector ya que permiten simplificar procesos, mejorar la economía del tiempo y reducir costes. Estas tecnologías digitales evolucionan a un ritmo imparable y las empresas del sector deben adaptarse a esta situación de constante cambio para no quedarse atrás en el mercado. Es por ello que, con en este caso de práctico, queremos  mostrar cómo la tecnología IT ofrece soluciones optimas para el desarrollo de actividades profesionales dentro del sector inmobiliario.

Pero antes, debemos plantearnos varias cuestiones: ¿qué es la transformación digital?¿en qué consiste? ¿por qué hace falta?

La transformación digital es la reinvención de una organización a través de la utilización de la tecnología digital.

Existen una serie de amenazas que hacen que la transformación digital suponga una cuestión de supervivencia empresarial para cualquier sector. Estas amenazas son:

  • Uberización. El surgimiento de empresas como Uber, Bla Bla Car, Airbnb, … suponen una amenaza que tambalean empresas con una visión muy tradicional en un sector determinado.
  • Gigantes digitales. Las capacidades de grandes empresas como Google, Amazon, Microsoft, … es muy difícil competir con ellas, incluso poseen capacidades de absorción.
  • Puede que una empresa tipo Uber y un gigante digital como Google, puedan parecer unas amenazas remota pero… ¿qué está haciendo tu competencia? ¿se está reinventando con el uso de tecnología digital?

Algunas claves para afrontar la transformación digital (en qué consiste):

  • Cualquier empresa debe convertirse en una empresa tecnológica: uso de robotica, IoT, Procesamiento del Lenguaje Natural, Aprendizaje Automático, etc.
  • Aventurarse sin miedo a imaginar cómo la tecnología podrá cubrir las necesidades futuras de nuestros clientes.
  • Las fronteras entre sectores desaparecen: las capacidades tecnológicas permiten a una empresa entrar en cualquier sector.
  • Es fundamental abrir nuestros sistemas a terceros. Ninguna empresa es lo suficientemente grande o inteligente para no mejorar sus productos gracias a la colaboración de otras personas, empresa, etc. Este concepto es habitual verlo en los smartphones con sus apps de terceros.

APARTAMENTOS

CASO DE USO: Transformación Digital en el mercado inmobiliario

Nuestro cliente, una empresa inmobiliaria tradicional cuyo negocio ha consistido en la intermediación de la compra-venta y alquiler de inmuebles, ve una oportunidad de negocio  en la inversión inmobiliaria para su posterior alquiler, mediante crowdfounding soportada en una plataforma digital.

  • Necesidad del cliente

El cliente disponía de un equipo de análisis de oportunidades que debía analizar las distintas viviendas en ventas en aquellos municipios de interés para determinar cuáles deberían ser objeto de un estudio detallado, es decir, estos analistas debían generar una “lista corta” de oportunidades para que el equipo de desarrollo de  negocio hiciese una evaluación detallada de  las mismas.

En España se producen muchos nuevos inmuebles en venta al mes, una cifra alta para que el equipo de analistas pudiese realizar el análisis manualmente de cada una de ellas. Además el análisis realizado por este mismo equipo se basa en la obtención manual de viviendas más o menos similares en la zona y la extrapolación de los datos de estas viviendas al inmueble en estudio. Lo que, además de ser una tarea ardua, no se aprovecha en su totalidad los datos ni se modeliza de una forma científica.

Transformacion-Digital_Inmobiliario_necesidadesPara solucionar estas necesidades, los objetivos a cumplir en este proyecto fueron:

  • Reducir el tiempo de análisis de las oportunidades para poder analizar todas las ofertas de inmuebles.
  • Basar el análisis de las oportunidades en métodos científicos que aprovechen el gran volumen de datos disponibles (Big Data) en lugar de basarlo en intuiciones.

SOLUCIÓN ITELLIGENT

Diariamente se producen en España oferta de ventas de inmuebles y de alquiler de imuebles.

  1. El primer paso fue modelizar los precios de la oferta de alquiler para poder predecir por cuanto se podría alquilar una vivienda que esté en venta. Además, estos modelos permiten entender los factores que han influido en la predicción.
  2. Una vez que se disponía de una predicción del precio de alquiler de una vivienda que está en venta, se corrigen dichos precios para tener en cuenta a capacidad de negociación tanto en la compra del inmueble como en el alquiler del mismo.
  3. Tras haber corregido los precios, se añade una estimación de los costes de la compra (hipoteca..) así como una estimación de los costes de reforma.
  4. Con los datos anteriores, se realiza un análisis de la inversión con un plazo temporal que fija el cliente, obteniéndose para cada vivienda un retorno de la inversión (ROI) para cada inmueble en venta.

Transformacion-Digital_Inmobiliario_solucion-ITELLIGENT

RESULTADO 

Gracias a esta solución, el equipo de analistas puede realizar su trabajo de forma que:

  • Ahora el equipo de analista es capaz de analizar todas las oprtunidades que se presentan en el mercado  sin que se le quede ninguna oportunidad importante fuera por falta de tiempo.
  • Al utilizar modelos sofisticado de Data Science y Big Data, los resultados son más más exactos y fácil de justificar.

En este caso de uso se describe cómo el Data Science y Big Data ayudan a la transformación digital del sector inmobiliario.

Transformacion-Digital_Inmobiliario_resultados

CONCLUSIÓN

En este caso de uso se cumplen alguna de las claves que hemos comentado al inicio de este post:

  • Una empresa dedicada a la mediación de la compra-venta de viviendas se introduce en un sector diferente al suyo (inversiones). La frontera entre ambos sectores se hace difusa.
  • Se cubre una necesidad mediante el uso de la tecnología. La empresa ha comenzado su viaje de pasar a una empresa meramente administrativa a una empresa con importante componentes tecnológicos.
  • En el futuro, es posible que la empresa abra su sistemas a otros actores. Por ejemplo, empresas de mantenimientos, de seguros, administradores de fincas, etc que puedan dar otros servicios.

ae

La Analítica Empresarial (AE) comprende los métodos y las técnicas que se utilizan para recopilar, analizar e investigar el conjunto de datos de una organización, lo cual genera conocimiento que se transforma en oportunidades de negocio y mejora la estrategia empresarial. AE permite una mejora en la toma de decisiones ya que éstas se basan en la obtención de datos reales y tiempo real y permite conseguir objetivos empresariales a partir del análisis de estos datos

Algunos factores como el aumento en la obtención de datos big data, los diversos cabales para relacionarse con los clientes-usuarios-consumidores y el crecimiento de la demanda para obtener mejores servicios;  hacen que los responsables de comunicación y marketing deban ser innovadores y efectivo en la toma de decisiones ya que la AE puede ser muy útil para dar apoyo a la estrategia de marketing de la empresa.

¿Qué podemos hacer con la Analítica Empresarial?

La AE permite:

  • Detectar tendencias
  • Realizar diagnósticos a partir de modelos predictivos
  • Utilizar estos modelos para optimizar los procesos de negocios
  • Enriquecer los datos internos de la empresa para diferenciarse de la competencia.

Clasificación de la Analitica Empresarial:

  1. Analítica Descriptiva. Utiliza los datos para explicar el pasado. Consiste en preparar y analizar datos históricos para identificar patrones y tendencias. Técnicas como modelos de regresión, el modelado de datos y visualización suelen ser usados en la Analítica Descriptiva.
  2. Analítica Predictiva. Utiliza los datos para determinar que puede pasar en elfuturo. La Analítica Predictiva permite determinar la probabilidad asociada a eventos futuros a partir del análisis de la información disponible (presente y pasada), además permite descubrir relaciones entre los datos que normalmente no es detectada con un análisis menos sofisticado. Técnicas como la minería de datos (data mining) y los modelos predictivos son utilizados.
  3. Analítica Prescriptiva. Utiliza los datos para prescribir aquellas accionesque incrementen nuestras posibilidades de obtener los mejores resultados. La Analítica Prescriptiva determina nuevos forma de operar que permitan alcanzar nuestros objetivos de negocio. Técnicas como la optimización o la simulación son utilizadas, aunque normalmente se requiere la creación de un modelo predictivo previo.

Business Analytics vs Business Intelligence

Internet ha generado un fenómeno completamente nuevo, en el que el mercado realiza sus propios análisis comparando ofertas, intercambiando experiencias y, en esencia, tomando el control de las marcas. Es por ello que los responsables de marketing deban tener en cuenta: ¿qué es la Inteligencia Empresarial?

Otro concepto relacionado con la AE es la Inteligencia Empresarial (IE) centrada en el uso de los datos de una empresa para facilitar también la toma de decisiones y anticipar acciones empresariales.

La diferencia con la AE es que la IE es un concepto más amplio, no solo se centra en el análisis de datos sino que éste es un área dentro de la IE. Es decir, la IE se trata de un conjunto de estrategias, aplicaciones, datos, tecnología y arquitectura técnica entre las que se encuentra la AE; y todo ello, enfocado a la creación de nuevo conocimiento a través de los datos existentes de la empresa.

El sector IT (Information Technology) es uno de los que mayor demanda de profesionales genera actualmente. Las empresas de este sector buscan principalmente expertos en Big Data y Analítica empresarial que sepan adaptarse a la nueva revolución de la industria 4.0. Y es que la repentina aparición de los expertos en Big Data tiene una razón de ser. Hoy en día las organizaciones comienzan a enfrentarse a unas cantidades y formatos de información con las que nunca antes habían tenido que lidiar. Por ese motivo son necesarios los perfiles profesionales especializados en analítica que sepan gestionar y emitir conclusiones a partir de estos grandes volúmenes de datos (Big Data).

Esta  fiebre del Big Data también surge en el momento en el que aparece la tecnología que posibilita el manejo de este tipo de datos. La importancia de estos avances tecnológicos es indiscutible, pero igual de importantes resultan las personas capaces de manejarlos correctamente. De hecho, podemos afirmar que estamos asistiendo a una falta de especialistas en Big Data para muchos sectores. Una de las causas de esta inexistencia de profesionales sea que no existe un consenso sobre cuáles son las funciones que un profesional en Big Data desempeña dentro de una organización. Por este motivo, hemos visto la necesidad de recopilar en este post, a groso modo, los 10 perfiles profesionales más recurrentes en el sector IT:

  1. Data Scientist
  2. Data architect
  3. Data Analyts
  4. Data Engineer
  5. Statistician
  6. Database Administrator
  7. Business Analyts
  8. Data and Analytics Manager
  9. Audit Analytss
  10. Data Journalist

DATA SCIENTIST 

Científico de datos

Según Harvard Business Review se trata de la profesión más atractiva del siglo XXI. El data scientist, como su propio nombre indica, es un experto en la Ciencia de Datos (Data Science). Su trabajo se centra en extraer conocimiento a partir de grandes volúmenes de datos extraídos de diversas fuentes y múltiples formatos para dar respuesta a las cuestiones que se planteen.

El Data Scientist posee las siguientes habilidades y competencias:

DATA ARCHITECT

Arquitecto de datos

El arquitecto de datos debe diseñar, crear, implementar y administrar la arquitectura de datos de una organización. Los arquitectos de datos definen cómo los datos serán almacenados, consumidos, integrados y administrados por diferentes entidades de datos y sistemas informáticos, así como cualquier aplicación que utilice o procese esos datos de alguna manera.

¿Qué habilidades debe poseer un arquitecto de datos?

DATA ANALYTS

Analista de datos

Se trata de un profesional que recopila, procesa y gestiona datos relevantes para la empresa, estando encargados de su análisis estadístico. Se encarga de:  interpretar datos y analizar resultados mediante técnicas estadísticas; desarrollar e implementar análisis de datos, sistemas de recolección de datos y otras estrategias que optimicen la eficiencia estadística y la calidad; adquirir datos de fuentes de datos primarias o secundarias y mantener bases de datos.

Las habilidades más destacadas de este perfil profesional son:

  • Manejo de programas de hoja de cálculo (Excel)
  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Comunicación y visualización
  • Matemáticas, estadísticas y Matching Learning
  • Adicto a los datos con un alto coeficiente de resolución
  • Los lenguajes que debe saber manejar son: R, Python, Javascript, C/C++, SQL.

DATA ENGINEER

Ingeniero de datos

Un ingeniero de datos es un trabajador cuyas principales responsabilidades laborales incluyen la preparación de datos para usos analíticos u operacionales. Las tareas específicas manejadas por los ingenieros de datos pueden variar de una organización a otra, pero normalmente incluyen construir pipelines de datos para reunir información de diferentes fuentes. Otras funciones del ingeniero de datos son: integrar, consolidar y limpiar datos; y estructurarlos para su uso en aplicaciones analíticas. Las habilidades que debe tener un Data Engineer son:

  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Modelado de datos y herramientas ETL
  • APIs de datos
  • Soluciones de almacenamiento de datos
  • Persona versátil
  • Los lenguajes que debe saber manejar son:  R, SQL,HivE, Python, Java, SAS, SPSS, Ruby, C++, Perl, Maths

STATISTICIAN

Estadístico

Se encargan de recoger, analizar e interpretar datos numéricos. Sus resultados ayudan a otros profesionales a tomar decisiones informadas, a crear políticas de empresa y a comprender distintos aspectos de la vida moderna. Se tratan de profesionales con un conocimiento profundo y eminentemente aplicado de las diferentes técnicas estadísticas y de investigación operativa  que les permitan evaluar  la información y obtener argumentos científicos en los que apoyar la toma de decisiones. Un statistician es una persona capaz de planificar, diseñar y realizar un estudio estadístico asi como la explotación de datos.

Por tanto, las habilidades de este perfil serán:

  • Estadística
  • Minería de datos y Matching Learning
  • Computación distribuida
  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Herramientas Cloud
  • Un entusiasta de la estadística y la lógica
  • Los lenguajes que debe saber manejar son: R, SAS, SPSS, Matlab, Python, Perl, Spark, SQL,HivE, Pig.

entrepreneur-1340649_960_720

DATABASE ADMINISTRATOR

Administrador de base de datos

El administrador de base de datos es aquel profesional que administra las tecnologías de la información y la comunicación, siendo responsable de los aspectos técnicos, tecnológicos, científicos, inteligencia de negocios y legales de bases de datos, y de la calidad de datos.

 Las habilidades que debe tener un administrador de base de datos son:

  • Copia de seguridad y recuperación
  • Modelado de datos y diseño
  • Computación distribuida (Hadoop)
  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Seguridad de los datos
  • ERP y conocimiento de negocio
  • Persona precavida ante posibles crisis o desastres
  • Los lenguajes y las tecnologías que debe saber manejar son: SQL, Java, Ruby on Rails, XML, C#, Python

BUSINESS ANALYTS

Analista de negocio

El analista de negocio o business analyst es la persona que posee conocimientos técnicos sobre la construcción de sistemas informáticos y al mismo tiempo comprende y está al corriente de las necesidades del usuario que requiere de esos sistemas para realizar su trabajo. Su misión es la de ser el interlocutor entre el usuario y el departamento de sistemas. El papel de un analista de sistemas también puede definirse como un puente entre los problemas empresariales y las soluciones tecnológicas. Aquí los problemas empresariales pueden ser cualquier cosa acerca de los sistemas empresariales, por ejemplo, los modelos, procesos o métodos. Las soluciones tecnológicas pueden ser el uso de arquitectura, de tecnología, herramientas o aplicaciones de software. Los analistas de sistemas están obligados a analizar, transformar y, en última instancia, resolver los problemas del negocio con la ayuda de la tecnología.

Las competencias y habilidades del profesional en BA son:

DATA AND ANALYTICS MANAGER

Gestor de datos y analítica

El gestor de datos y analítica se encarga de liderar y desarrollar el equipo de analistas de datos. Es el responsable de la elaboración las estrategias para el análisis y representación de los datos así como saber implementar soluciones analíticas.  Las competencias y habilidades de este perfil profesional son:

  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Liderazgo y gestión de proyectos
  • Comunicación interpersonal
  • Minería de datos y modelado predictivo
  • Los lenguajes que debe saber manejar son: SQL, R, SAS, Python, Matlab, Java

Audit Analyts

Auditor de datos

El auditor de datos se encarga de revisar, examinar y evaluar con coherencia la integridad de los datos que maneja una empresa. La herramienta principal de un Audit Analyts es el dato, un dato que debe ser correcto y de buena calidad. Su trabajo consiste en ayudar a las compañías a extraer información útil y precisa para así tomar decisiones de forma rápida con el menor riesgo de negocio.

Las competencias del auditor de datos son:

  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Protocolos y soluciones de seguridad en infraestructuras tecnológicas
  • Seguridad de los datos
  • Los lenguajes y las tecnologías que debe saber manejar son: SQL, R, SAS, Java, XML, Python

newspaper_business

Data Journalist

Periodista de datos

El periodista de datos, además de una solidad formación periodística debe de conocer y manejar las nuevas herramientas del Data Science y Big Data. Deber ser capaz, gracias a dichas herramientas, de extraer información de los grandes repositorios de información y datos que la era del Big Data pone a su disposición. Un claro ejemplo de este nuevo perfil demandante es la aparición de Masters y Expertos en este área en las Universidades españolas como:

Algunos ejemplos de éxito de periodismo de datos en España e Iberoamérica.

¿Cómo es el perfil de un especialista en Data Science, Big Data y Business Analytics?

El perfil del experto en Big Data que demanda el mercado, suele cumplir los siguientes requisitos:

  • Es un experto en alguno de estos ámbitos: ingeniería informática, matemáticas, estadística, marketing.
  • Tiene una gran capacidad para la resolución de problemas
  • Es capaz de analizar, resolver y explicar lo que ha visto de manera que los demás lo entiendan sin entrar en conceptos científicos.
  • Tiene conocimientos en programación. Es capaz de expresar la información en lenguajes informáticos.
  • Se adapta fácilmente a cualquier tecnología.
  • Conocimiento de lenguajes específicos como SQL, Hadoop, Spark, R, SAS, Java, XML, Python, etc.  

Sin duda, el crecimiento del Big Data ha disparado la demanda de profesionales especialistas en el análisis de datos pero también de potentes herramientas de Business Intelligence que den una solución global a la empresa.