Category: Big Data y Analítica Empresarial

La mayoría de la información ofrecida por instituciones, diputaciones y otros organismos públicos, popularmente conocida como Open Data, es digitalizada y publicada a través de diferentes canales en Internet. Estos datos abiertos pueden ser tanto disposiciones de licitaciones, ayudas, subvenciones, multas de tráfico, oposiciones, concursos oficiales, etc. Este tipo de información es buscada día a día por diversos usuarios y empresas de diferente índole que desean consultar estas bases de datos de Open Data.

Pero, claro, toda esta información no está estructurada (desordenados) y cada dato está publicado en una web diferente bajo un formato distinto (PDF, HTML, XML,…). Hoy en día no existe una página pública o herramienta comercial que aglutine y extraiga todos estos datos descritos bajo una misma web. Tampoco existe un protocolo o normalización estándar de “cómo se deben publicar”.

Además de la gran heterogeneidad del Open Data (origen y formato), en el 95% de los casos, esa información no está estructurada y necesita un tratamiento por una persona para que sea útil. Si se tiene en cuenta la cantidad de canales a extraer y el volumen de información publicado, incluso considerando sólo lo publicado diariamente, se hace inmanejable para una persona.

En resumen, la situación de partida es que estamos ante un gran volumen de datos que requiere la necesidad de una herramienta que facilite la consulta y extracción de estos datos. Gracias a la inteligencia artificial y el Machine Learning (aprendizaje automático), tenemos la solución: NetOpenData. Se trata de una herramienta que facilita el acceso a los datos del sector público y open data. Se trata de un servicio para acceder a la información de forma estructurada y bajo un solo paraguas, una sola web.

¿Cómo funciona el sistema de inteligencia artificial diseñado?

La innovación principal de NetOpenData parte de obtener, procesar y ofrecer este tipo de información de forma estructurada siguiendo un enfoque automático. Para ello se han aplicado diferentes técnicas de aprendizaje, siguiendo un enfoque supervisado relacionado con:

Se han desarrollado sistemas capaces de dar solución a la extracción masiva de recursos a partir de Internet, la segmentación de textos, la clasificación de textos y la extracción de información en textos. Además, de cara a la extracción masiva de información se ha hecho uso de herramientas pensadas para este tipo de entornos que permitan trabajar desde una perspectiva paralela capaz de organizar el trabajo siguiendo un enfoque escalable y distribuido ya que de otra forma el sistema no es capaz de procesar toda la información recogida.

Otros de los puntos fuertes de NetOpenData es la utilización de las últimas tecnologías de almacenamiento. Sistemas que surgieron hace poco y están adaptadas a los procesamientos de información en tiempo real. Esto es una ventaja debido a que desde su base de creación se están enfocando a problemas actuales como cargas masivas de datos (Big Data) o tiempos de respuesta y almacenamiento bajos, una gran problemática que les cuesta solventar a las bases de datos tradicionales, debido a la robustez que ya tienen.

¿Qué ventajas posee este sistema de Inteligencia Artificial?

  • Permite extraer unos recursos concretos (Ej. Boletines Oficiales) a través de diferentes canales (Ej. Web de una Diputación) de una forma automática, teniendo en cuenta las peculiaridades de los datos a extraer, así como el uso que se le tiene pensado dar.
  • Es capaz de tratar cada recurso extraído con el fin de obtener de él una información útil para el usuario:
    • Segmentar el índice del contenido.
    • Segmentar el contenido en disposiciones.
    • Clasificar el idioma de la disposición.
    • Clasificar las disposiciones en función a una taxonomía.
  • Puede ordenar determinadas piezas de información según el idioma y el tipo de la disposición.
  • Hace posible guardar de forma persistente tanto la información bruta como la estructurada fruto del tratamiento indicado anteriormente, teniendo en cuenta el uso que se le tiene pensado dar y el volumen generado.
  • Ofrece al usuario el acceso a los datos de forma más práctica y eficaz posible, a través de una única página web que permite:
    • la visualización y filtración de datos
    • la descarga de disposiciones concretas
    • la creación de alertas de disposiciones en base a una serie de filtros concretos.

¿Qué tipo de datos públicos puedes obtener con NetOpenData?

Boletines Oficiales, Patentes, Marcas, Ayudas, Nombres Comerciales, Contrataciones y Licitaciones. Toda esta información se estructura para puedas utilizarlo de forma fácil y sencilla en tu empresa o para que puedas montar servicios innovadores a partir de estos datos.

NetOpendata

Por otro lado, en ITELLIGENT nos adaptamos a las necesidades de cada uno de nuestros clientes por lo que si tu empresa requiere otros datos diferentes a los que aporta NetOpenData o desea enlazar los datos de nuestro software con otras fuentes, también somos especialistas en hibridación de datos.

En ITELLIGGENT nos hemos especializado en el desarrollo de tecnologías encaminadas a la estructuración de grandes volúmenes de datos (procedentes de Internet y de los sistemas propietarios) y el desarrollo de soluciones que permitan a las organizaciones obtener una ventaja competitiva gracias a la “inteligencia” que el análisis de estos grandes volúmenes de datos (Big Data) les aporta.

Es por ello que en este post, queremos exponer qué tipo de ventajas ofrece el uso del Big Data y la Inteligencia Artificial a través de herramientas diseñadas para ello. Es decir, mostrar cómo la estructuración de grandes volúmenes de datos junto a técnicas de inteligencia artificial pueden ofrecer información útil para cualquier tipo de negocio.

photo-15

Big Data y pricing. Monitorización de precios, modelización y gestión.

Una de las principales razones por las cuales los consumidores suelen hacer sus compras en el mundo online es la de beneficiarse de precios más ajustados que en los establecimientos físicos. Este hecho nos hace platearnos que, disponer de una herramienta de gestión y control de precios en Internet sea una tarea esencial para poder tomar decisiones en las estrategias de fijación de precios online.

Un ejemplo de plataforma big data enfocada al pricing es NetPrice de ITELLIGENT. Con esta herramienta se puede reducir la incertidumbre en la toma de decisiones en torno a una estrategia de precios. La herramienta recolecta una gran cantidad de precios e información sobre productos y servicios, tanto internos como de la competencia, para un posterior análisis de sus fluctuaciones. Esto facilita que se entienda mejor el mercado y permita anticiparnos a la demanda.

MONITORIZACIÓN MASIVA DE PRECIOS Y DETECCIÓN DE OPORTUNIDADES Y AMENAZAS

¿Por qué extraer precios? La extracciones masivas de precios (en algunos casos más de 150 millones de precios al mes) y su modelado para detectar aquellas amenazas y/o oportunidades,  debe requerir la atención de cualquier empresa. Esta monitorización de precios permite centrar el esfuerzo solo en aquellos precios (propios y de la competencia) que realmente puedan tener un impacto en la cuenta de resultados de la empresa.

BUSCADORES DE PRECIOS

En aquellos sectores con fuerte dependencia de buscadores de precios (ej. seguros), la monitorización masiva de precios, propios y de la competencia en estos buscadores, mediante la creación de modelos matemáticos descriptivos y predictivos, permiten que una empresa pueda adelantarse a la competencia obteniendo una ventaja diferencial gracias al conocimiento que esta modelización les aporta.

Una herramienta como Netprice facilita al departamento comercial establecer políticas de precios en base a técnicas de Revenue o Yield Management, o lo que es lo mismo, optimizar su gestión de precios en función de la demanda y la disponibilidad de artículos. Es fundamental la optimización del precio del producto/servicio para lograr maximizar los ingresos. Tener a disposición una plataforma con estas características se ha convertido en un elemento necesario e indispensable para la obtención de un control total de la gestión de grandes volúmenes de precios en Internet.

GEOMARKETING: localizaciones óptimas y segmentación inteligente de consumidores.

Una de las ventajas del análisis conjunto de los datos demográficos, económicos y geográficos es la posibilidad de realizar estudios de mercado para rentabilizar las estrategias de marketing llevadas a cabo por las empresas.

El análisis de este tipo de datos se puede llevar a cabo a través del Geomarketing. Tal como su propio nombre indica, Geomarketing es una confluencia entre geografía y marketing. Se trata de un sistema integrado de información –grandes datos de diversa índole-, métodos estadísticos y representaciones gráficas orientados a dar respuestas a cuestiones de marketing de forma rápida y sencilla.

photo-1476973422084-e0fa66ff9456

¿Cómo se puede aprovechar estos datos?

MODELOS DE VENTA

Un ejemplo pueden ser proyectos de distintos sectores cuyo objetivo sea crear modelos geoespaciales avanzados que permitan predecir cómo influyen determinados elementos (competencia, polos de atracción, demografía, horarios…) en la facturación de los comercios con vistas a detectar potenciales áreas de mejora.

El resultado de estos modelos se puede visualizar sobre un sistema de información geográfica, como como ser netgeomarketing de ITELLIGENT, de forma que permita a la empresa poder iterar con el modelo y ver los resultados de una forma muy visual.

FRANQUICIAS

Otro ejemplo podemos verlo en aquellos proyectos en los que el objetivo es la detección de ubicaciones óptimas para el establecimiento de una franquicia. En ITELLIGENT se ha desarrollado una metodología propia y algunas herramientas de soporte a la decisión sobre sistemas de información geográfica que permite a las empresas tomar decisiones informadas sobre la ubicación óptima de sus franquicias

¿Para qué sirve una plataforma de geomarketing?

  • Tomar decisiones de negocio en función de la localización de su mercado en un área geográfica
  • Planificar la estrategia de expansión, optimizar una red comercial, de punto de venta o red de distribución.
  • Determinar zonas de influencia y cobertura geográfica.
  • Evaluar perfiles de población (targets o clientes)
  • Descubrir dónde y cómo llegar a tus clientes para llevar a cabo acciones de marketing.
  • Averiguar puntos calientes de ventas (hot ubiety)
  • Detectar y evaluar dónde se encuentra la competencia así como calcular su cobertura y área de influencia.

La era digital ha provocado una explosión de datos en todas las formas y desde todas las regiones del mundo. Esta explosión de datos, conocido como Big Data, no siempre están bien estructurados y no son accesibles. Se podría tardar que una persona pudiera manualmente extraer la información relevante de estos grandes datos desestructurados. Sin embargo, existen técnicas de Inteligencia Artificial que permiten la estructuración de los datos y posibilita la extracción de información útil de los mismos. Por este motivo, las empresas se dan cuenta el increíble potencial del Big Data & Inteligencia Artificial.

QUÉ ES DEEP LEARNING

Deep learning (aprendizaje profundo) es una nueva técnica dentro del aprendizaje automático (machine learning) basado en arquitecturas de redes neuronales. Está relacionado con algoritmos inspirados en la estructura y función del cerebro, de ahí el nombre redes neuronales artificiales. Las redes neuronales artificiales se construyen como el cerebro humano, con nodos de neuronas conectados como una red.

Mientras que los modelos tradicionales crean análisis con estructuras lineales, los modelos de deep learning se caracterizan por su estructura jerárquica permitiendo procesar los datos con un enfoque no lineal.

¿Qué tiene de especial el deep learning? Un modelo basado en deep learning puede aprender a realizar tareas de clasificación directamente a partir de imágenes, texto o sonido, etc. Sin necesidad de intervención humana para la selección de características, esto se puede considera la principal característica y ventaja del deep learning, llamada “feature discovering” .Pueden, además, poseer una precisión que supera al ser humano.

EN QUÉ CONSISTE, CÓMO FUNCIONA

Los modelos se entrenan mediante un amplio conjunto de datos etiquetados y arquitecturas de redes neuronales que contienen muchas capas.

La primera capa de la red neuronal procesa una entrada de datos brutos como por ejemplo una imagen, y la pasa a la siguiente capa como salida, este proceso se va repitiendo sucesivamente hasta completar todas las capas de la red neuronal. Por ejemplo, una imagen que comienza como una matriz de píxeles. Las características aprendidas en la primera capa puede ser por ejemplo, la aparición o no de ejes en una parte concreta de la imagen. La segunda capa detecta uniones de ejes. La tercera capa aprende combinaciones que correspondería a partes de objetos. La principal característica de este método es que estas capas realizan el descubrimiento de características sin intervención humana, aprendiéndolo directamente de los datos brutos.

El término “deep” (profundo) suele hacer referencia al número de capas ocultas en la red neuronal que pueden ser hasta 150 capas (las redes neuronales tradicionales solo contienen dos o tres capas oculta).

ARQUITECTURAS DEEP LEARNING

Hemos comentado que la mayoría de métodos de machine learning emplean arquitecturas neuronales, por lo que las arquitecturas de deep learning emplean modelización de redes neuronales, tales como:

  • Deep Neural Network (DNN) o Redes neuronales profundas
  • Convolutional Neuronal Network (CNN) ó Redes neuronales profundas convolucionales
  • Deep Belief Network (DBN) o Redes de creencia profundas

corteza visual_deep learning

CONVOLUTIONAL NEURONAL NETWORK 

En este post nos centraremos en la arquitectura de deep learning, Convolutional Neural Network (CNN) que, traducido al español, se trata de Redes Neuronales Convolucionales. En este tipo de arquitectura se emplean modelizacion de redes neuronales artificiales donde las neuronas correspondes a campos receptivos -similar a las neuronas en la corteza visual V1 de un cerebro humano-. Este tipo de redes son muy efectivas para tareas de:

  • Detección y categorización de objetos
  • Clasificación y segmentación de imágenes

El objetivo de CNN es aprender características de orden superior utilizando la operación de convolución. Puesto que las redes neuronales convolucionales puede aprenden relaciones de entrada-salida (donde la entrada es una imagen), en la convolución, cada pixel de salida es una combinación lineal de los pixeles de entrada.

Pero, ¿qué significa “convolucion”? La convolución consiste en filtrar una imagen utilizando una máscara. Diferentes máscaras producen distintos resultados. Las máscaras representan las conexiones entre neuronas de capas anteriores. (INAOE).

Estas capas aprenden progresivamente las características de orden superior de la entrada sin procesar. Este proceso para aprender características automáticas es la característica principal del modelo de deep learning, llamado descubrimiento de características.

Las redes neuronales convolucionales se forman usando dos tipos de capas: convolucionales y pooling.(INAOE). La capa de convolución transforma los datos de entrada utilizando la operación matemática de convolución. La operación de convolución describe cómo fusionar dos conjuntos de información diferentes.

Después de la capa o capas de convolucion se usa una capa de pooling. La función de las capas de pooling es resumir las respuestas de las salidas cercanas. La principal característica de la capa de pooling son dos. Primero, la capa de pooling reduce progresivamente el tamaño espacial de los datos. Y segundo, la agrupación ayuda a obtener una representación invariable a una pequeña traslacion de la entrada.

Convolutional Neuronal Network

Las redes neuronales convolucionales fueron algunas de las primeras redes neuronales aplicadas para resolver aplicaciones comerciales importantes. Un ejemplo de ello fue en la década de 1990, AT & T desarrolló un modelo de CNN para la lectura de cheques. También más tarde se desarrollaron muchos sistemas OCR basados ​​en CNN. Actualmente, el interés por el deep learning se debe en gran parte a la victoria de Krizhevsky et al. en el desafío de imageNet.

El benchmarking es la evaluación comparativa de las estrategias empleadas por tu propia empresa y tu competencia. Puede ser continua o abarcar un periodo de tiempo escogido. Se puede empezar en cualquier momento, aunque es recomendable empezar incluso antes de establecer nuestra propia estrategia para poder evitar los errores, ahorrando así el tiempo, esfuerzo y dinero. Obviamente el proceso de benchmarking tiene que basarse en la información accesible de forma legal.

Diferentes tipos de benchmarking.

Se puede realizar un benchmarking interno, lo que sería aplicar técnicas para analizar la eficacia dentro de tu propia empresa. Esta técnica puede ser muy útil para empresas que tienen una infraestructura muy desarrollada, por ejemplo una empresa de transporte que dispone de muchos almacenes o una cadena de franquicias.

También se puede analizar cómo funcionan las empresas que tienen éxito en otros sectores (benchmarking funcional) para descubrir su estrategia e intentar adaptarla al nuestro. Sin embargo, para la gran mayoría de las empresas es más relevante realizar el benchmarking externo.

Benchmarking paso a paso

  1. Definir los objetivos. Para empezar, debes decidir qué quieres conseguir y qué tipo de benchmarking será necesario para tu empresa. Aquí vamos a suponer que te interesan tus competidores así que deberías optar por el benchmarking externo o competitivo.
  2. Eligir la competencia. Una vez que tengas claros los objetivos, va a ser mucho más fácil decidir a quién deberías analizar. ¿Sólo te interesa la competencia más cercana? ¿O quieres ampliar los horizontes y ver lo que se hace más allá de tu parcela? Si optas por observar las principales marcas de tu sector, con un buen benchmarking podrías descubrir las claves de su éxito.
  3. Establecer los benchmarks. Métricas a tener en cuenta:
    • Estrategia SEO: merece la pena fijarse en las estrategias utilizadas por la competencia, ya que es una información bastante fácil de conseguir y muy valiosa.
    • Share of voice en Redes Sociales: conocer el alcance y participación tanto de nuestra propia marca, como de la competencia puede ser muy útil
    • Notoriedad y reputación: la presencia de la marca en la mente de los consumidores también se puede medir, pero ¿que reputación tiene?
    • Engagement: generar engagement o compromiso con los públicos se ha vuelto imprescindible para la supervivencia de las marcas; deberías tenerlo en cuenta a la hora de hacer benchmarking
    • Fidelización: ¿tus clientes se escapan antes del tiempo, pero a tu competencia no le cuesta tanto mantener a los suyos fidelizados? Mira qué estrategias utilizan para lograr éxito, ¿un programa de socios? ¿tarjeta VIP? ¿aplicación de descuentos?

Métricas

  1. Recopilar y analizar los datos. Una vez establecidos todos los benchmarks que se estiman necesarios, se procede a su recopilación y posteriormente un análisis. ¿Cómo? Existe una serie de herramientas o servicios, tanto gratuitos, como de pago. Vamos a exponer algunos de ellos más adelante.
  2. Interpretar e utilizar la información obtenida. Este último paso es cuando los conocimientos teóricos se convierten en práctica. Todo lo que hemos hecho hasta ahora no sirve de nada, si no se saca las conclusiones apropiadas y aprovecha para mejorar nuestra estrategia.

Ventajas de realizar benchmarking:

  • Visión completa de la empresa
  • Mejor conocimiento de la competencia
  • Detección de las amenazas
  • Permite predecir posibles crisis
  • Se puede adaptar a las características específicas de cada organización
  • Es posible fijar mútliples objetivos
  • Métricas tanto cuantitativas como cualitativas
  • Elección de competidores en función de los objetivos
  • Ayuda estar al día
  • Descubre nuevas oportunidades

Herramientas:

  1. Obtener información sobre SEO:
  • MOZ
  • SEM Rush
  • Majestic SEO
  • SEO Guardian
  • SEOquake
  • SEO site checkup
  • Keyword Spy
  1. Monitorización de las noticias del sector:
  • Google Trends
  1. Monitorización RR.SS.:
  • NetOpinion
  • Social Mention
  • Monitor Wildlife
  • Followerwonk
  • Kloud
  • Kret
  • PerrIndex
  1. Monitorización de página web/blog:
  • Sistrix
  • Similar Web
  • Ahrefs
  • Quick Sprout
  1. User Experience:
  • Nibbler
  1. Todo en 1 o globales:
  • Woorank
  • Hub Sport´s Marketing Grader
  • Alexa
  • Compete

Algunas recomendaciones…

  • No se trata de copiar las estrategias de los demás, sino de aprender y mejorar. Aprender a analizar los datos obtenidos del benchmarking y sacar conclusiones. Mejorar o modificar tu propia estrategia en relación a la información obtenida y seguir avanzando. Lo esencial es no perder de vista tu propia identidad.

“Se diferente. Piensa diferente. Somos muchos millones de personas en este mundo, marca la diferencia”

Steve Jobs

  • El benchmarking es la clave para la diferenciación. Para poder encontrar nuestro sitio en el mercado es imprescindible primero descubrir qué lugares ocupan las demás marcas para poder encontrar el nuestro y posicionarnos, y este proceso es válido para cualquier marca.