Tag: mineria web
En muchas ocasiones, cuando hablamos de reputación online, aparece el concepto de “análisis de sentimiento” pero, ¿sabemos realmente qué significa? El análisis de sentimiento se refiere a los diferentes métodos de lingüística computacional que ayudan a identificar y extraer información subjetiva del contenido existente en el mundo digital (redes sociales, foros, webs, etc.). Gracias al análisis del sentimiento, podemos ser capaces de extraer un valor tangible y directo, como puede ser determinar si un texto extraído de la red Internet contiene connotaciones positivas o negativas.
El análisis de sentimientos, también conocido como minería de opinión, se trata de una tarea de clasificación masiva de documentos de manera automática, que se centra en catalogar los documentos en función de la connotación positiva o negativa del lenguaje ocupado en el mismo.
Con las redes sociales, los usuarios tienen hoy en día todo tipo de facilidades para mostrar sus opiniones sobre cualquier tema que deseen. Tener constancia sobre las opiniones referentes a una marca o producto y medir su impacto es actualmente de vital importancia para todas las empresas, ya que es tu imagen lo que está en juego.
A toda la información que se recopila de esta forma se le denomina minería de opinión (opinión mining) y gracias a ella, las empresas tienen una inmediata disponibilidad de la información deseada. Además, la minería de opinión no solo permite responder “qué opinan los internautas sobre su propia marca o producto” sino que facilita, mediante los medios adecuados, obtener ventajas competitivas en diferentes ámbitos.
Gracias al análisis de sentimiento o minería de opinión podemos recopilar información suficiente para conocer qué piensa o qué opinan los usuarios (o target) en la red Internet.
En las redes sociales y en la red en general se encuentran multitud de textos, en los cuales deben aplicarse subjetividad y no únicamente clasificarlos según su naturaleza o procedencia. Existen dos formas de enfrentarse al análisis de sentimientos: aplicando un enfoque semántica o aplicando un aprendizaje automático (Eugenio Martínez Cámara, Mª Teresa Martín Valdivia, L. Alfonso Ureña).
Cómo funciona el análisis de sentimiento
- Mediante el análisis del sentimiento, queremos lograr entender cuál es la intención exacta de una frase. Saber si se refiere a una marca, a un producto en concreto o a cualquier otro aspecto.
- Posteriormente queremos conocer que valoración tiene dicha frase, y para ello se le aplica la denominada polaridad, a través de la cual se clasifica el mensaje en función de la intención que tenga el autor al realizarlo, pudiendo ser este positivo, neutro o negativo. Esto permite controlar el sentimiento de los usuarios respecto a una marca o producto, con lo que obtendremos los puntos fuertes y débiles sobre ello fácilmente.
- Para aplicar esta polaridad y posteriormente poder obtener datos concluyentes y predecir comportamientos futuros.
- Existen básicamente dos formas de procesar la información obtenida tal como mencionábamos en el punto anterior:
- El análisis manual suele darse en casos en los que las palabras claves sobre las que se quiere obtener información pueden representar diferentes significados en diferentes ámbitos, por lo que habrá que estar atento e ir clasificando cada texto en su lugar correspondiente. Un buen ejemplo sería una marca o el nombre de una empresa que se llama igual que una ciudad, de este modo se recopilarían multitud de datos que no tienen nada que ver con lo que de verdad se pretende obtener.
- El análisis de sentimiento automático. Este comienza con el establecimiento de una serie de palabras clave para que cualquier texto que contenga esa palabra o combinación de ellas, quede automáticamente encuadrado en una categoría de una forma previamente definida o descartado directamente. Por ejemplo, mensajes que contengan “No me gusta”, “odio” o “no recomiendo” se clasificarán automáticamente cómo datos negativos. Mientras que, aquellos mensajes que incluyan un “excelente”, “genial” o “perfecto”, quedarán clasificados cómo positivos.
Qué limitaciones posee el análisis de sentimiento automatizado
Exactamente no hay ningún método de combinar correctamente las diferentes palabras a utilizar para que el anáisis de sentimiento sea 100% fiable.
Los sistemas que se limitan a la configuración y extracción de contenido con palabras clave son incapaces de generar resultados satisfactorios de análisis de sentimiento en su totalidad. Esto viene dado por la complejidad del idioma humano. Por ejemplo, ¿cómo le inculcas a un robot la capacidad de definir si una frase es realizada con sarcasmo o no?
Anteriormente hemos mencionado el término “perfecto” cómo un adjetivo positivo pero, dependiendo del contexto, este podría cambiar todo el significado de la frase. De esta manera, podría surgir un mensaje que dijera lo siguiente: “Perfecto mensaje a favor del machismo, os habéis lucido”. Este mensaje debería ir entonces clasificado como negativo.
Por este motivo, muchos algoritmos cometen errores, encontrándose con la imposibilidad de fijar una longitud exacta del comentario o la intención real que lleva una determinada palabra. Es decir, no son capaces de inferir de una valoración exacta de las diferentes relaciones semánticas, y se puede afirmar que actualmente es imposible conseguir un 100% de éxito en este campo.
Sin embargo, los sistemas de análisis del sentimiento más avanzados son capaces de luchar con estos posibles errores y ofrecer resultados más ajustados.
Cómo son las plataformas para análisis del sentimiento
Es aquí donde entra en juego el aprendizaje automático (machine learning). Este término hace referencia a la creación de sistemas a través de la Inteligencia Artificial, donde lo que realmente aprende es un algoritmo, el cual supervisa los datos con la intención anteriormente mencionada: poder predecir comportamientos futuros.
Esa cantidad ingente de datos son imposibles de analizar por una persona para sacar conclusiones y menos todavía para hacer predicciones. Los algoritmos, correctamente utilizados, en cambio, sí pueden detectar patrones de comportamiento.
Existen herramientas de monitorización de las redes sociales como NetOpinion que hacen de esta tarea sea sumamente fácil y rápida, por su capacidad de monitorizar en tiempo real y su gestión y procedimientos en la supervisión de los datos.
Normalmente, la estructura utilizada para la organización adecuada de los datos son los árboles binarios, a través de los cuales se pueden establecer los tres patrones de comportamiento ya comentados (positivo, neutro y negativo). Con esta estructura se van observando comportamientos, y cuando ya se han recopilado una cantidad de datos importante, el algoritmo ofrecerá un tanto por ciento de posibilidad de predecir un comportamiento u otro.
La cantidad de datos que se generan actualmente en las empresas está creciendo a un ritmo impresionante, y obtener información útil y valiosa de ellos supone una ventaja competitiva muy importante respecto a los competidores. Pero, ¿cómo es realmente el proceso?
Se realizan los siguientes pasos:
- Filtración de datos. En primer lugar se utilizan las palabras claves para descartar contenido no deseado, y posteriormente se establecen palabras para obtener categorías según su polaridad o su procedencia.
- Extracción del contenido. Una vez que pasen el filtro, se elimina el contenido no deseado y se comenzará a trabajar con el contenido de calidad.
- Análisis de contenido. Este proceso lo puede realizar el algoritmo o una persona física en sí. Aquí el contenido útil y de calidad quedará encuadrado en la categoría que le corresponda.
- Limpieza del contenido. Quizás se haya colado contenido erróneamente, y este es el momento de enviarlo a su categoría correcta o descartarlo directamente.
- Revisión. Se gestionaran en este apartado todos los posibles aspectos a mejorar. Tal vez encontremos una nueva palabra a incluir para descartar contenido, o nos demos cuenta que una palabra considerada positiva se utiliza a modo negativo en determinados momentos.
Para qué sirve el análisis de sentimiento
- Gracias a este proceso se consigue obtener datos de calidad,
- Se evita tener multitud de datos que carecen de valor para la toma de decisiones
- Hacer también, tomar decisiones en tiempo real, como por ejemplo: para apaciguar una crisis de reputación online.
- Gracias al análisis de sentimiento, se consigue desarrollar mejores estrategias empresariales.
- Facilita la gestión de la reputación online y ayuda a saber qué acciones llevar a cabo en el plan estratégico de marketing online.
La minería web tiene como objeto descubrir información útil o el conocimiento (KNOWLEDGE) procedente de la estructura de hipervínculo web, contenido de la página y datos de usuario. Aunque la minería web utiliza muchas técnicas de minería de datos, no es meramente una aplicación de técnicas de minería de datos tradicionales, debido a la heterogeneidad y la naturaleza semi-estructurada o no estructurada de los datos de la web.
Muchas de las nuevas tareas de minería y algoritmos actuales fueron inventados en la pasada década. Basados en los principales tipos de información utilizados en el proceso de minería. Las tareas de minería web se pueden clasificar en tres tipos: estructura web de minería o web structure mining, extracción de contenido web o web content mining y la minería de uso web o web usage mining.
Web Usage Mining o Minería de Uso Web
En este post, nos centramos en la minería de uso web o web usage mining, para dar respuesta a qué es y en qué consiste este proceso. En primer lugar, debemos tener en cuenta que la Web Usage Mining tiene como objeto de estudio al usuario que navega en una página, a diferencia de web content mining y web strutcture mining que están enfocadas al estudio de la estructura y contenido de la website en sí misma. Este tipo de minería -web usage mining- tiene como objetivo: captar, modelar y analizar los patrones de comportamiento y los perfiles de los usuarios que interactúan con una web site. Estos patrones aportan datos de gran interés ya que se pueden utilizar para tener una mejor comprensión del comportamiento de grupos de usuarios con necesidades o intereses comunes dentro de una Web.
De esta forma, gracias a esta información dada con este tipo de minería web, se pueden tomar decisiones en el entorno de la Web, tales como:
- Mejorar la organización y estructura del sitio web
- Crear experiencias personalizadas para los usuarios
- Facilitar la navegación al usuario
- Generar sugerencias dinámicas de productos o servicios (a través de un sistemas de recomendaciones)
Web Usage Mining se refiere a la detección y análisis automático de patrones en clickstreams, transacciones de usuario y otros datos asociados, recopilados o generados como resultado de las interacciones del usuario con los recursos web sobre uno o más sitios web.
Por tanto, el análisis de estos datos -información recopilada en torno a las conductas en la web de los usuarios-, puede ayudar al sector e-commerce (comercio electrónico) e inteligencia empresarial para:
- Determinar el valor de la lifetime del cliente
- Diseñar estrategias de cross-marketing para productos y servicios
- Valorar la eficacia de las campañas promocionales
- Optimizar la funcionalidad de las aplicaciones web-based
- Ofrecer contenido más personalizado a los visitantes web
- Y por último, encontrar la estructura lógica más eficaz para su espacio web
Fuentes y tipos de datos en web usage mining
Ya tenemos una breve idea de qué consiste la minería web usage pero, si nos adentramos en términos técnicos, ¿qué fuentes y tipos de datos podemos obtener de esta minería web?
La principal fuente de datos usados en la web usage mining son los ficheros de logs de los servidores, access log, application logs, etc. Otras fuentes de datos adicionales, también esenciales para la preparación de datos y descubrir patrones, son: los archivos del sitio y meta-datos, bases de datos plantilla de aplicaciones y dominios inteligentes.
Los datos obtenidos a través de diversas fuentes se pueden clasificar en cuatro grupos principales.
- USAGE DATA Es la principal fuente de datos de minería de uso web. Los datos recopilados de forma automática por la web y servidores representa el comportamiento de navegación de los visitantes. El nivel más básico de la extracción de los datos la visita de una página (pageview) ya que se obtiene la información básica del visitante (user client) como puede ser la lectura de un artículo, la vista de un página de un producto o agregar un producto al carrito de la compra. A nivel de usuario, el nivel más básico de extracción de comportamiento es la sesión (session). Una sesión es una secuencia de páginas vistas por un único usuario durante una única visita.
- CONTENT DATA Los datos de contenido en un sitio son la colección de objetos y las relaciones que se transmite al usuario. En su mayor parte, estos datos se componen de combinaciones de materiales de texto e imágenes.
- STRUCTURE DATA La estructura de los datos representa el diseño de cómo se aprecia (view) la organización del contenido dentro de la web. En esta estructura de los datos también incluye la estructura del contenido dentro de una página.
- USER DATA Las bases de datos para el sitio pueden incluir información adicional sobre el perfil de usuario. Estos datos pueden incluir información demográfica sobre los usuarios registrados , valoraciones de los usuarios sobre diversos objetos tales como productos o películas, compras anteriores o historias de estancia de los usuarios , así como otras representaciones explícitas o implícitas sobre los intereses del usuario.
Otras publicaciones en nuestro blog que pueden interesarte sobre Minería Web:
- Minería web: de contenidos, de estructuras y de usos: donde se define qué es la minería web y se describen sus tres variantes: web content mining o minería del contenido de la web, web structure mining o mineria de la estructura de la web, y web usage mining o minería de uso web (registro de navegación de la web)
- Aplicaciones prácticas de Minería Web: donde se incluyen algunos proyectos relacionados con la Minería Web en los que ITELLIGENT ha participado. Se tratan de ejemplo práctico en el sector automovilístico, Fotovolcaico y Termosolar, y Ayudas y Subvenciones.
Bibligrafía recomendada:
LIU, BING (2007): WEB DATA MINING Exploring Hyperlinks, contents and usage data. Berlín: Ed. Springer Science & Business Media.
En este post incluimos algunos ejemplos de proyectos relacionados con la minería web en los que ITelligent ha participado. Estos proyectos pueden dar una estupenda idea de cómo se puede emplear la minería web que explicábamos en un post anterior.
Inteligencia Comercial para el sector Fotovoltaico y Termosolar
Este proyecto consistió en la obtención de inteligencia comercial para el sector fotovoltaico y termo-solar, el resultado fue un sistema que permite a sus usuarios obtener una ventaja competitiva gracias a que el sistema les permite monitorizar todos los proyectos de energía solar que se publican en España y disponer para cada uno de ellos de una información lista para ser aprovechada comercialmente.
Para este proyecto se desarrolló un «pipeline» muy complejo que a continuación se describe:
- Diariamente se extraen unos 4000 documentos de unas 70 webs de diversas administraciones públicas españolas.
- Los 4000 documentos son clasificados automáticamente para detectar aquellos cuya temática sea sobre energía fotovoltaica y/o termo-solar (ej. solicitud de licencias de proyectos, declaraciones de impacto ambiental, concursos, …).
- Cada uno de los documentos detectados en el paso anterior, son sometidos a un sistema automático de extracción de información para obtener determinada información relevante (ej. nombre del promotor del proyecto, ubicación del proyecto, potencia del proyecto, …).
- La información obtenida en el paso anterior es enriquecida de forma automática con información adicional procedente de otras páginas web (ej. información catastral, geolocalización en mapa, etc.).
- Por último los datos son agregados en un mashup que permite el filtrado y el acceso a toda la información de una forma muy amigable.
Sistema de Minería de Opinión para el sector Automovilístico
En este proyecto el cliente requería la monitorización de diversas páginas web de automóviles con contenidos subjetivos (comentarios) y la extracción de inteligencia de estos comentarios. El resultado es un sistema que permite determinar de cada automóvil del que se habla, de que elemento del mismo se habla (ej. seguridad, conducción, habitáculo) y si se habla positivamente o negativamente.
Inicialmente el cliente indicó las características que quería estudiar de los automóviles (ej. precio, habitáculo, servicio, seguridad, …) y las páginas web que deseaba monitorizar. Una vez definido lo anterior se desarrolló, en colaboración con los profesores de la Universidad de Sevilla doctores José Antonio Troyano y Fermín Cruz, el sistema que a continuación se describe:
- Diariamente se extraen los datos de las distintas webs (comentarios y otros).
- Los datos son procesados por un sistema de minería de opinión de última generación, que permite detectar de qué característica del coche se habla en un comentario y si se habla positivamente o negativamente.
- El resultado del paso anterior es formateado según las especificaciones del cliente y enviado al mismo.
Inteligencia Competitiva para Ayudas y Subvenciones
En este proyecto el cliente necesitaba obtener todas las ayudas que diariamente se publican en España (sobre 30.000 ayudas al año), clasificarlas y obtener una ficha de cada una de las convocatorias, automatizando lo más posible con vistas a minimizar el esfuerzo manual. El cliente permite ofrecer a sus usuarios una información muy completa de todas las ayudas y subvenciones casi en tiempo real.
Inicialmente el cliente definió como deberían ser clasificadas cada una de las ayudas localizadas, esta clasificación jerárquica permite posteriormente filtrar y crear alertas. Además para cada una de las convocatorias de ayudas se crea una plantilla con diversos campos (ej. plazo, objeto de la convocatoria, …), que permite disponer de una información homogenizada.
Para este proyecto se desarrolló un «pipeline» muy complejo que a continuación se describe:
- Diariamente se extraen un número muy elevado de documentos de unas 80 webs de diversas administraciones públicas españolas.
- Los documentos son clasificados automáticamente en función de las categorías definidas por el cliente (ej. I+D+i, urbanismo, juventud, …).
- Cada uno de los documentos detectados como convocatorias son procesados para extraer determinada información con vistas a crear una ficha de cada convocatoria (ej. plazo de la convocatoria, objeto de la convocatoria,…).
- La información es diariamente puesta a disposición del cliente junto a unas herramientas que permiten supervisar los resultados. Al mismo tiempo esta supervisión es utilizada como feedback para la mejora de los modelos de extracción y clasificación.
Aviso Legal | Política de Cookies | Política de Privacidad