Category: Gestión inteligente de documentos
En ocasiones, algunos de nuestros clientes tienen dificultad para encontrar un documento o contenido guardado desde hace mucho y emplean bastante tiempo en la búsqueda hasta que dan con él. Este es el caso, por ejemplo, cuando quieren encontrar una factura escaneada, guardada en PDF, y no recuerdan el nombre del archivo entre miles de facturas escaneadas. Otro caso, podría ser encontrar la imagen de un vehículo siniestrado y no recordar el número de expediente entre millones de clientes. O un tercer ejemplo, podría ser encontrar la declaración de un testigo en un juicio dentro de una grabación y no se conoce cuál es entre todos los vídeos de la base de datos.
Estos clientes, se sorprenden de que hoy en día se puedan indexar formatos de archivos muy diversos. Incluso que se puedan realizar búsquedas sofisticadas que nos permitan, por ejemplo, encontrar un vídeo por lo que se dice en él, encontrar una imagen por su contenido gráfico o encontrar un PDF escaneado (imagen) por el texto que contiene. Todo esto es posible gracias a una tecnología basada en Inteligencia Artificial que se denomina: Intelligent Document Processing (IDP) o Procesamiento Inteligente de Documentos.
¿Qué significan las siglas IDP?
El Procesamiento Inteligente de Documentos o como más nos gusta llamarlo a nosotros, Procesamiento Inteligente de Contenidos -entiéndase por “contenido” tanto documentos escritos en diversos formatos, imágenes, audios, videos, como planos de edificaciones, etc.-, permite nuevas formas de poner en valor distintos tipos de formatos de documentos gracias, principalmente, a las nuevas posibilidades que la Inteligencia Artificial (IA) y el Procesamiento del Lenguaje Natural (PLN) ofrecen.
Los beneficios del uso de un IDP suelen ser múltiples pero los dos principales podemos decir que son los siguientes. Primero, el ahorro económico que supone gracias a que los sistemas IDP permiten automatizar diferentes procesamientos. Y segundo, nos permite obtener nuevas funcionalidades ya que gracias a la IA y el PLN se puede desarrollar nuevos casos de uso que, hasta ahora, no eran posibles.
A continuación, os exponemos algunos ejemplos que manan de los beneficios que ofrece el uso de sistemas IDP:
- Clasificar de forma automática la información subida a nuestra web. Un ejemplo podría ser que la web de una aseguradora de vehículos que recibe del usuario una documentación (contrato, DNI, imágenes del vehículo, permiso circulación , etc.) que necesiten clasificar de forma automática esta documentación y guardarla.
- Extraer información de documentos recibidos en PDF. Imaginemos que en un bufete poseen documentos en PDF escaneados y necesitan encontrar cada uno de los documentos en el que aparece el nombre de su cliente.
- Buscar imágenes por similitud. Por ejemplo, un diseñador gráfico necesita encontrar en la base de datos de la agencia, archivos de imágenes similares a una gráfica que debe diseñar.
- Realizar búsquedas sobre el contenido del audio en vídeos. Volviendo al bufete de abogados, imaginemos que éste posee grabaciones de los juicios que llevan y necesitan encontrar en qué vídeo se nombra a su cliente y que hablen de un tema relevante para ellos.
- Procesar grabaciones. Imaginemos que somos un call center y necesitamos encontrar las opiniones que han expresado sus clientes que sean de interés para mejorar sus servicios.
- Y muchos ejemplos más.
Existe una gran variedad de funcionalidades y beneficios tener un sistema de IDP. Pero, ¿sabes qué elementos clave debe poseer un sistema de Procesamiento Inteligente de Documentos? A continuación, te enumeramos 10 elementos clave a tener en cuenta a la hora de contar con una plataforma de estas características.
10 elementos clave que debes tener en cuenta al contratar un sistema IDP
Un sistema IDP debe:
- Dar soporte a flujos de movimiento de contenidos entre los distintos repositorios de datos internos o externos de la empresa. Supongamos que necesitamos mover unos documentos desde una determinada carpeta a un repositorio en Sharepoint, para ello, se puede definir de forma simple un flujo de movimiento de archivos. Siempre vamos a necesitar mover contenidos entre repositorios y debería hacerse de forma flexible y fácil.
- Permitir la configuración de reglas de procesamientos que se puedan encadenar y formar flujos de procesamientos. En el supuesto anterior, además de los flujos de movimiento, necesitamos también un procesamiento como puede ser la extracción de datos (tags) sobre las imágenes que tenemos en el repositorio. Esta configuración puede llevarla a cabo un IDP a través de reglas de procesamientos.
- Permitir, también, la configuración de reglas y flujos de notificación por varios canales. El IDP debe facilitar notificaciones cuando exista un procedimiento de interés: supongamos, con el ejemplo anterior, que cada vez que el sistema detecte que en una imagen aparece una persona (procesamiento), nos avise con una notificación vía mail.
- Hacer posible el uso del/de los sistema/s de gestión documental de la empresa (ej. SharePoint, ThinkProject, etc). Un IDP es complementario al sistema de gestión documental. Por este motivo, es importante que pueda integrarse con cualquier sistema de gestión documental. Así, como en el ejemplo anterior, se podría hacer que el resultado de los flujos acaben volcándose en un repositorio de Sharepoint.
- Hacer factible la definición de los niveles de acceso o roles, tanto a los espacios documentales como a las funcionalidades. El sistema IDP debe tener un sistema de gestión de usuario lo suficientemente flexible para que se puedan definir roles de usuarios y sus niveles de accesos. Por ejemplo, crear un perfil que solo pueda subir documentos u otro perfil con rol de editor de reglas.
- Facilitar la incorporación de nuevos modelos de Inteligencia Artificial incluyendo el acceso a servicios de otras inteligencias de terceros. La Inteligencia Artificial y el Procesamiento del Lenguaje Natural evolucionan a un ritmo frenético. Para no quedarnos atrás, un IDP debe permitir incorporar nuevos modelos o acceder a los últimos servicios cognitivos disponibles.
- Hacer posible la incorporación de nuevos accesos a repositorios de datos ya sea, a través de apis, ETL u otros sistemas. Lo que es válido hoy, no tiene por qué serlo mañana. Siempre vamos a necesitar incorporar nuevas fuentes de datos (tanto externas como internas) y el sistema IDP debe permitir hacerlo. Así, por ejemplo, puede que descubramos una nueva api de open data relevante para nuestros organización y el IDP debe permitir la incorporación de estos nuevos datos.
- Incluir dashboards para que el administrador pueda evaluar mediante KPIs (métricas) el uso de la plataforma. Es importante para los administradores de la plataforma tengan acceso a métricas sobre uso de la plataforma. La forma ideal para ello es a través de un dashboard.
- Disponer de un área de administración para poder configurar adecuadamente la plataforma por los administradores de la misma. Como ya se ha mencionado antes, el sistema IDP es dinámico (nuevos flujos, procesamientos, notificaciones, roles, etc.) y debería tener un área de administración para que esta gestión sea fácil de llevar a cabo.
- Permitir desarrollos sobre la misma. Por muy flexible que sea una plataforma, siempre va a existir la necesidad de desarrollos ad-hoc. Por ultimo, uno de los elementos más relevantes es que, por muy potente que sea la plataforma IDP, siempre nos encontraremos con casos de uso que no serán soportados de forma directa por la misma. En esto casos, debemos de chequear si es posible contratar desarrollos a medida en el sistema IDP para cubrir estos casos de uso y que, el precio de los mismo, no sea desorbitado. Cuanto más flexible sea el proveedor, mejor. Esto permitirá adaptar cualquier aspecto de la plataforma IDP: nuevas pantallas, nuevos procesamientos, nuevos flujos, etc.
Intelligent Document Processing (IDP) o Procesamiento Inteligente de Documentos -en español- se trata de una tecnología basada en Inteligencia Artificial (IA) y Procesamiento del Lenguaje Natural (PLN) para transformar la información no estructurada de documentos de diversos formatos en datos que sean útiles para la gestión de documentos/datos de una empresa.
Actualmente, las empresas poseen miles de datos en formatos poco estructurados (ej. PDFs, imágenes, videos, …), extraer y organizar la información de estos contenidos complejos en información accionable resulta una tarea ardua sino se posee un sistema IDP. Es por ello, que el Procesamiento Inteligente de Documentos puede capturar, extraer y procesar datos de documentos de diversos formatos de forma automática gracias al Machine Learning. Asimismo, gracias a modelos de Deep Learning, un sistema IDP puede extraer información de formatos como imágenes y vídeos.
¿Qué se puede hacer con un sistema de Intelligent Document Processing?
- Clasificación automática de documentos y contenidos, tanto documentos en PDF, Word, Excel, etc. como formatos de imágenes y vídeos.
- Gracias al Machine Learning, la mayoría de los procesamientos son automatizados, de forma que el usuario tan solo sube un documento a la plataforma basada en IDP y ésta hace el resto.
- Extracción de información, análisis semántico, identificación de elementos e imágenes en cada documento, entre otros.
- Indexación de audios de vídeos y/o podcasts
- Obtención de texto procedentes de documentos escaneados (OCR)
- Extracción de textos y metadatos de documentos en distintos formatos
- Indexación avanzada de textos e imágenes
- Obtención de tags de imágenes
¿Qué ventajas obtienes con IDP?
- Ahorrar en el procesamiento de los documentos. El retorno de la inversión se obtiene por el ahorro de la mano de obra y la mejora en la calidad de los resultados. Por ejemplo, empresas del sector de la construcción u otros sectores que generan grandes volúmenes de documentos y requieren gestionarlos, como por ejemplo, clasificarlos, un sistema de IDP lo gestiona de forma automática.
- Permite generar nueva inteligencia. En este caso, el retorno de la inversión no está tanto en el ahorro -que también- si no en la puesta en valor de contenidos y documentos que debidamente tratados pueden generar nueva inteligencia que aporte valor a la propia actividad de la empresa. Por ejemplo, en un bufete de abogados que desea nuevos usos del conocimiento generado por la empresa y busca reducir el esfuerzo de compartir este conocimiento.
- Analítica avanzada para rentabilizar el esfuerzo empresarial. Gracias a la analítica avanzada de netContent podrás optimizar y sacar partido a la gestión documental de tu empresa.
- Desarrollo a medida y vuelco de datos en el sistema del cliente. netcontent es adaptable a las necesidades de cada cliente, desde ITELLIGENT desarrollamos aquello que nuestros clientes necesite. La plataforma también permite el vuelco de los datos y/oportunidades destacadas en el sistema de gestión documental del cliente.
En ITELLIGENT, hemos desarrollado netContent, una plataforma basada en IDP e Inteligencia Artificial (IA) que permite automatizar tareas relacionadas con gestión y clasificación de documentos, contenidos multimedia y archivos con otros formatos poco estructurados. Gracias a técnicas de IA y Procesamiento de Lenguaje Natural, esta plataforma IDP permite extraer e indexar datos además de descubrir conocimiento y detectar oportunidades.
¿Qué más ofrece la plataforma IDP netContent?
- Early Warning System, para la detección temprana de oportunidades a partir de bots de búsqueda de oportunidades potenciales y su evaluación utilizando técnicas de Inteligencia Artificial
- Puedes buscar «aquello que se dice» en un vídeo u objetos que aparecen en las imágenes del vídeo. Nuestra plataforma IDP netContent es capaz de localizar este tipo de contenidos a través de técnicas de Procesamiento del Lenguaje Natural (PLN) y modelos de Deep Learning.
- netContent puede reconocer objetos en imágenes y generar tags. Esto permite buscar y crear alertas sobre los objetos reconocidos en las imágenes así como realizar búsquedas por similitud de imágenes.
- En relación con lo anterior, netcontent puede detectar documentos duplicados.
- Además, permite la creación de alertas para que estés informado de lo que sea más relevante para ti y tu trabajo gracias a su sistema de alertas inteligentes.
Gracias al Machine Learning es posible realizar tareas de clasificación sobre un conjunto de datos. En el caso de la clasificación automática de documentos se utilizan técnicas de Inteligencia Artificial sobre un conjunto de elementos para ordenarlos por clases o categorías. Sin embargo, también se pueden utilizar estas técnicas para asignar un documento a una determinada clase o categoría.
Para llevar a cabo la clasificación automática de documentos primero hay que realizar una extracción de features (características) destinadas a ser informativos y no redundantes. Esto facilitará los pasos posteriores de machine learning en la clasificación automática de documentos. La extracción de características (features) se trata de un proceso de reducción y codificación, donde un conjunto inicial de variables sin procesar (ej. texto en un documento) se reduce a características más manejables para su procesamiento (ej. números) y que se describa con precisión el conjunto de datos original.
Existen diversas técnicas de extracción de features.
Técnica clásicas:
- Term frequency – Inverse document frequency (TF IDF). Se trata una técnica muy utilizada en Machine Learning. para otorgar la relevancia de una palabra en un documento de una colección a través de una medida numérica. Esta medida numérica se utiliza para calificar la relevancia de una palabra dentro de un documento a partir de la frecuencia que aparece en el mismo. La idea en la que se basa esta técnica es que si una palabra aparece frecuentemente en el documento, debe ser importante y se le debe dar una puntuación alta. Sin embargo, si una palabra aparece frecuentemente en otros documentos, probablemente no sea un identificador único, y por tanto, se le debe asignar una puntuación más baja. Aquí, puedes consultar la fórmula matemática.
Nuevas técnicas basadas en Deep Learning:
- Doc2vec. El objetivo principal de Doc2Vec es asociar documentos arbitrarios con etiquetas. Doc2vec es una extensión de word2vec que aprende a correlacionar etiquetas y palabras, en lugar de palabras con otras palabras. El primer paso es crear un vector que represente el «significado» de un documento para que luego se pueda utilizar como entrada a un algoritmo de aprendizaje automático supervisado y así asociar documentos con etiquetas.
Tras la extracción de features y en base a la información previa que se posea de los documentos a clasificar o categorizar, se podrán realizar diversas técnicas para la clasificación automática de documentos:
- Clasificación supervisada. Cuando tenemos conocimiento del conjunto de documentos previamente clasificados de forma manual, ésto nos servirán para entrenar al sistema inteligente en la clasificación automática.
- Clasificación no supervisada o clustering de documentos. Cuando no tenemos información a priori del conjunto de documentos ni de las categorías en las que deben estar clasificados.
Cuáles son las técnicas de clasificación automática de documentos más usadas
Según el tipo de clasificación, existen:
- Técnicas de aprendizaje supervisado para clasificaciones supervisadas. Estas técnicas intentan reducir una función que partiendo de la colección de documentos (clasificación manual), tomando un documento de entrada sea capaz de predecir la clase o categoría a la que corresponde ese documento. En otras palabras, estas técnicas de clasificación supervisadas parten de un conjunto de documentos ya clasificados de forma manual (conjunto de entrenamiento) y se intenta asignar una clasificación a un segundo conjunto de documentos. Dependiendo del tipo de colección de documento o tipo de documentos a clasificar, se utilizarán unas técnicas u otras, desde algoritmos de clasificación bayesianos, arboles de decisiones, redes neuronales, …
- Algoritmos de clustering para clasificaciones no supervisadas. Cuando no se disponen de un conjunto de documentos previamente clasificados, se opta por, a partir de las propiedades de los documentos, agruparlos (clustering) según sus semejanzas entre sí.
¿Qué herramienta puedes utilizar para clasificar tus archivos de forma automática?
En ITELLIGENT, hemos desarrollado una plataforma basada en Inteligencia Artificial (IA) que permite automatizar tareas relacionadas con gestión y clasificación de documentos, contenidos multimedia y archivos con otros formatos poco estructurados. Gracias a técnicas de IA y Procesamiento de Lenguaje Natural, esta plataforma permite extraer e indexar datos además de descubrir conocimiento y detectar oportunidades.
Se trata de la plataforma netContent y dispone de un acceso para que el cliente pueda realizar diversas gestiones tales como gestionar las reglas a aplicar, habilitar accesosa otros usaurios, supervisar documentos o tener acceso a dashboards con métricas del sistema, según las necesidades de cada empresa.
Además, permite volcar el resultado de la gestión documental en los sistemas de gestión que utilices, ya sa Sharepoint, Thinkproject, etc. En resumen, gracias a esta plataforma se puede hacer lo siguiente:
- Clasificación automática de documentos
- Indexación de audios de vídeos y/o podcasts
- Obtención de texto procedentes de documentos escaneados (OCR)
- Obtención de tags de imágenes
- Extracción de textos y metadatos de documentos en distintos formatos
- Indexación avanzada de textos e imágenes
- Descubridor de conocimiento
- Detección de oportunidades
netContent se adapta a las necesidades de cada cliente y posee otras funcionales tales como:
- Early Warning System, para la detección temprana de oportunidades a partir de bots de búsqueda de oportunidades potenciales y su evaluación utilizando técnicas de Inteligencia Artificial
- La gestión documental de estas oportunidades detectadas y su vuelco en el sistema de gestión documental del cliente, si hubiere
- Asimismo, esta gestión documental servirá para re-alimentar los modelos de Inteligencia Artificial del Early Warning System
Aviso Legal | Política de Cookies | Política de Privacidad