Tag: Deep Reinforcement Learning

RLD 2021

Reinforcement Learning (RL) es es el estudio de la toma de decisiones con consecuencias a lo largo del tiempo. Este área del conocimiento reúne esfuerzos multidisciplinarios de la informática, la ciencia cognitiva, las matemáticas, la economía, la teoría del control y la neurociencia. El objetivo es responder a la pregunta de: cómo aprenden los sistemas naturales y artificiales tomar decisiones en entornos complejos basados ​​en la retroalimentación externa y posiblemente retardada.

En relación a éste área, Microsoft lanza el Research’s Reinforcement Learning Day 2021 el próximo 14 de enero en streaming. Se trata de un día en el que destacados ponentes establecerán workshops con cuyas investigaciones cubren una amplia franja de Reinforcement Learning: desde la estadística a la neurociencia, desde la informática al control. El  objetivo de estas sesiones es reunir a las comunidades de investigación de todas estas disciplinas para aprender unas de otras y aprovechar los conocimientos más recientes.

Por este motivo, ITELIGENT asiste a este workshop en streaming, para optimizar proyectos en los que trabaja y aportar nuevos conocimientos de la mano de grandes investigadores de esta disciplina. Un ejemplo de este tipo de proyectos desarrollados por ITELLIGENT es OPRA: Optimización Rápida basada en Deep Reinforcement Learning con aplicación a la Industria 4.0 y Smart Cities. Concretamente, el objetivo de OPRA es desarrollar nuevos Algoritmos de Optimización basados en Deep Reinforcement Learning (DRL), para dos problemas específicos: Vehicle Routing Problem y Scheduling.

OPRA blog itelligent

OPRA se trata de un proyecto desarrollado por ITELLIGENT Information Technologies SL y financiado por la Secretaría de Estado para el Avance DigitalMinisterio de Economía y Empresa como parte de las ayudas al desarrollo de Tecnologías Habilitadoras Digitales 2019 Para más información, viste la web del proyecto en opra.itelligent.es.

 

OPRA blog itelligent

El pasado mes de octubre de 2019, el Ministerio de Economía y Empresa publicaba el listado de proyectos beneficiarios de las ayudas a Tecnologías Habilitadoras Digitales 2019 entre los que se encontraba el Proyecto OPRA de ITELLIGENT en un segundo puesto entre los 46 proyectos seleccionados.

Las Tecnologías Habilitadoras Digitales son aquellas tecnologías claves para la transformación y el desarrollo de la economía digital. Entre ellas se encuentran: Inteligencia Artificial, el procesamiento del lenguaje natural, las tecnologías para el tratamiento de datos masivos y bases de datos distribuidas (blockchain), el Internet de las Cosas, las futuras redes de comunicación 5G, la supercomputación (HPC), la computación difusa y en la nube, la robótica, la realidad virtual, la ciberseguridad, la biometría y la identidad digital, la micro/nano electrónica.

Concretamente, OPRA se trata de un proyecto pionero en el que se desarrolla un sistema de OPtimización RÁpida basada en Deep Reinforcement Learning, con aplicación a la Industria 4.0 y Smart Cities. La ayuda concedida por la Secretaría de Estado para el Avance Digital para desarrollar el proyecto OPRA asciende a más de 153 mil euros; pero, ¿en qué consiste exactamente?

OPtimización RÁpida basada en Deep Reinforcement Learning, con aplicación a la Industria 4.0 y Smart Cities

En la actualidad, aunque el avance del IOT está permitiendo disponer de cada vez más datos y la inteligencia artificial permita extraer cierto valor de dichos datos, sigue existiendo una importante laguna en la toma de decisiones automática y esto se debe a que los algoritmos de optimización, que son los auténticos motores de los sistemas de decisión, son lentos y complejos de realizar. Por tanto, para conseguir las mejoras en la sociedad que las tecnologías ligadas a la Industria 4.0 y a las Smart Cities prometen, es necesario un importante avance en los actuales sistemas de toma de decisiones y en los algoritmos que los impulsan.

Gran parte de las decisiones a afrontar por la Industria 4.0 y las Smart Cities están ligadas a “problemas de planificación” (ej. planificación tráfico, planificación operaciones en talleres, planificación de transporte, planificación personal en hospitales, planificación de puertos, planificación de entregas de paquetería, …). Los algoritmos de optimización para resolver problemas de planificación, en el actual estado del arte, están en gran medida basados en algoritmos de búsqueda local, que requieren ir probando distintas soluciones hasta conseguir la óptima (o una cercana a la óptima), esto los hace lentos y difíciles de implementar ya que hay que construirlos ad-hoc para cada problema.

Recientemente el mundo de la Inteligencia Artificial se ha visto sacudido por un importante avance en la resolución de problemas de decisión. Este avance ha venido de la mano del Deep Reinforcement Learning (DRL), tecnología que está detrás de la victoria de Google AlphaGo en el juego del Go y otros avances muy relevantes en problemas que requieren tomas de decisiones automáticas. Frente a los algoritmos tradicionales el Deep Reinforcement Learning (DRL) introduce un nuevo paradigma, basado en que es posible aprender a decidir y este aprendizaje, que se puede realizar off-line y mediante simulación, permite ser aplicado con éxito a problemas reales, consiguiéndose con ello reducir el tiempo necesario para la resolución del problema y simplificando extraordinariamente la generación de nuevos algoritmos para problemas de decisión.

El objetivo de este proyecto es desarrollar nuevos Algoritmos de Optimización basados en Deep Reinforcement Learning (DRL), para dos problemas específicos: Vehicle Routing Problem y Scheduling. En este campo todavía no hay experiencias relevantes (TRL 3), por lo que el objetivo es testear estos algoritmos con datos relevantes e incorporarlos en un prototipo que permita a un usuario interactuar de forma controlada con los resultados (TRL 6) y en el futuro, una vez finalizado el proyecto, el objetivo es comercializarlos en modo SaaS a nivel global.

Actualmente, ingenieros de I+D+i de ITELLIGENT están trabajando en el desarrollo del proyecto OPRA, con lo que esperamos que en un próximo post, os contemos cómo ha evolucionado y qué resultados se han obtenido. Mientras tanto, puedes seguir al proyecto OPRA en Twitter y en LinkedIn.