Category: Big Data e Inteligencia Artificial
El pasado mes de agosto, el instituto IEEE (Institute of Electrical and Electronics Engineers) publicaba en Spectrum, el ranking anual sobre el Top Programming Languages 2021, donde se destacaba Python como el lenguaje de programación más popular en 2021. Según este estudio, Python se convierte en la plataforma «de facto» para las nuevas tecnología IT y la principal conclusión que se puede sacar de su constante predominio es que hay que aprender Python:
Learning the language well enough to use one of the vast number of libraries written for it is probably worth your time.
Aprender este lenguaje lo bastante bien como para poder usar una de las muchas bibliotecas escritas para él probablemente valga la pena
Python es una opción interesante para realizar todo tipo de programas que se ejecuten en cualquier máquina. Con este lenguaje podemos desarrollar software para app científicas, para comunicaciones de red, para app de escritorio con interfaz gráfica de usuario (GUI), para crear videojuegos, para smartphones, para Inteligencia Artificial, para automatización de tareas y por supuesto, para programación web. Su predominio que tiene mucho que ver con su versatilidad: lenguaje multiparadigma, al poder ser enfocado a varios estilos; y de código abierto, lo que permite que cualquiera pueda acceder a él. Actualmente, Python es el lenguaje de programación de referencia para grandes tecnológico como Google, Facebook o Netflix lo utilizan.
Por otro lado, cabe decir que muchas tareas siguen demandando soluciones especializadas como R, SQL y Matlab. Así como, otros lenguajes generalistas también siguen siendo de peso en proyectos IT como son los que aparecen, junto a Python, en el top 5 del ranking: Java, C, C++ y JavaScript.
FUENTE: https://spectrum.ieee.org/
Acerca del ranking…
La publicación Spectrum sobre «Top Programming Languages 2021» tiene el objetivo de clasificar docenas de lenguajes de programación en base a su popularidad. Se trata de un ranking interactivo: se puede filtrar excluyendo sectores que no sean relevantes para quien lo quiera visualizar (ej. filtar como «Web» o «Integrado»). Las clasificaciones se crean ponderando y combinando 11 métricas de ocho fuentes: CareerBuilder, GitHub, Google, Hacker News, IEEE, Reddit, Stack Overflow y Twitter. El ranking, por defecto, posee unos filtros asociados preestablecidos por IEEE, pero si el usuario desea realizar su propio ranking, la publicación Spectrum ofrece la posibilidad de customizar los criterios de clasificación a través del botón «Create Custom Ranking», como se muestra en la siguiente imagen:
FUENTE: https://spectrum.ieee.org/
Este ránking de IEEE puede resultar un tanto polémico ya que se incluyen algunos «lenguajes» a los que no todos considerarían lenguajes de programación como tal, ejemplos de esto son: el puesto 9, HTML; y el puesto 11, Arduino. Según afirma su autor, Stephen Cass, «adoptamos un enfoque pragmático para definir qué es un lenguaje de programación; HTML no puede ser de propósito general, pero creemos que sería una locura excluirlo sobre esa base. De la misma forma que se podría argumentar que el código Arduino simplemente está escrito en un subconjunto de C ++, pero eso no es lo que la gente busca cuando intentan que sus LEDs parpadeen«.
En los últimos años, Google ha apostado por múltiples iniciativas basadas en open data, desde Google Dataset Search para la localización de datos abiertos publicados en repositorios de las administraciones públicas hasta sus propios sistemas de open data con conjuntos de datos estandarizados y legibles por máquinas para ser utilizados por sistemas de Machine Learning. Todas estas iniciativa desarrolladas por Google se enmarcan dentro de un portfolio de proyectos de investigación e innovación llamado Google Research, donde no solo ha apostado por la publicación de datasets, si no que el propio Google actúa también como reutilizador de datos públicos. A continuación, os exponemos algunos ejemplos de las soluciones de Google basadas en open data.
GOOGLE DATA SEARCH: Buscador de Datos
Como antes mencionábamos, Google ha puesto a disposición de los usuarios decenas de conjuntos de datos estandarizados y legibles por máquinas para ser utilizados por sistemas de Machine Learning. Sin embargo, la apertura de datos no es suficiente si éstos no son fáciles de encontrar. Por este motivo, Google ofrece Google Dataset Search, un motor de búsqueda especializado en encontrar conjuntos de datos abiertos almacenados en cientos de repositorios asociados a instituciones públicas de todo el mundo, haciendo que sean accesibles y útiles de forma universal. El servicio está dirigido a periodistas, investigadores, estudiantes o cualquier ciudadano interesado en encontrar ciertos datos. Asimismo, Google Dataset Search complementa a Google Scholar, buscador de investigaciones, estudios e informes académicos.
Existe, además, un servicio adicional de datos abiertos enfocado al periodismo de datos: Journalist Studio. Una plataforma compuesta de 13 herramientas enfocadas al análisis de datos para facilitar la labor de investigación a periodistas de datos. En un post anterior ahondamos en este servicio, puedes consultarlo aquí.
GOOGLE EARTH: Sistema de Información Geográfica (SIG)
Google Earth es un Sistema de Información Geográfica (SIG) que muestra el globo terráqueo de forma virtual con imágenes por satélite y en relieve en 3D. Este SIG fue creado bajo el nombre de EarthViewer 3D por la compañía Keyhole, financiada por la CIA (EE.UU) y comprada en 2004 por Google -de ahí su actual nombre- absorbiendo la aplicación. Google Earth está compuesto por una superposición de imágenes obtenidas por fotografías aéreas, imágenes de satélites, información geográfica procedentes de modelos de datos SIG de todo el mundo y modelos creados por ordenador.
Google Earth soporta datos geoespaciales tridimensionales mediante los archivos Keyhole Markup Language (.kml). Este formato de archivo sirve para mostrar datos geográficos en un navegador terrestre, como Google Maps y Google Earth. Asimismo, los archivos .kml se pueden crear para identificar ubicaciones, agregar superposiciones de imágenes y exponer datos enriquecidos de nuevas formas. KML se trata de un estándar internacional mantenido por OGC.
Actualmente, en la nueva actualización en 2021, Google Earth ofrece la posibilidad de ver la Tierra en una dimensión totalmente nueva bajo la función Timelapse. A partir de 24 millones de fotos satélites tomadas en los últimos 37 años, Google ofrece ver cómo ha pasado el tiempo por lugares de todo el mundo y presenciar casi cuatro décadas de cambios planetarios.
GOOGLE TRANSLATE: Sistema de Traducción Automática (NMT)
En 2016, Google anunciaba la actualización de Google Translate con el sistema de Traducción Automática Neural (NMT por sus siglas en inglés, neural machine translation), basada en el algoritmo Phrase-Based Machine Translation. Desde entonces y con los avances en Inteligencia Artificial, Google ha mejorado sus capacidades en reconocimiento de voz y reconocimiento de imágenes. Sin embargo, mejorar la traducción automática sigue siendo un objetivo desafiante ya que el sistema no se iguala al nivel de calidad que se obtiene con una traducción realizada por un ser humano experto en el campo de la traducción, sobre todo, en el caso de los idiomas más minoritarios, por lo que siguen realizando ajustes y avances.
Google no hace públicos los datos exactos que utiliza para el entrenamiento del sistema. Sin embargo, en su informe «Sistema de traducción automática neuronal de Google: superando la brecha entre la traducción humana y la automática» sí destacan que han realizado pruebas de referencia con dos corpus disponibles públicamente: WMT’14 English-to-French y WMT´14 English-German.
OTRAS INICIATIVAS DE GOOGLE RESEARCH
Google ha desarrollado otras iniciativas como la predicción del tiempo y el pronóstico de precipitación basados en modelos de computationally intensive physics (como HRRR de National Oceanic and Atmospheric Administration) para producir pronósticos a corto plazo de hasta ocho horas, con una mayor resolución temporal y espacial. Esto es, no solo conocer la predicción meteorológica en tu ciudad (ej. en Madrid) sino en un área en concreto (ej. en el Parque de El Retiro) gracias a estos modelos de Machine Learning.
Otro ejemplo, a raíz de la Covid19, ha sido la puesta en marcha la reutilización de datos centrados en la movilidad, como son los informes de movilidad local. Estos informes sirven para descubrir cómo han cambiado los desplazamientos de una comunidad debido a la pandemia actual -éstos pueden descargarse tanto en formato .pdf como .csv para su reutilización-. Asimismo, en un post anterior, mostrábamos una actualización de Google Maps (2020) en la que implementaban una nueva capa en sus mapas para conocer la incidencia de la Covid19 en un destino en concreto. Esta capa mostraba la media de casos de coronavirus de los últimos 7 días por cada 100.000 personas así como una etiqueta donde se indica si la tendencia de nuevos casos es al alza o a la baja.
En la carrera por construir tecnologías subyacentes que puedan impulsar la próxima ola de revolución de la Inteligencia Artificial, un laboratorio chino acaba de derrocar a OpenAI y a Google, al presentar un modelo de Deep Learning con una inmensa cantidad de parámetros de entrenamiento. La Academia de Inteligencia Artificial de Beijing, denominada BAAI, ha lanzado este mes de junio la última versión de Wu Dao, un modelo de Deep learning previamente entrenado que el laboratorio denominó «el primero de China» y » el más grande del mundo ”, con la friolera de 1,75 billones de parámetros.
Teniendo en cuenta que, Wu Dao 2.0 es 10 veces mayor que el modelo GPT-3 de OpenAI, el venerado laboratorio de investigación con sede en EEUU, el cual ya era ampliamente considerado como el mejor modelo en términos de la generación del lenguaje (Natural Language Generation), podemos afirmar que este nuevo modelo chino desafía a todos los anteriores logrando un nuevo avance en Inteligencia Artificial.
Google presentó el pasado mes de mayo en su evento para desarrolladores Google IO, dos Inteligencias Artificials, LaMDA y MUM, que revolucionarán los chatbots y el motor de búsqueda, respectivamente. En el caso de MUM, modelo unificado multitarea que es capaz de responder preguntas complejas y extraer información tanto de texto como de imágenes, es un ejemplo reciente de modelos multimodales. Sin embargo, los submodelos de Wu Dao 2.0 lograron un mejor rendimiento que los modelos anteriores, superando OpenAI y Google en la indexación de imágenes y texto.
¿Qué es Wu Dao?
Wu Dao es principalmente un sistema de inteligencia artificial multimodelo, lo que significa que está repleto de energía para realizar una gran cantidad de tareas como generación de texto, reconocimiento de imágenes, generación de imágenes, etc.
Poema generado por Wu Dao 2.0
A diferencia de los modelos de aprendizaje profundo convencionales que suelen ser específicos de una tarea, Wu Dao 2.0 es un modelo multimodal entrenado para abordar tanto el texto como la imagen. Pero el componente más extraordinario de este modelo de IA que lo diferencia de todos los demás es, sin duda, su tamaño. Para hacer una comparación, este modelo de IA se entrenó utilizando 1,75 billones de parámetros; por el contrario, el modelo más destacado de OpenAI, GPT-3, que ha sido entrenado utilizando solo 175 mil millones de parámetros. Además, el modelo desarrolla tanto en chino como en inglés las habilidades adquiridas a medida que ha «estudiado» 4,9 terabytes de imágenes y textos, incluidos 1,2 terabytes de texto en esos dos idiomas. WuDao 2.0 ya tiene 22 socios, como el fabricante de teléfonos inteligentes Xiaomi o el gigante de videos cortos Kuaishou.
Este modelo es capaz de simular conversaciones, comprender imágenes, escribir poemas originales, responder preguntas, escribir ensayos, generar texto alternativo para imágenes y generar imágenes correspondientes a partir de la descripción del lenguaje natural con un nivel decente de fotorrealismo.
Asimismo, estamos ante el primer estudiante virtual con inteligencia artificial de China, Hua Zhibing, hija de Wu Dao 2.0, es la primera estudiante virtual china. Ella puede aprender continuamente, componer poesía, hacer dibujos y aprenderá a codificar en el futuro. A diferencia de GPT-3, Wu Dao 2.0 puede aprender diferentes tareas a lo largo del tiempo, sin olvidar lo aprendido anteriormente. Esta característica parece acercar aún más la IA a la memoria humana y los mecanismos de aprendizaje.
Wu Dao 2.0 es ahora la red neuronal más grande jamás creada y probablemente la más poderosa. Su potencial y sus límites aún no se han revelado por completo, pero las expectativas son altas y con razón.
Fuentes: gpt3demo.com towardsdatascience.com pingwest.com marktechpost.com