Le robot FRIDA alimenté par l’IA collabore avec les humains pour créer de l’art

[ad_1]

L’Institut de robotique de l’Université Carnegie Mellon a un nouvel artiste en résidence.

FRIDA, un bras robotique auquel est collé un pinceau, utilise l’intelligence artificielle pour collaborer avec les humains sur des œuvres d’art. Demandez à FRIDA de peindre un tableau, et il se met au travail en mettant le pinceau sur la toile.

« Il y a ce tableau d’une ballerine grenouille qui, je pense, s’est très bien passé », a déclaré Peter Schaldenbrand, titulaire d’un doctorat à l’école d’informatique. étudiant à l’Institut de robotique travaillant avec FRIDA et explorant l’IA et la créativité. « C’est vraiment idiot et amusant, et je pense que la surprise de ce que FRIDA a généré sur la base de ma contribution était vraiment amusante à voir. »

FRIDA, du nom de Frida Kahlo, signifie Framework and Robotics Initiative for Developing Arts. Le projet est dirigé par Schaldenbrand avec les membres du corps professoral du RI Jean Oh et Jim McCann, et a attiré des étudiants et des chercheurs de toute la CMU.

Les utilisateurs peuvent diriger FRIDA en saisissant une description textuelle, en soumettant d’autres œuvres d’art pour inspirer son style, ou en téléchargeant une photographie et en lui demandant d’en peindre une représentation. L’équipe expérimente également d’autres entrées, y compris l’audio. Ils ont joué « Dancing Queen » d’ABBA et ont demandé à FRIDA de le peindre.

« FRIDA est un système de peinture robotique, mais FRIDA n’est pas un artiste », a déclaré Schaldenbrand. « FRIDA ne génère pas les idées pour communiquer. FRIDA est un système avec lequel un artiste peut collaborer. L’artiste peut spécifier des objectifs de haut niveau pour FRIDA, puis FRIDA peut les exécuter. »

Le robot utilise des modèles d’IA similaires à ceux qui alimentent des outils tels que ChatGPT et DALL-E 2 d’OpenAI, qui génèrent respectivement du texte ou une image en réponse à une invite. FRIDA simule la façon dont il peindrait une image avec des coups de pinceau et utilise l’apprentissage automatique pour évaluer ses progrès au fur et à mesure de son fonctionnement.

Les produits finaux de FRIDA sont impressionnistes et fantaisistes. Les coups de pinceau sont audacieux. Ils manquent de la précision si souvent recherchée dans les efforts robotiques. Si FRIDA commet une erreur, elle la corrige, incorporant la tache de peinture errante dans le résultat final.

« FRIDA est un projet explorant l’intersection de la créativité humaine et robotique », a déclaré McCann. « FRIDA utilise le type de modèles d’IA qui ont été développés pour faire des choses comme des images de légende et comprendre le contenu de la scène et l’appliquer à ce problème de génération artistique. »

FRIDA puise dans l’IA et l’apprentissage automatique à plusieurs reprises au cours de son processus artistique. Tout d’abord, il passe une heure ou plus à apprendre à utiliser son pinceau. Ensuite, il utilise de grands modèles de langage visuel formés sur des ensembles de données massifs qui associent du texte et des images extraits d’Internet, tels que le Pre-Training Contrastive Language-Image Pre-Training (CLIP) d’OpenAI, pour comprendre l’entrée. Les systèmes d’IA utilisent ces modèles pour générer de nouveaux textes ou images en fonction d’une invite.

D’autres outils de génération d’images tels que DALL-E 2 d’OpenAI utilisent de grands modèles de langage visuel pour produire des images numériques. FRIDA va encore plus loin et utilise son système robotique intégré pour produire des peintures physiques. L’un des plus grands défis techniques dans la production d’une image physique est de réduire l’écart entre la simulation et la réalité, la différence entre ce que FRIDA compose en simulation et ce qu’il peint sur la toile. FRIDA utilise une idée connue sous le nom de real2sim2real. Les coups de pinceau réels du robot sont utilisés pour entraîner le simulateur à refléter et à imiter les capacités physiques du robot et des matériaux de peinture.

L’équipe de FRIDA cherche également à remédier à certaines des limites des grands modèles actuels de langage visuel en affinant continuellement ceux qu’ils utilisent. L’équipe a alimenté les modèles avec les gros titres des articles de presse pour leur donner une idée de ce qui se passait dans le monde et les a formés davantage sur des images et des textes plus représentatifs de diverses cultures pour éviter un parti pris américain ou occidental. Cet effort de collaboration multiculturelle est dirigé par Zhixuan Liu et Beverley-Claire Okogwu, étudiants de première année à la maîtrise RI, et Youeun Shin et Youngsik Yun, étudiants invités à la maîtrise de l’Université Dongguk en Corée. Leurs efforts comprennent des contributions de données de formation de la Chine, du Japon, de la Corée, du Mexique, du Nigeria, de la Norvège, du Vietnam et d’autres pays.

Une fois que l’utilisateur humain de FRIDA a spécifié un concept de haut niveau de la peinture qu’il souhaite créer, le robot utilise l’apprentissage automatique pour créer sa simulation et développer un plan pour réaliser une peinture afin d’atteindre les objectifs de l’utilisateur. FRIDA affiche une palette de couleurs sur un écran d’ordinateur pour qu’un humain la mélange et la fournisse au robot. Le mélange automatique de peinture est actuellement en cours de développement, dirigé par Jiaying Wei, étudiant à la maîtrise à l’École d’architecture, avec Eunsu Kang, professeur au Département d’apprentissage automatique.

Armé d’un pinceau et de peinture, FRIDA fera ses premiers coups de pinceau. De temps en temps, le robot utilise une caméra aérienne pour capturer une image de la peinture. L’image aide FRIDA à évaluer ses progrès et à affiner son plan, si nécessaire. L’ensemble du processus prend des heures.

« Les gens se demandent si FRIDA va prendre les emplois des artistes, mais l’objectif principal du projet FRIDA est tout le contraire. Nous voulons vraiment promouvoir la créativité humaine à travers FRIDA », a déclaré Oh. « Par exemple, je voulais personnellement être artiste. Maintenant, je peux réellement collaborer avec FRIDA pour exprimer mes idées en peinture. »

Plus d’informations sur FRIDA sont disponibles sur son site Web. L’équipe présentera ses dernières recherches sur le projet « FRIDA : A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment » lors de la conférence internationale IEEE 2023 sur la robotique et l’automatisation en mai à Londres. FRIDA réside dans le laboratoire Bot Intelligence Group (BIG) du RI dans le quartier de Squirrel Hill à Pittsburgh.

[ad_2]

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*