5Sep

Le clavier robotique de Lady Gaga a bénéficié de l'aide de la NASA

Les Grammys ont eu un artiste inattendu cette semaine. Tous les regards étaient tournés vers Lady Gaga alors qu'elle montait sur scène au Staples Center pour elle. hommage à David Bowie. Mais une minute et demie après le début de sa performance, un piano dansant a fait son apparition.

Alors que Gaga se dirigeait vers le clavier en or rose posé sur deux bras robotiques, le piano s'est approché pour rencontrer ses mains alors qu'elle commençait à jouer. La configuration a basculé tandis que Gaga chantait "Suffragette City" de Bowie. Les bras mécaniques entraient et sortaient pour le rythme de la chanson, tout en gardant le clavier suffisamment stable pour que le chanteur puisse contrôler les touches.

Pour réaliser ce piano chorégraphié, l'équipe Gaga a fait appel à AndyRobot, un roboticien et animateur informatique basé à Las Vegas travaillant avec le Jet Propulsion Laboratory de la NASA. Robot (oui, c'est son nom) a réutilisé un logiciel qu'il avait construit pour programmer et animer deux robots industriels pour la performance. Il a suivi la vision de Gaga pour un instrument qui avait une nouvelle dimension: il était vivant. Mais le processus qui a rendu cela possible n’avait jamais été essayé dans ce contexte auparavant. Alors, quand l'équipe robotique a rencontré un problème pendant les répétitions, l'association de Robot avec Brian Lim, chef de l'initiative Planetary Landing Testbed du JPL, a conduit à une solution qui impliquait un petit morceau de caoutchouc.

J'ai parlé à Robot et Lim pour en savoir plus sur l'étoile robotique et la mission de sauvetage.

Quel genre de machines avez-vous apporté pour le clavier robotique ?

AndyRobot: Nous avons utilisé les robots d'ABB. Ils sont généralement utilisés dans la fabrication. Vous verrez donc ces robots, des centaines d'entre eux, travailler à l'unisson sur une chaîne de montage créant des BMW dans des usines automobiles. Nous les avons utilisés car ils sont très robustes. Ils sont censés fonctionner pendant 30 ans à pleine vitesse, dans l’obscurité, sans chaleur, sans perte de précision. Lorsque vous comparez ce type de robot à un robot fait maison ou à un robot unique, il doit s'agir du robot effectuant des tâches de fabrication critiques à travers le monde. Nous l'avons appliqué à l'art aux Grammys parce que c'est similaire à un processus critique où il ne peut pas échouer; il faut qu'il continue à avancer.

Lady Gaga joue de son clavier pendant la répétition. [Gif issu des images des coulisses d'Intel.]

Comment ces bras robotiques industriels se sont-ils transformés en instrument de danse?

AR : Les deux robots se déplaçaient de manière synchronisée pour ne pas déchirer le clavier. Imaginez que si un robot allait trop à gauche, il déchirerait le clavier. Nous avons utilisé la chanson elle-même. Une fois que [Gaga] a terminé la musique, nous avons chronométré les robots en les animant avec la musique et en les synchronisant pour qu'ils bougent à l'unisson. Nous utilisons la cinématique inverse – c'est la base du système squelettique de tout humain ou animal. Par exemple, si vous atteignez et saisissez votre poignet, votre main bouge votre bras. Vous ne pensez pas à la façon dont votre épaule bouge ou à la flexion de votre coude, vous pensez à la direction où va votre main. Nous avons utilisé ce système pour faire du clavier le parent des deux robots. Nous avons pu animer le clavier dans le programme informatique et le déplacer, et les deux robots ont calculé les mouvements de leur propre système squelettique pour suivre les mouvements des parents.

Alors imaginez que si je prenais vos paumes et les collais au bas du clavier, je serais capable de déplacer le clavier et vos bras calculeraient naturellement la rotation de chaque articulation. Les robots ont fait de même en utilisant le système IK.

Les robots industriels sont des machines incroyablement efficaces. Mais leur pouvoir est souvent perçu comme dangereux. Y avait-il des risques à amener ces robots dans un nouvel environnement artistique ?

AR : Nous avons une grande expérience en matière d’artistes travaillant avec des robots et interagissant avec eux. La première chose que nous faisons est un examen de sécurité. Même si cela semble dangereux, nous calculons tous les risques; nous ne pouvons jamais les éliminer, mais nous pouvons les minimiser. Un robot ne veut jamais blesser personne. C'est très rare, mais chaque fois qu'une personne est blessée par un robot, elle ne respecte malheureusement pas la procédure. À mesure que les robots deviennent plus répandus, la composante de bon sens les rendra plus sûrs en termes d’interaction humaine. L'une des raisons pour lesquelles Gaga se tenait debout était pour que si on la poussait, elle ne soit pas repoussée. Protéger la pop star et le personnel adjacent est la priorité n°1 – et cela vaut pour tout ce qui concerne le show business.

"Un robot ne veut jamais blesser personne."

Puisque vous essayiez d’adapter ces robots à un nouvel environnement (un instrument, en l’occurrence), avez-vous rencontré des problèmes particuliers avant de réaliser cette performance?

AR : Lors des répétitions, nous avons eu quelques problèmes de tension sur le piano rose. Il n'y a pas de précédent à cela, nous avons donc dû trouver une nouvelle solution. Grâce à mon travail avec JPL, j'ai pu obtenir l'aide dont j'avais besoin.

Brian Lim : Au JPL, parce que nous rencontrons de nombreux problèmes avec les machines, ce que nous savons faire, c'est reconnaître quels sont les facteurs de stress. Étant donné que le positionnement du robot [sur l'installation d'Andy] était extrêmement précis, un léger désalignement, quelle qu'en soit la raison, pouvait générer des charges extrêmement élevées et indésirables. Le modèle de clavier qu'Andy a obtenu pour programmer le robot était nettement plus doux et plus léger que le clavier réel utilisé sur scène. Ainsi, lorsque le clavier final est arrivé, il comportait des mouvements plus complexes qui provoquaient des combats entre les robots, ce qui entraînait des erreurs de chargement qui n'apparaissaient pas avec le modèle de clavier plus souple.

Comment avez-vous stabilisé les robots ?

BL : J'ai suggéré que la meilleure façon de résoudre le problème était d'ajouter la conformité. Pensez à deux machines très puissantes qui travaillent ensemble: à moins qu'elles ne soient parfaitement synchronisées, ce qui n'arrive pas dans la physique réelle, vous devez être en conformité. Donc, pour que Lady Gaga puisse taper sur son clavier sans problème, le système avait besoin de flexibilité pour que les robots ne se mangent pas les uns les autres. Dans le peu de temps dont ils disposaient pour résoudre le problème, j'ai suggéré d'ajouter du « spongieux » avec un mince morceau de caoutchouc qui donnait une certaine souplesse entre les robots et le clavier. Cela a permis aux robots de donner juste assez et de travailler ensemble sans crier « Erreur! »

Le clavier robotique en or rose. [Crédit image: LG]

Les robots industriels (ou tout autre robot, d'ailleurs) n'avaient jamais été utilisés sur une scène aussi grandiose que les Grammys. Quels ont été vos plus grands défis pour que cela fonctionne pour la télévision en direct ?

AR : Travailler dans un environnement comme les Grammys, où nous disposons de six minutes pour mettre en place une usine de robots qui prendrait généralement des semaines à installer, est un défi. Nous avons dû faire rouler les robots qui étaient en position désactivée, les calibrer et les mettre à niveau en moins de six minutes avant de revenir de la publicité et d'avoir le compte à rebours du réalisateur. Vous devez instituer et construire un système robotique qui serait prêt à fonctionner dans ce laps de temps devant des millions de personnes à la télévision nationale.

C'est à couper le souffle. Les plans disparaissent lorsque vous avez un déchargement de bande et le chargement suivant. L'un d'eux joue à gauche; l'autre charge à droite. En règle générale, le chargement lors des concerts prend des heures. C'est très fastidieux et précaire. Nous avions des listes de contrôle, tout comme un pilote d'avion. Et si nous avions des problèmes, nous avions mis en place des plans de reprise après sinistre.

Un autre défi était que la scénographie n’avait pas rattrapé la technologie. Cela remonte à des décennies, avec des travailleurs qui ne savent pas dans quoi ils se lancent. Ils sont habitués à utiliser des accessoires, mais ils ne sont pas habitués à introduire des robots très sophistiqués et capricieux. Dans les années à venir, vous verrez la scénographie devenir de plus en plus équipée pour la robotique. Les personnes qui ont la capacité de l’attendre et de l’adopter et qui travaillent également avec la robotique pour leur enseigner la mise en scène réussiront. J'ai tellement appris des machinistes de la vieille école sur le fonctionnement de ce genre de choses.

De quelle manière pensez-vous que la robotique influence l’art ?

AR: Il s'agit d'amplifier les capacités des artistes et de leur permettre de s'exprimer de manière exponentielle. L'artiste doit utiliser la robotique d'une manière qui soit authentique par rapport à sa forme d'art. S’ils essaient de le faire pour le bien des robots, cela ne marche pas. Mais lorsque l’artiste utilise réellement les systèmes robotiques comme une planche plus longue sur laquelle il peut s’exprimer, le public l’apprécie. Il s'agit d'améliorer l'art.