Performance audiovisuelle et pratique du VJing
À distance
Si un contrôleur placé entre les mains savantes du VJ permet d'instaurer un lien physique et organique avec les visuels, il permet également de remettre en question l'emplacement du performer, de la machine, et de la surface de projection. Les données transmises d'un ordinateur à l'autre pouvant voyager à travers les réseaux en une fraction de seconde, il devient imaginable de diriger une performance à distance.
Cette méthode peut être adoptée pour répondre à de simples contraintes pratiques : dans une salle de spectacle de grande dimension, on peut être confronté à des problèmes de câblage vidéo. En effet, la distance sur laquelle les signaux vidéo peuvent être transmis par un câble VGA sans dégradation est limitée à quelques dizaines de mètres. Ainsi, il peut être pratique de placer l'ordinateur contenant les fichiers média près du projecteur, tandis que le VJ, situé à un autre endroit de la salle, contrôle cet ordinateur à distance, par transmission de signaux de commande.
Certains logiciels se prêtent mieux que d'autres à ce type de dispositif : Veejay, basé sur une architecture serveur/client, anticipe cette situation. FreeJ, qui s'opère via la ligne de commande, se prête également à cet usage. Pour d'autres logiciels, on pourra assez facilement construire un "pont" en exploitant les protocoles MIDI et OSC.
MIDI
Évoqué dans le chapitre précédent ("Avec des périphériques"), le protocole MIDI peut être utilisé pour la transmission de signaux par le réseau. L'ordinateur auquel le périphérique MIDI est connecté transmet ce signal à une autre machine, située à distance. Un logiciel comme Pure Data pourra servir de connecteur, acceptant le signal MIDI via l'objet [ctlin], et le transmettant par le protocole OSC.
Exemple dans Pure Data de la captation d'un signal MIDI et de sa transmission par le protocole OSC.
Le livre Floss Manuals consacré à Pure Data comporte un chapitre dédié à l'utilisation du MIDI.
OSC
Le protocole Open Sound Control (OSC) est probablement le plus répandu actuellement dans les logiciels de musique et pour les arts numériques, et figure comme un des successeurs du MIDI. Il permet non seulement d'envoyer des chiffres, mais aussi des listes, du texte et d'autres types de données (notamment des blobs, ou fichiers binaires). OSC offre une granularité* nettement supérieure à celle du MIDI, et permet donc une plus grande précision. Surtout utilisé pour la communication entre logiciels, il est également implémenté dans un nombre grandissant de périphériques, comme le Monome (www.monome.org), ou la Milkymist One (www.milkymist.org).
À gauche: Monome, photo par Matthew Davidson (licence CC-BY). À droite: Milkymist One, photo par bthrewww (licence CC-BY).
Les données OSC peuvent être transmises via le réseau en employant un protocole standard : UDP ou TCP. UDP est plus simple à implémenter (c'est la méthode standard pour les objets OSC de Pure Data). Toutefois ce protocole est sujet à une "perte de paquets" : si de nombreux chiffres sont transmis, il est possible qu'un signal n'arrive pas à destination. Cela ne posera pas de problème avec une interface de type glissette ou bouton rotatif, où une valeur perdue sur quelques centaines reste sans conséquence. Pour un bouton de type "activé / désactivé", cela peut s'avérer problématique. Dans ce cas, a fortiori lorsque la transmission passe par le réseau Internet, on utilise le protocole TCP, plus fiable.
Pour plus de détails, voir le chapitre consacré à OSC dans le manuel Floss Manuals consacré à Pure Data, ainsi que le site de référence www.opensoundcontrol.org.
TUIO
TUIO (www.tuio.org) est un protocole pour la conception de surfaces tactiles multipoint (ou multitouch). Son objectif est de permettre la création de surfaces interactives, dont les signaux peuvent être interprétés par des logiciels. Il est basé sur OSC, ce qui assure une grande compatibilité, et se définit comme un "standard communautaire". Une application dédiée (multi-plateforme et sous licence GPL), reacTIVision (reactivision.sourceforge.net), a été développée pour encoder les données de contrôle, et les transmettre à des programmes de visualisation. Des implémentations existent pour les langages Java, C++, PureData, Max/MSP, SuperCollider et Flash. Parmi les projets artistiques utilisant cette technologie, le plus fameux est la reacTable (www.reactable.com), table interactive créant son et image en réaction au positionnement de divers objets. Mentionnons également MesaQ – Table User Interface, par le collectif Estereotips (www.estereotips.net/mesaq).
Une reacTable, au Altman Center à New York, 2007. CC-BY-SA Daniel Williams.
Réseaux sociaux
On peut aussi envisager d'utiliser des réseaux sociaux comme sources d'interaction à distance afin de nourrir et/ou de contrôler des paramètres lors d'une performance audiovisuelle. Pour cela, on utilise une interface de programmation appelée API (pour Application Public Interface) qui va permettre d'interroger le site et recueillir des informations, des données.
Évoquons à titre d'exemple Twitter et son pendant libre Identi.ca, sites communautaires d'échange de mini-messages produisent des flux de contribution sur lesquelles il est possible de se "brancher" via leur API respective. Mentionnons également le site Cosm (ex-Pachube) qui a été développé pour recevoir des informations issues de capteurs environnementaux (qualité de l'air, données atmosphériques, consommation d'énergie) et les restituer sous différentes formes, permettant là aussi de récupérer des valeurs et les utiliser comme paramètres dans les logiciels de traitement audiovisuel (www.cosm.com).
Téléphonie et SMS
L'utilisation de la téléphonie peut permettre à un large public d'intervenir dans une performance ou un système visuel. Lors de la première édition de l'installation urbaine Blinkenlights, créée en 2001 sur le Alexanderplatz à Berlin par des membres du Chaos Computer Club, le public pouvait interagir avec un immense écran en jouant au jeu Pong via le clavier de leur téléphone (blinkenlights.net/blinkenlights/pong), ou encore y afficher des lettres d'amour.
Parmi d'autres projets impliquant la téléphonie, on peut citer le spectaculaire projet Sky Ear de Usman Haque (2004, www.haque.co.uk/skyear.php), Larsen3G de Blixlab (www.larsen3g.com), mix audiovisuel à partir des contributions envoyées par les spectateurs avec leur téléphone ou encore le projet SMSlingshot, par le collectif VR/Urban (2009, http://vrurban.org/smslingshot.html), qui utilise XBee, un module Arduino pour la communication sans fil (xbee.wikispaces.com).
À gauche: Blinkenlights, rendering 3D de BLueFiSH.as, licence CC-BY-SA. A droite: SMSlinghot, messages projetés au mur, photo de chloester, licence CC-BY-SA.