いよいよ今日“ex:theory”＠渋谷PLUGが開催となるわけですが、今回はいつものライブと違って準備するものが多く、連日夜遅くまでリハーサルをやっていました。

今回のライブシステムは、僕がLeap Motionを操作してサウンドを変化させると、Tajifくんの映像も変化するように組みました。僕がジェスチャーでLeap Motionを操作してシンセの音色変化をさせたり、ドラムマシンにかけたエフェクトを操作しています。

音と映像の橋渡しはどうするかというと、変化のトリガーとなるトラックの音声をTajifくんのPCに送り、Tajifくんの方ではModul8というソフトで入力された音声信号にあわせて映像のパラメーターを変化させています。こうすることで、僕がジェスチャーすると音と映像が同期して変化します。

僕の方からTajifくんのPCに送るときは、Leap Motionで変化させているトラックの音だけをセンドエフェクトで送っています。2mixを送ってしまうと音数が多いときは映像が変化しなくなりますが、こうすることで、外音がビートやウワモノ全部入った状態の時でも、映像はLeap Motionにだけあわせて変化させることが出来ます。

そして、ここからが前回からのLeap Motionセットアップの続きです。

先程書いたようにLeap Motionでコントロールしているのは2種類あり、1つは前からライブでもよく使っているハードウェアのモノシンセWaldorf Rocket。Max for LiveでRocketをMIDIコントロール出来るようにするRocket Pilotというデバイスがあるので、これを経由してLeap MotionからMIDIコントロールすることにします。

Ableton LiveでLeap Motionを使うには、Geco MIDIというLeap Motionのアプリを使います。このアプリは、Leap Motionでどういう動作をすると、どのMIDIコントロールチェンジ変化させるかということを設定するアプリです。
このスクリーンショットはGeco MIDIのもので、下の方にUp&Down Positionとか書いてあるのがわかると思います。手のアイコンが閉じたものと開いたもの両方ありますが、手が閉じた状態と開いた状態で別々のパラメーターを割り当てることもできます。自分のLeap Motion演奏技術はたいしたことないのでそういう使い分けはしていませんが…。
その下にある数字はMIDIチャンネルやCC（コントロールチェンジ）ナンバー等お馴染みのパラメーターが並んでいますが、Reset Valueがここでのキモ。Leap Motionから手を離したときに、現在の値を維持するか、設定した値にリセットするか設定する事が出来ます。

例えばシンセのカットオフをコントロールしている場合、ここの値がLASTになっているとLeap Motionから手を離してもカットオフは手があった位置のままです。–に設定して手を離すとカットオフが全閉になり、50%だと半分の位置にリセットされます。

このGeco MIDIのセッティングは、うまくいくとLeap Motionが面白くなったりする重要な部分です。最初はシンプルなセッティングから始めて、良い感じになっていったら複雑にしていくと面白くなります。

このGeco MIDIから、Rocket Pilotを操作するようにマクロコントロールを組んだInstrument Rackを操作しています。

 

セットアップしていて気づいたのは、Leap Motionの一番のキモは何のパラメーターをどう変化させるか自分で作る所。今回は右手を上下させたときにカットオフが開閉する動作を基本として、手をひねるとレゾナンスがかかったりとか、そういうアクセントとなる動作をいれています。

もうひとつは、Akai Rhythm Wolfというドラムマシンにかけたエフェクト＝SugarBytes Turnadoのパラメーターを変化させています。

Turnadoは8つのツマミに異なるエフェクトを割り当てられる、DJっぽいマルチエフェクターです。これも右手を挙げるとStutterのようなグリッジノイズを出したりとか、そういう使い方にしています。Turnadoは、ツマミの数値が少しでも0から上がるとエフェクトがかかるようになっているので、Geco MIDIでReset Valueを–にして手を離すとエフェクトが全てオフになるようにしました。
また、TurnadoはエフェクトのDry/WetをWet100%にすると音が途切れたりしやすいので、WetはせいぜいWet50%程度までにしています。

と、今日のex:theoryでは、普段見られないような手の凝ったライブなので、是非とも見に来て下さい〜！