В декабре 2022-го Nao Tokui показал Emergent Rhythm — аудиовизуальный диджей-сет, третью часть своего AI DJ Project. Премьера прошла 8 декабря на фестивале MUTEK.JP в токийском Shibuya Stream Hall. Проект начинался в 2016-м как back-to-back-сессия, потом превратился в лайв с символьной (MIDI) генерацией; здесь же весь звук производится нейросетями прямо на сцене — без синтезаторов и драм-машин.
Как это устроено: GAN-модели, обученные на спектрограммах, генерируют новые спектрограммы, а вокодерные сети превращают их в звук. Визуальный ряд собран из более чем миллиона изображений, созданных Stable Diffusion. На сцене Токуи запускает несколько моделей, спонтанно генерирует ритмы и мелодии и сводит полученные петли, а плагин Neutone — он разрабатывался с его участием — меняет тембр входящего аудио в реальном времени. В титрах — визуальные программисты Ryosuke Nakajima и Keito Takaishi (Qosmo), танцовщица Masumi Endo и режиссёр пластики Maiko Kuno.
Коллекция возникает на месте
У диджея обычно есть память о готовых записях: он знает, где начинается нужный фрагмент и сколько осталось до перехода. Здесь этой опоры нет — материал рождается на глазах, и его надо быстро оценить и встроить в уже идущий сет. Свою роль Токуи называет «AI Jockey»: человек укрощает поток машинного звука в реальном времени. Мне проект интересен именно этим: обычные диджейские навыки — слух, чувство длительности, чувство момента — работают с непривычным источником материала.