В мае 2019 года на Бауэри, в нижнем Ист-Сайде Манхэттена, открылся отель Sister City — четырнадцать этажей, двести номеров, японско-скандинавская эстетика. На крыше закрепили камеру, которая круглосуточно смотрит в небо и отправляет кадры в систему компьютерного зрения Microsoft Azure. Azure навешивает на происходящее теги — прорвавшееся солнце, пролетающий самолёт, полная луна, стая голубей, облака, — а алгоритм по этим тегам решает, что именно сыграть из музыки, которую для отеля написала Julianna Barwick. Рассказ Microsoft о проекте разбирает всю эту механику без остатка.
Работа называется Circumstance Synthesis и состоит из пяти частей — под разные состояния неба в течение дня. На каждое распознанное событие Barwick заготовила по двенадцать реакций: шесть вокальных и шесть синтезаторных. Слова в музыке нет вовсе — эмбиент и наслоения её зацикленного голоса, а гармонии меняются вместе со временем суток. Сама она подчёркивает, что уходила от буквальной звукописи: «Я не хотела, чтобы было слишком буквально».
Живая партитура
Красивее всего у Barwick получается определить собственную роль: «Моя музыка очень абстрактна, и я — фильтр для внешних раздражителей». Композитор записала весь материал, но выбирать, что прозвучит в конкретную минуту, доверила системе. Она честно признаёт ограничение: «Я могу сделать все звуки, но я не смогу находиться там и замечать каждое событие». Про ИИ она отзывается как о соавторе, с которым «возможности бесконечны», — при том что до этого проекта об искусственном интеллекте знала, по собственному признанию, только из кино.
«Это почти живая партитура, потому что она взаимодействует с природой», — говорит Barwick, и я подписываюсь под каждым словом. ИИ здесь не генератор музыки, а инструмент оркестровки: звучание остаётся авторским, система лишь реагирует на небо вместо человека. Позже материал проекта добрался и до слушателей вне лобби — кассетным релизом Circumstance Synthesis.