Юлия Вергазова, Николай Ульянов

Svan/Nectar

Опираясь на научные исследования в области восприятия растениями аудио- и видеоконтента, авторы создали фильм, предназначенный в первую очередь для слуха и зрения.

Известно, что растения реагируют на звуки насекомых-опылителей, увеличивая концентрацию сахара в своем нектаре. В фильме воспроизводится звуковой диапазон одиночного парения медоносной пчелы с пиковой частотой 200-500 Гц, на которую активнее всего откликаются растения.

Пчеловодами всего мира особенно высоко ценятся кавказские медоносные пчелы, поэтому в качестве саундтрека к фильму авторы выбрали микротональные сванские песни: Элиа Лрде, Кристе Агсдга и Дале Коджас. Первая песня — бессмысловой гимн, основанный на слогах и гласных. Вторая — пасхальный гимн. Третья — баллада о роковой богине Дал с золотыми волосами, живущей в высокогорье Грузии (и в основном в Сванетии). Особенности этих песен (3 голоса, 4 куплета, алгоритмически выстроенная сетка нот на основе оригинальных аккордов) воспроизводятся и проигрываются на семплах звуков жужжания и опыления.

Видеоряд, сгенерированный в соответствии с музыкой, состоит из выходных данных нейронной сети BigGAN — первой нейронной сети, которая может генерировать изображения из разнообразного количества доменов, выбираемых из 1000 классов (подклассов датасета ImageNet). Авторы выбрали типы изображений, относящиеся к пчелам и растениям, которые они опыляют. Всего их 9: пчела, ромашка, башмачок мелкоцветковый, шиповник, рапс, апельсин, лимон, клубника, огурец.

Чтобы адаптировать изображение к «зрению» растений художники использовали принцип оптического потока (optical flow) — метод машинного обучения для обработки видеоконтента. Результаты его работы по цвету напоминают спектр фотолампы, а сам принцип такого зрения — спекулятивный вариант зрения пчелы. Например, видны только области, находящиеся в движении, или температурные карты. Взяв за основу видеодокументацию опыления пчелами растений, автор подсчитали оптические потоки, составили датасет на 330 картинок и обучили нейросеть pix2pix, которая переосмыслила первоначально сгенерированное видео от BigGAN’а и максимально приблизила его к варианту, подходящему для растительного кинотеатра.