Иногда Лиззи Уилсон появляется на вечеринке с AI-помощником.
Однажды ночью в феврале этого года Уилсон подключила свой ноутбук к проектору, который вывел ее экран на стену низкого потолка в лофте на востоке Лондона. Небольшая толпа людей собралась в свете тусклых розовых огней. Уилсон села и начала программировать.
Техно-ритмы и звуки гремели из динамиков площадки. Публика наблюдала, кивая головами, пока Уилсон строчила строчки кода на экране — настраивала звуки, повторяла биты, гримасничала, когда что-то шло не так.
Уилсон — живой кодер. Вместо того чтобы использовать специализированное программное обеспечение, как большинство продюсеров электронной музыки, живые кодеры создают музыку, написывая код для генерации музыки на ходу. Это импровизированное представление, известное как алгоровэйн.
«Это довольно скучно, когда приходишь на шоу, а кто-то просто сидит за своим ноутбуком, — говорит она. — Можно наслаждаться музыкой, но не хватает.performative аспекта. При живом кодировании все могут видеть, что я печатаю. И когда у меня ломается ноутбук, людям это действительно нравится. Они начинают аплодировать.»
Рисковать — это часть атмосферы. Поэтому Уилсон предпочитает повышать свои выступления на одну ноту, используя то, что она называет живым кодировщиком, генеративной AI-моделью, которая сама создает биты и лупы для добавления к миксу. Часто модель предлагает звуковые комбинации, о которых Уилсон не думала. «У вас появляются неожиданные элементы, — говорит она. — Вы просто должны действовать.»
Уилсон, исследователь в Институте креативных вычислений Университета искусств Лондона, является лишь одной из многих, работающих над тем, что называется совместной креативностью или креативностью, превышающей человеческие возможности. Идея заключается в том, что AI может использоваться для вдохновения или критики творческих проектов, помогая людям создавать то, что они бы не сделали сами. Она и ее коллеги разработали живого кодировщика, чтобы исследовать, как искусственный интеллект может поддерживать человеческие художественные усилия — в случае Уилсон, музыкальную импровизацию.
Это видение выходит за рамки обещания существующих генеративных инструментов, предложенных такими компаниями, как OpenAI и Google DeepMind. Эти инструменты могут автоматизировать широкий спектр творческих задач и предлагать почти мгновенное удовлетворение— но какой ценой? Некоторые художники и исследователи опасаются, что такая технология может превратить нас в пассивных потребителей всё большей порции AI-продукции.
Поэтому они ищут способы вернуть человеческую креативность в процесс. Цель состоит в том, чтобы разработать AI-инструменты, которые дополняли бы нашу креативность, а не забирали её у нас, вспомогая нас в музыке, разработке игр, дизайне игрушек и многом другом, а также готовя основу для будущего, в котором люди и машины будут создавать вещи вместе.
В конечном счете, генеративные модели могут предложить художникам и дизайнерам совершенно новый медиаформат, подталкивая их к созданию того, что раньше было невозможно, и дав всем творческие суперспособности.
Взрыв креативности
Нет единого способа быть креативным, но мы все это делаем. Мы создаем всё, от мемов до шедевров, от детских каракуль до промышленных дизайнов. Существует ошибочное мнение, обычно среди взрослых, что креативность — это то, что вы перерастаете. Но быть креативным — будь то готовка, пение в душе или создание супер-странных ТикТоков — это всё ещё то, что большинство из нас делает просто ради удовольствия. Это не обязательно должно быть высоким искусством или идеей, изменяющей мир (хотя может и быть). Креативность — это базовое человеческое поведение; её следует отмечать и поощрять.
Когда генеративные модели текст-в-изображение, такие как Midjourney, DALL-E от OpenAI и популярный открытый исходный код Stable Diffusion появились, они вызвали взрыв того, что выглядело как креативность. Миллионы людей теперь могли создавать замечательные изображения почти всего и в любом стиле всего лишь одним нажатием кнопки. Модели текст-в-видео появились следом. Теперь стартапы, такие как Udio, разрабатывают аналогичные инструменты для музыки. Никогда прежде плоды творчества не были так доступными для столь многих.
Но для ряда исследователей и художников ажиотаж вокруг этих инструментов исказил представление о том, что такое креативность на самом деле. «Если я прошу AI создать что-то для меня, это не я проявляю креативность», — говорит Джеба Резвана, работающая над совместной креативностью в Университете Таусона в Мэриленде. «Это однократное взаимодействие: вы нажимаете на кнопку, и он генерирует что-то, и всё. Вы не можете сказать: «Мне нравится эта часть, но, может быть, изменить что-то здесь». Вы не можете вести диалог назад и вперед.»
Резвана ссылается на то, как настроены большинство генеративных моделей. Вы можете дать инструментам обратную связь и попросить их попробовать ещё раз. Но каждый новый результат генерируется с нуля, что может затруднить получение именно того, что вы хотите. Как отметил кинорежиссер Уолтер Вудман в прошлом году после того, как его арт-коллектив Shy Kids впервые создал короткометражный фильм с моделью текст-в-видео от OpenAI: «Сора — это игровой автомат, который решает, что вы получите назад.»
Более того, последние версии некоторых из этих генеративных инструментов даже не используют вашу поданную подсказку так, как она есть, для создания изображения или видео (по крайней мере, не в их стандартных настройках). Прежде чем подсказка отправляется в модель, программное обеспечение редактирует её — часто добавляя десятки скрытых слов — чтобы повысить вероятность того, что сгенерированное изображение будет выглядеть качественно.
«Дополнительные вещи добавляются для улучшения результата», — говорит Майк Кук, исследователь вычислительной креативности в Королевском колледже Лондона. «Попробуйте попросить Midjourney сделать плохой рисунок чего-то — он не сможет этого сделать.» Эти инструменты не дают вам то, что вы хотите; они дают то, что их дизайнеры думают, что вы хотите.
Это нормально, если вам нужно быстрое изображение и вы не слишком заботитесь о деталях, говорит Ник Брайан-Киннс, тоже из Института креативных вычислений: «Возможно, вы хотите сделать рождественскую открытку для вашей семьи или флаер для продажи пирогов в вашем сообществе. Эти инструменты отличны для этого.»
Короче говоря, существующие генеративные модели облегчили создание, но не сделали процесс креативным. И между ними есть большая разница. Для Кука полагаться на такие инструменты может на самом деле навредить развитию творчества человека в долгосрочной перспективе. «Хотя многие из этих творческих AI-систем рекламируются как облегчающие доступ к креативности», — написал он в статье, опубликованной в прошлом году, «это может привести к неблагоприятным последствиям для их пользователей с точки зрения ограничения их способности к инновациям, генерации идей и созданию.» Учитывая, насколько сильно хвалят генеративные модели за то, что они предоставляют творческие способности на кончиках пальцев, предположение о том, что они могут делать противоположное, осуждающее.
Он далеко не единственный исследователь, беспокоящийся о когнитивном воздействии этих технологий. В феврале команда из Microsoft Research Cambridge опубликовала отчет, заключающий, что генеративные AI-инструменты «могут препятствовать критическому вовлечению в работу и потенциально привести к долгосрочной зависимости от инструмента и уменьшению навыков самостоятельного решения проблем.» Исследователи обнаружили, что с использованием генеративных инструментов усилия людей «перераспределяются с выполнения задач на управление задачами.»
Кук обеспокоен тем, что генеративные инструменты не позволяют вам терпеть неудачу — что является важным моментом в обучении новым навыкам. У нас есть привычка говорить, что художники одаренные, говорит Кук. Но правда в том, что художники работают над своим искусством, развивая навыки на протяжении месяцев и лет.
«Если вы действительно поговорите с художниками, они скажут: «Что ж, я научился, делая это снова и снова, и снова», — говорит он. — «Но провал — это ужасно. И мы всегда ищем способы избежать этого.»
Генеративные модели позволяют нам избежать разочарования от плохой работы.
«К сожалению, мы убираем единственную вещь, которую вы должны сделать, чтобы развить свои творческие навыки, — это потерпеть неудачу», — говорит Кук. «Но абсолютно никто не хочет это слышать.»
Удиви меня
И всё же не всё так плохо. Художники и исследователи обсуждают, как генеративные инструменты могут дать возможность создателям, направляя их в удивительные новые направления и избегая тупиков. Кук считает, что реальная перспектива AI заключается в том, чтобы помочь нам стать лучше в том, что мы хотим делать, а не делать это за нас. Для этого, по его словам, нам нужно создать новые инструменты, отличные от тех, что у нас есть сейчас. «Использование Midjourney ничего для меня не делает — это не изменяет меня», — говорит он. «И я думаю, что это упущенная возможность.»
Попросите ряд исследователей, изучающих креативность, назвать ключевую часть творческого процесса, и многие скажут: размышление. Определить это трудно, но размышление — это особый вид сосредоточенного, осознанного мышления. Это то, что происходит, когда вас осеняет новая идея. Или когда ваше предположение оказывается неправильным, и вам нужно пересмотреть свой подход. Это противоположно однократному взаимодействию.
Поиск способов, которыми AI может поддержать или поощрить размышление — попросить его бросить новые идеи в микс или оспорить уже имеющиеся — является общей нитью в исследованиях совместной креативности. Если генеративные инструменты, такие как DALL-E, делают создание легким, то задача здесь — вернуть трение в процесс. «Как мы можем делать искусство без трения?» — спрашивает Элиса Джаккардии, изучающая дизайн в Политехническом университете Милана в Италии. «Как мы можем участвовать в действительно творческом процессе без материала, который противится?»
Возьмите живого кодировщика Уилсон. Она утверждает, что он направляет её музыкальную импровизацию в направления, которые она могла бы не взять сама. Обученная на публичном коде, который делится широкой сообществом живых кодеров, модель предлагает фрагменты кода, которые ближе к стилям других людей, чем к её собственному. Это делает более вероятным получение чего-то неожиданного. «Не потому что вы не можете создать это сами», — говорит она. «Но так работает человеческий мозг: вы склонны возвращаться к привычным идеям.»
В прошлом году Уилсон участвовала в исследовании, проведенном Брайаном-Киннсом и его коллегами, в котором они опросили шесть опытных музыкантов, когда они использовали различные генеративные модели для создания музыкального произведения. Исследователи хотели понять, какие взаимодействия с технологией были полезны, а какие нет.
Участники все отметили, что им нравилось, когда модели делали неожиданные предложения, даже если они были результатом сбоев или ошибок. Иногда результаты были просто лучше. Иногда процесс казался свежим и захватывающим. Но некоторые из них испытывали трудности с отказом от контроля. Было трудно направить модели на получение конкретных результатов или повторить результаты, которые музыкантам понравились. «В чем-то это похоже на то, как быть в группе», — говорит Брайан-Киннс. «Вам нужно ощущение риска и ощущения неожиданности, но не хотите, чтобы всё было абсолютно случайным.»
Альтернативные дизайны
Кук рассматривает удивление с другой стороны: он извлекает неожиданные инсайты из AI-инструментов, которые он разработал для совместного создания видеоигр. Один из его инструментов, Puck, который был впервые выпущен в 2022 году, генерирует дизайны для простых головоломок, подобных Candy Crush или Bejeweled. Многие дизайны Puck являются экспериментальными и грубыми — не ждите, что он предложит что-то, во что вы когда-либо сможете играть. Но это и не имеет значения: Кук использует Puck — и новый инструмент под названием Pixie — для исследования, какие взаимодействия пользователи могут хотеть иметь с инструментом, создающим совместно.
Pixie может читать компьютерный код игры и менять определённые строки, чтобы предложить альтернативные дизайны. Не так давно Кук работал над копией популярной игры под названием Disc Room, где игроки должны пересечь комнату с движущимися пилы. Он попросил Pixie помочь ему придумать дизайн уровня, который будет одинаково сложен как для опытных, так и для неопытных игроков. Pixie создала комнату, в которой ни один диск на самом деле не двигался. Кук смеется: это не то, что он ожидал. «Это фактически превратило комнату в минное поле», — говорит он. «Но я считал это действительно интересным. Я никогда не думал об этом раньше.»
Исследователь Анна Арцбергер разработала экспериментальные AI-инструменты для генерации гендерно-нейтральных дизайнов игрушек.
Сопротивление предположениям или столкновение с вызовом — это часть творческого процесса, говорит Анна Арцбергер, исследователь в Техническом университете Делфта в Нидерландах. «Если я подумаю о людях, с которыми я лучше всего сотрудничала, они не просто говорили «Да, отлично» каждой идее, которую я предлагала, — говорит она. — Они были действительно критичны и высказывали противоположные идеи.»
Она хочет построить технологии, которые предоставляют аналогичную площадку для обсуждения. В рамках проекта под названием Создание монстров Арцбергер разработала два экспериментальных AI-инструмента, которые помогают дизайнерам находить скрытые предвзятости в их дизайнах. «Меня интересовали способы использования этой технологии для доступа к информации, которая в противном случае была бы трудно доступна», — говорит она.
Для проекта она и её коллеги рассматривали задачу дизайна фигурок игрушек, которые должны быть гендерно-нейтральными. Она и её коллеги (включая Джаккардии) использовали Teachable Machine, веб-приложение, созданное исследователями Google в 2017 году, которое упрощает обучение своей модели машинного обучения для классификации различных входных данных, таких как изображения. Они обучили эту модель на нескольких десятках изображений, которые Арцбергер пометила как мужские, женские или гендерно-нейтральные.
Затем Арцбергер попросила модель определить пол новых кандидатур памятных игрушек. Она обнаружила, что довольно много дизайнов были признаны женственными, даже когда она пыталась сделать их гендерно-нейтральными. Она ощущала, что её взгляды на мир — её собственные скрытые предвзятости — подвергались обнародованию. Но инструмент часто оказался правым: он бросал вызов её предположениям и помогал команде улучшать дизайны. Такой подход мог бы использоваться для оценки самых разнообразных характеристик дизайна, говорит она.
Затем Арцбергер использовала вторую модель, версию инструмента, созданного стартапом Runway по генерации изображений и видео, чтобы придумать гендерно-нейтральные дизайны игрушек. Сначала исследователи обучили модель создавать и классифицировать дизайны игрушек, выглядящих как для мальчиков, так и для девочек. Затем они могли попросить инструмент найти дизайн, который находился бы ровно посередине между мужским и женским дизайном, который она усвоила.
Генеративные модели могут предоставлять обратную связь по дизайнам, которые люди-дизайнеры могут упустить самостоятельно, говорит она: «Мы действительно можем чему-то научиться.»
Взять под контроль
История технологий полна прорывов, изменивших способ создания искусства, от рецептов для ярких новых цветов краски до фотографии и синтезаторов. В 1960-х годах исследователь Стэнфорда Джон Чоунг потратил годы на работу над эзотерическим алгоритмом, способным манипулировать частотами компьютерных звуков. Стэнфорд лицензировал эту технологию Yamaha, которая внедрила её в свои синтезаторы — включая DX7, новейший звук, стоящий за хитами 1980-х, такими как «The Best» Тины Тёрнер, «Take On Me» A-ha и «When Doves Cry» Принса.
Брайан-Киннс увлекается тем, как художники и дизайнеры находят способы использовать новые технологии. «Если вы поговорите с художниками, большинство из них не говорит об этих AI-генеративных моделях как о инструменте — они говорят о них как о материале, как об художественном материале, как о краске или чем-то подобном», — говорит он. «Это другой способ мышления о том, что делает AI.» Он выделяет, что некоторые люди заставляют технологию делать странные вещи, для которых она не была предназначена. Художники часто заимствуют или неправильно используют такие инструменты, говорит он.
Брайан-Киннс выделяет работу Терренса Бродда, своего коллеги из Института креативных вычислений, как любимый пример. Брод использует такие техники, как искажение сети, что включает в себя вставку новых слоёв в нейронную сеть для создания глитч-эффектов в сгенерированных изображениях, и генерацию изображений с моделью, обученной без данных, что приводит к почти абстрактным цветовым полям, похожим на Ротко.
Но Брод — это крайний случай. Брайан-Киннс обобщает это следующим образом: «Проблема в том, что у вас есть эта пропасть между очень коммерческими генеративными инструментами, которые производят супер-высококачественные результаты, но у вас есть очень мало контроля над тем, что они делают — а потом у вас есть другой конец, где у вас есть полный контроль над тем, что они делают, но барьеры к использованию высоки, потому что вам нужно быть тем, кто комфортно разбирается с вашим компьютером.»
«Это небольшое число людей», — говорит он. «Это очень небольшое число художников.»
Арцбергер признает, что работа с её моделями не была простой. Их запуск занял несколько часов, и она не уверена, доступен ли инструмент Runway, который она использовала, вообще. Брайан-Киннс, Арцбергер, Кук и другие хотят взять те виды креативных взаимодействий, которые они открывают, и встроить их в инструменты, которые могут использовать люди, не являющиеся хардкорными программистами.
Исследователь Терренс Брод создает динамические изображения с помощью модели, обученной без данных, которая производит почти абстрактные цветовые поля, похожие на Ротко.
Найти правильный баланс между неожиданностью и контролем будет сложно. Midjourney может удивить, но она предоставляет мало рычагов для контроля над тем, что она производит, помимо вашей подсказки. Некоторые утверждали, что составление подсказок — это само по себе творческий акт. «Но никто не борется с кистью так, как они борются с подсказкой», — говорит Кук.
Столкнувшись с этой борьбой, Кук иногда наблюдает, как его студенты просто принимают первые результаты, которые дает им генеративный инструмент. «Меня действительно интересует эта идея, что мы подготавливаем себя к принятию того, что выйдет из модели, как то, что вы спросили», — говорит он. Он разрабатывает эксперимент, который изменит отдельные слова и фразы в аналогичных подсказках, чтобы проверить, насколько люди видят расхождение между тем, что они ожидают, и тем, что они получают.
Но это все еще ранние дни. Тем временем компании, разрабатывающие генеративные модели, обычно подчеркивают результаты, а не процесс. «Существует впечатляющий алгоритмический прогресс, но часто дизайн взаимодействия игнорируется», — говорит Резвана.
Для Уилсон ключевой выбор в любых совместно-творческих отношениях — это то, что вы делаете с тем, что вам предоставили. «Вы находитесь в отношениях с компьютером, которые вы пытаетесь модерировать», — говорит она. «Иногда всё идет не так, и это просто часть творческого процесса.»
Когда AI дает вам лимоны — делайте искусство. «Разве не было бы весело иметь что-то, что совершенно противоположно в представлении — что-то, что активно противостоит вам — и у вас как бы возникает спор?» — говорит она. «Это было бы интересно смотреть, по крайней мере.»
