Делаем игру через нейросети. Дневник разработчиков #1 - концепт, арты и музыкальное сопровождение

Недавно мы рассказывали о возможностях нейросетей в геймдеве и упоминали своё желание сконструировать проект на их основе. Сегодня мы возвращаемся к этой теме и отмечаем наши первые попытки окунуться в мир искусственного интеллекта. В первом полноценном «дневнике разработчиков» нам удалось на основе нескольких базовых идей создать концепт игры, сгенерировать первые арты и фоновые композиции. Обратите внимание, что все запросы к ИИ мы выделили под спойлеры, чтобы не загромождать страницу лишней информацией.

На текущий момент костяк «команды разработчиков» состоит из двух человек:

• Кирилл Примаков — общение с нейросетями, генерация картинок, доработка текстов (опыт разработки игр: смог посмотреть первые три минуты обучающего видео по разработке на Unity);
• GRAF_RAGE — работа с движком, работа с текстурами, доработка текста (опыт разработки игр: в школе написал программу на Pascal, рисующую квадрат).

Посильную помощь оказывает Fima03 (опыт разработки игр: видела сообщение в чате о том, что Кирилл смотрит обучающее видео).

Разработка концепта

Первое, с чем придётся столкнуться игрокам, это поиск подходящих нейросетей и изучение их возможностей. По тексту решили остановиться на ChatGPT, но, учитывая отсутствие официального доступа к нему в России, пришлось заняться перебором рабочих ботов в Telegram с функцией запоминания предыдущих ответов. Бесплатных вариантов предостаточно, но можно наткнуться на жёсткие ограничения по количеству запросов. Снять их удастся только при покупке платной подписки, чего на стадии обсуждений делать совершенно не хотелось.

Даже боты способны сгенерировать начальный контекст, но мы не стали предоставлять нейросети всю работу и указали начальные вводные происхождении мира. Решили не выдумывать сложный литературный язык, поэтому написали понятно, но почти «от балды» по качеству синтаксиса и орфографии. Также предварительно остановились на JRPG — одного из простых жанров по разработке кода (об этом чуть позже).

Ввели первую вводную — «На основе описания вымышленного мира ниже придумай концепт компьютерной игры в жанре JRPG».

Результат получился понятным и полезным. Выделена общая идея, заметна последовательность, а также расписан концепт с названием игры «Города тьмы».

Идея с духом нам понравилась, хотя и не совсем подошла по сеттингу. Запоминаем, но пробуем изменить историю главного героя и самостоятельно прописываем небольшую заготовку. Некоторое представление о персонаже уже имелось в голове, поэтому мы оттолкнулись от этих мыслей и предоставили запрос «Измени главного героя на указанного ниже. Чем бы мог заниматься такой персонаж».

В итоге получили довольно внятный результат, который очень схож с оригинальной задумкой и удачно вписывается в существующий мир.

Бросать концепт на полпути не хотелось, поэтому мы сразу же подумали о возможных вариациях уровней, местной фауне, а также основных отличиях игры от других проектов. Перечислять все запросы к нейросети не будем, но отметим, что после нескольких сообщений получили вполне рабочие варианты.

В качестве особенностей игры кратко выделим основное из ответа ИИ:

1. Постапокалиптический сеттинг с убежищами и развитыми технологиями.
2. Система улучшения города-убежища.
3. Уникальные истории героев.
4. Локации с постоянными опасностями и возможностью влияния на жизни людей.
5. Пошаговая система боя, сочетающая технологии и магию.
6. Секретные уровни и дополнительные задания, раскрывающие историю мира.

Неплохо, но по понятным причинам часть механик реализовать даже с помощью нейросетей будет довольно сложно и мучительно. Так мы сразу же отказались от идеи развития базы. Вполне вероятно, что некоторые предложения в процессе разработки также могут быть «урезаны», однако задача полного повторения идей нейросетей перед нами и не стояла.

По уровням с небольшим описанием территорий получили: подземелье, городская станция метро, улицы города, заброшенный зоопарк, хранилище лекарств, район граффити, больница, небоскрёб, стрельбище и тайная лаборатория. Совсем неплохо, однако отметим, что первый ответ бота вышел за рамки антуража и атмосферы — искусственный интеллект добавил сомнительные локации. К примеру, Дикий Запад, ледяной храм и город в небесах. В теории что-то из этого можно встроить в игру, но мы попросту решили уточнить тематику сеттинга и попросили придумать уровни, подходящие к игре «Города тьмы».

Концепт был бы не полный без описания хотя бы одного уровня, поэтому мы обратились к боту с просьбой выдать нам детальную информацию о локации «Заброшенный зоопарк» и добавить немного разнообразия. Результат подходящий, однако сразу можно обратить на некоторую размытость деталей, поэтому в дальнейшем придётся набросать несколько уточняющих вопросов и расширить описание.

На этом первое тестирование нейросети для написания текста было приостановлено. Концепт получили, а в деталях разобраться можно и попозже. Сейчас важнее выделить разделы и потихоньку начинать собирать конструкцию воедино.

Движок

Если мы не забыли поставить ссылку на этот раздел, и вы сразу на него перешли — первая наша победа, как программистов! Вопросы касающиеся технической базы игры стали одними из первых, но их было решено отложить до этапа, когда у нас появится хоть какой-то план. Изначально была задумка на тему визуальной новеллы, так как она казалась самой простой в разработке.

Реальность оказалась сурова — самый удобный и распространенный движок Ren'Py требует хоть и базовых, но знаний языка Python. Да, нейросети могут генерировать код, но продумывать структуру проекта, переменные, циклы и прочее — это слегка выходит за рамки знаний и навыков «продвинутого пользователя ПК», а значит не очень нам подходит.

Про вещи вроде Unity лучше сразу забыть — все эти люди создающие игры в одиночку, за час с одной рукой (и то сломанной) имеют за плечами огромный опыт. Без него что-то вменяемое мы сможем собрать месяца через два. Если повезёт. А нам не повезёт.

И тут появился он — RPG Maker MZ. Это движок с невероятным уровнем автоматизации, в котором и без помощи нейросетей можно собрать вполне вменяемую JRPG сделав чуть больше чем ничего. В правильных руках движок выдает невероятный результат и отлично подходит тем, у кого есть отличная идея, но не достает знаний, способностей и времени для погружения в более сложные движки. В конце концов, именно RPG Maker подарил нам Undertale, так что создать нечто интересное можно, было бы желание.

Арты

Скажем честно, без Midjourney начинающему пользователю довольно трудно выгрузить подходящее изображение. Нейросетей полно, поэтому мы обратились к аналогам: Dream AI, Kandinsky 2.1, Playground 1.0, Stable Diffusion и Leonardo AI. Ниже отметим результаты. Попробуйте угадать, какая «система» и что выгрузила.

+ ещё 3 картинки

Полученные изображения вряд ли удастся использовать в игре, но проблема заключалась в не самых удачных текстовых описаниях (промтах) и отсутствии каких-либо конкретных настроек с нашей стороны. Каемся, исправимся…

Зато Dream AI смог скреативить и придумал неплохой постер к игре и внешний облик персонажа, за что мы ему очень благодарны.

Он же добыл и первые материалы к объектам по запросам «seamless texture! seamless background!» и «rusty metal with moss seamless texture! seamless background! old metal». Пока рановато о них думать, но пусть полежат в папочке до лучших времён.

Не будем скрывать, мы немного схитрили и воспользовались ботом Midjourney и с первой же попытки смогли вытащить крутейший кадр с идеальным визуальным стилем, цветовой гаммой и тематикой под идею. Да, с некоторыми дефектами в виде большого количества пальцев на руках. Но это пустяки — теперь полученное изображение можно использовать в качестве основы и сгенерировать фоны, сюжетные картинки под диалоги и портреты персонажей.

+ ещё 6 картинок

Что мы и сделали: оттолкнулись от оригинала и в Leonardo AI воссоздали некоторых персонажей. На этом наши попытки создать единый визуальный стиль были успешно закончены, поэтому можно заняться другими аспектами игры.

Музыка

По музыкальной части сейчас загадывать ещё слишком рано, однако мы присмотрелись к ресурсу AIVA, выбрали меланхоличную музыку, тональность, стилистику и с помощью нескольких кликов создали фоновую музыку, которую в дальнейшем можно использовать в игре. При работе над текстом нам не удалось оторваться от этих самобытных композиций, поэтому частенько держали их на повторе. Пока мы в поисках наилучшей нейросети, поэтому будем рады любым советам пользователей, которые могут подсказать хороший продукт.

По понятным причинам мы обязаны оставить дисклеймер: Soundtrack composed by AIVA (Artificial Intelligence Virtual Artist): https://www.aiva.ai

Были попытки присмотреть нейросети, озвучивающие текст. Они существуют и неплохо работают, поэтому впоследствии не будут проблемой. А пока на сегодня остановимся и перейдём к выводам, созревшим в процессе знакомства с нейросетями.

Промежуточные выводы

Несмотря на некоторые проблемы «доступа» к нейросетям от Open AI и Midjourney при разработке контента любой пользователь сможет найти обходные пути, например, воспользоваться другой, менее развитой «системой». «Танцев с бубном» сейчас не избежать, поэтому предстоит подстраиваться и выстроить процесс взаимодействия с ИИ. Сюда же добавляем некоторое время на изучение их работы, просмотр обучающих материалов и другие гайды. Это не критично, поэтому можно сразу переходить к следующему этапу разработки.

А сейчас мы хотим собрать все выводы воедино:

1. Текст — ChatGPT. Даже через бота работает вполне стабильно, поэтому легко сгенерирует большие куски текста по правильному запросу. Если человек не знает, чего он хочет, то ИИ предложит свою опцию, которая может не срастись с первоначальной задумкой автора. При попытке «на поиграться» бот предоставил неплохую идею к смешанному жанру графической новеллы и симулятора. Замысел нам понравился, но недостаточно сильно, поэтому мы быстро написали свой текст и предоставили его ИИ на доработку.
2. Движок — RPG Maker MZ. Позволит простенько и со вкусом соединить первоначальные задумки в полноценную игру. Отлично подойдёт тем, кто не хочет заниматься длительным изучением кода.
3. Арты — Dream AI, Kandinsky 2.1, Playground 1.0, Stable Diffusion и Leonardo AI. Пока отталкиваемся от концепта и пытаемся создать обложки, постеры, иконки персонажей и другие изображения, которые могут пригодиться в игре. Вариаций множество: от нас потребуется терпение и детальное изучение настроек нейросетей при генерации картинок.
4. Музыка — AIVA. Вытащили из нейросети несколько крутых композиций. Посмотрим на имеющиеся опции, поковыряемся и думаем, что музыкальное сопровождение можно оставить полностью на ИИ. Вполне вероятно потестируем опции от других разработчиков.

Перед нашими глазами не было розовых единорогов, но даже с позитивным восприятием первые впечатления получились довольно разнообразными. Без понимания работы движка, хотя бы в лице RPG Maker MZ, создать играбельный проект вряд ли получится даже при правильном использовании нейросетей. Зато современные ИИ могут заметно облегчить процесс: написать куски кода, реализовать простенькие текстовые запросы или предложить красочный визуальный.

Начинающему разработчику этого окажется вполне достаточно, но только при наличии базовых профессиональных знаний в работе с кодом. Нужно разобраться в текстовой части и заранее понять, куда будет в дальнейшем развиваться сюжет. Без этого даже с готовыми движками будет трудно. Исключений не существует: потребуется вручную выстраивать цепочки действий. Конечно, при длительном взаимодействии с ИИ можно добиться колоссальных результатов без участия пользователя, однако в любом случае придётся потратить для этого значительные усилия.

Наш путь пойдёт иначе — по кускам. Процесс организуем через сбор ответов нейросетей и соберём их в общую концепцию. Будем самостоятельно вносить некоторые корректировки, однако постараемся большую часть текста и графики оставить «на съедение» искусственному интеллекту. Мы не ограничиваем себя указанными выше продуктами, поэтому по необходимости воспользуемся всеми имеющимися в сети возможностями, о чем поделимся в следующих материалах.

Создать игру с помощью нейросетей «из ничего» на сегодняшний день невозможно: потребуется прикладывать усилия в изучении движка, вручную соединять все полученные наработки и понимать, как должна работать игра. Было очень «больно», но мы смогли разобраться в основных аспектах. В дальнейшем попробуем «поиграть» с движком, доработать концепцию по тексту «от и до» и перейти к созданию диалогов, которые могут присутствовать в игре. Посмотрим, что из этого выйдет. А пока мы будем рады любому отклику наших пользователей, поэтому, если контент получился познавательным и увлекательным или у вас появились полезные советы и идеи, обязательно отметьте это в комментариях.