Google представила Genie 2 для создания интерактивных 3D миров из изображений

Гугл выпустил модель, которая генерирует играбельные 3d миры из одной картинки. Это реально невероятно.

Google удивляют всех своим новым релизом ИИ-симулятора мира Genie 2 – это так называемая world model, а иными словами игровой ИИ-движок. Это диффузионка, которая генерирует видео, основываясь на действиях пользователя кликах мышки, WASD . В общем все, как в обычных видеоиграх, только мир вокруг вас полностью создает моделька. Качество второй версии – просто отпад, судя по демо. Здесь у нас полноценные 3D миры, в то время как первая версия была способна максимум на подобие Марио. А еще сами видео очень длинные по меркам таких моделей – аж до минуты. При этом отдельно отмечают Long horizon memory, которая позволяет модели "держать в уме" части мира, которые уже были показаны. Если в них вернуться, они сильно не изменятся это довольно важная проблема таких вот моделек . Еще разработчики поработали над текстурками, физикой, согласованностью команд пользователя с игровым процессом и добавили NPC. Кстати, все-таки модель носит название world model неспроста. Авторы нескрываемо отмечают, что разрабатывают Genie не только из любви к играм, но и чтобы обучать агентов в таких вот симуляторах мира. Ведь это действительно идеальная среда для того, чтобы объяснить модели, как устроен физический мир и как в нем действовать главное не обучать на CS . В Google уже попробовали запустить в Genie такого агента SIMA, и он даже вполне успешно поиграл. Больше продвинутых инструментов найдете тут

Спроси что угодно — умный ИИ уже готов ответить

Искусственный интеллект для создания 3D-миров. Новый инструмент от Google Google представила Genie 2, продвинутый инструмент ИИ, способный генерировать полностью интерактивные 3D-миры из одного изображения. На основе предыдущей модели, которая создавала 2D-окружения, Genie 2 может моделировать сложные сценарии, такие как физическое взаимодействие и динамика окружающей среды, включая эффекты гравитации и воды.

Будущее игр уже здесь! Мы не раз говорили, что будущее игровой индустрии за искусственным интеллектом. И вот Google DeepMind сделала огромный шаг в этом направлении, представив Genie 2 - модель, способную генерировать бесконечное разнообразие интерактивных 3D-миров. Технически Genie 2 - это мировая модель с автогрессивной латентной диффузией, обученная на масштабном наборе видеоданных. Она может создавать играбельные миры по единственному изображению-подсказке, реагируя на действия пользователя через клавиатуру и мышь. Возможности системы: Создает последовательные миры длительностью до минуты Помнит и точно воспроизводит части мира, которые временно исчезают из поля зрения Моделирует сложную физику, включая гравитацию, дым, воду и освещение Анимирует персонажей и их взаимодействие с окружением Генерирует NPC с продвинутым поведением Поддерживает различные перспективы: от первого лица до изометрии Особенно впечатляет способность системы к прототипированию. Дизайнеры могут быстро превращать концепт-арты в полностью интерактивные окружения, что открывает новые возможности для разработки игр. Более того, Genie 2 может работать с реальными фотографиями, моделируя такие детали как колышущаяся трава или текущая вода. Собрали для вас кучу примеров, это какое-то сумасшествие! Хотя технология все еще находится на ранней стадии, но думаем, что через пару лет компьютерные игры ждёт глобальная встряска.