Запуск ИИ-движка Genesis для симуляции физики и робототехники

Сегодня ночью случилась РЕВОЛЮЦИЯ — вышел ИИ-движок для физики Genesis. Что оно такое: это платформа для симуляции физики в виртуальных мирах с нотками нейросетей — сгенерировать можно что угодно. Основная идея заключается в том, чтобы создавать 3D-миры с реалистичной физикой и что-то в них делать: тренировать роботов, делать исследования по физике или вообще создавать анимации для игровых персонажей и объектов. А чего такой хайп? Genesis жутко быстрый в 10-80 раз быстрее конкурентов и очень неприхотливый — чтобы научить робота ходить, нужна 4090 и 26 секунд времени. Чтобы вы понимали, насколько это мощно — в реальной жизни такая же тренировка робота может занимать до 129 ДНЕЙ! Ну и да, Genesis умеет генерировать все нужное для работы: хоть 3D-окружение, хоть физику, хоть сами анимации. Разработчики даже предлагают физикам исследовать поведение воды в различных средах на их движке. Ждёт первые крутые анонсы на Genesis!

Одного текстового запроса теперь достаточно, чтобы создать 3D-сцену с реалистичной физической моделью, движением камеры и объектов. Такие возможности предлагает новая ИИ-платформа Genesis. Её разработала группа учёных из американских, китайских и британских университетов, а также Nvidia. Использовать Genesis, очевидно, предлагают для записи реалистичных видео. Но платформу уже начали применять в робототехнике: для генерации стратегий управления техникой и демонстрации её навыков в различных сценариях. В отличие от Sora и других подобных сервисов, Genesis AI буквально решает задачу по 3D-моделированию сцены. При этом делать руками ничего не нужно: второе видео из приложенных сгенерировали по всего одному запросу: «A miniature Wukong holding a stick in his hand sprints across a table surface for 3 seconds, then jumps into the air, and swings his right arm downward during landing. The camera begins with a close-up of his face, then steadily follows the character while gradually zooming out. When the monkey leaps into the air, at the highest point of the jump, the motion pauses for a few seconds. The camera circles around the character for 360 degrees, and slowly ascends, before the action resumes» А на третьем клипе можно увидеть, как генерация Genesis сходится с реальным поведением робота от Boston Dynamics при повторении одних и тех же действий. Разработчики утверждают, что Genesis полностью написан на Python и максимально оптимизирован. Даже более того: они называют его самым быстрым физическим движком в мире. Скорость его симуляции может быть в 10-80 раз быстрее !!! , чем, например, в уже существующих Gym/Sim/Lab, Mujoco MJX и других. Разработчики также говорят о скорости моделирования в 430 тысяч раз быстрее реального времени. Платформа Genesis способна достоверно воспроизводить свойства целого ряда физических материалов и явлений полного списка, впрочем, беглым взглядом найти не удалось . Исходный код базового физического движка и инструментов моделирования Genesis уже доступен на GitHub. Доступ к генеративному фреймворку обещают раскатить позже.

Подарок, который точно не разочарует

Вышел движок для симуляций/робототехники Genesis. Поверх физического движка будет генеративный фреймворк который будет генерить 3D сцены, движение камеры, людей/животных/роботов, анимации лица и видео по тексту. Физический движок должен быть очень быстрыми и реалистичным, его заопенсурсили и он доступен ниже на гитхабе. Генеративный фреймворк - отдельно, его не опенсурсят.

Сегодня ночью представили очень обалденную штуковину под названием Genesis. Это платформа для создания 3D миров с самой РЕАЛИСТИЧНОЙ ФИЗИКОЙ! А делать в этих мирах можно всё, что угодно! Все эти миры и объекты создаются по обычному, уже привычному текстовому запросу. Мне кажется это куда более интереснее, нежели обычная генерация видео, вы просто зайдите на сайт и взгляните на все работы. Но стоит упомянуть, что это не только для создания различных красивых персонажей и анимации их. По большей части, этот движок рассчитан для разработчиков, которым необходимо выполнять различные физические моделирования, значительно сокращая циклы разработки, например ПО для роботов.

Китайцы перевернули игру: вышла нейросеть Genesis, которая СИМУЛИРУЕТ реальность! Почему это прорыв: • Genesis не просто анимирует картинки, как Sora, а создает 3D-миры с реальной физикой. • Учитывает свойства материалов и их взаимодействие. • Написан на Python и в 10–80 раз быстрее стаков вроде Isaac Gym или MJX. • Поддерживает ускорение на GPU и работает даже на хай-энд карточках NVIDIA. • Абсолютно бесплатен для использования. Посмотрите, как это работает, и скачайте движок — вот тут.

19 мировых лабораторий совместно выпустили в опенсорс Genesis – самый быстрый в мире ИИ-движок для симуляции физики в 4D Чтобы обучить одного агента ходить, в Genesis достаточно всего 26 секунд на одной видеокарте RTX 4090, а в реальном мире на это ушло бы 430,000 раз больше времени и куда больше ресурсов. 1 DevHub