Nvidia и Стэнфорд разработали ИИ для создания минутных роликов на основе 'Тома и Джерри'

Исследователи из Nvidia и Стэнфордского университета разработали модель, которая по одному запросу создаёт ролики со «сложными историями» длиной в минуту. Для демонстрации они обучили ИИ на мультфильмах «Том и Джерри» и сгенерировали новые «серии» с персонажами vc.ru/ai/1918974

Нейросеть от NVIDIA научилась снимать мультфильмы на ходу Настоящую магию выдали исследователи из NVIDIA и Стэнфорда. Совместными силами они представили модель TTT, которая умеет не просто генерировать видео, а рассказывать целые мини-истории. Чтобы научить ИИ думать, как настоящий аниматор, его «прокачали» на классике — мультсериале Том и Джерри. В итоге с рядом оговорок, но конечный результат выглядит как большой и впечатляющий прогресс. Пф, расскажите им, что у нас уже давно целые мультфильмы от ИИ выпускают прямо в кинотеатрах!

Эти короткие видеоролики — не вырезки из «Тома и Джерри», а творчество нейросети. Разработчики из технологической компании Nvidia и Стэнфордского университета создали их, чтобы показать возможности новой модели Test-Time Training TTT . Нейросеть позволяет создавать ролики длиной в минуту по детализированному запросу. После обучения на 50 часах «Тома и Джерри» модель создаёт убедительные ролики по формулировкам вроде «Том приезжает в офис в Нью-Йорке. Джерри перегрызает кабель его компьютера». Без ошибок пока не получается — порой ни с того ни с сего изменяется освещение сцены, предметы окружения сливаются в один. Но разработчики уверены в большом будущем модели.

Ученые из UC Berkeley создали новую модель ИИ Обученная на часах отснятого материала с Томом и Джерри, модель научилась создавать многосценовые истории с персонажами, движением и последовательными визуальными эффектами. Каждый кадр полностью сгенерирован ИИ — без использования анимационного ПО, только текстовый запрос и обучающие данные. Это ранний взгляд на то, как ИИ может изменить будущее анимации и повествования. PRO AI ПОЛЕЗНЫЙ СОФТ НОВОСТИ

NVIDIA создала ИИ-модель TTT, которая по запросу делает новые серии «Тома и Джерри» и не только Специалисты NVIDIA и ученые из Стэнфордского университета разработали ИИ-модель под названием Test-Time Training TTT . Она по запросу создает минутные видео, которые «рассказывают сложные истории». Для демонстрации способностей новой нейронной сети использовали «Тома и Джерри». Читать далее

Новая модель NVIDIA Test-Time Training генерирует минутные ролики «со сложными взаимодействиями» Нейронка была обучена на 50 часах «Тома и Джерри», после чего смогла создавать новые ролики самостоятельно. Между тем, конечно, результат все еще не идеален, однако для роликов использовали модель «всего лишь» с 5 миллиардами параметров. К посту прикрепили ролик со следующим запросом: «Джерри ест сыр, Том отбирает его и дразнит мышку. Джерри собирает вещи и уходит из дома. Том грустит и идёт по его следам до Сан-Франциско. При встрече он даёт Джерри сыр в качестве извинения.» Однажды в Диджитал

Главное, чтобы ИИ не поверил, что люди могут пережить падение наковальни на голову Исследователи из Nvidia и Стэнфордского университета представили Test-Time Training TTT — нейросеть, которая создаёт видео длиной в минуту «по одному запросу». В качестве примера работы TTT показали несколько роликов, сгенерированных ИИ на основе мультфильмов «Том и Джерри». Исходный код Test-Time Training есть на GitHub. rozetked.me/news/38671

Исследователи NVIDIA и Стэнфордского университета представили технику “Test-Time Training” TTT , которая позволяет генерировать видео большей длины, чем было возможно ранее. Эта методика включает в себя добавление TTT слоев к существующим видеомоделям, что позволяет им обрабатывать видео значительно большей длины. TTT слои используют нейронные сети как память, позволяя модели запоминать и поддерживать последовательность на протяжении более длинных последовательностей. Демонстрация этой техники включала создание минутных мультфильмов с улучшенной последовательностью и повествованием, используя набор данных мультфильмов “Том и Джерри”. Бесплатный GPT Экспертный канал