neuroadepts

Технологический рывок от Google — новая модель Gemini 2.0 Flash. Google выпустил новинку Gemini 2.0 Flash, и это заметный шаг вперёд. Разберёмся, что здесь интересного: • Stream Realtime — самая крутая фича, с которой модель может видеть ваш экран и подсказывать в рилтайме: от анализа кода до подсказок в играх. • Код и тексты — Flash стал ещё сильнее в написании кода и генерации текста. Результаты сложно отличить от работы копирайтера или разработчика. • Поддержка мультимедиа — модель теперь работает не только с текстом, но и с видео, аудио и любыми другими данными. Контекстное окно — до 1 млн токенов. Gemini 2.0 Flash — не просто модель для текста, а инструмент, который начинает понимать контекст экрана и взаимодействовать с ним. Революция? Скорее эволюция, но очень уверенная. Попробуем бесплатно с VPN.

OpenAI открыла доступ к Sora. Мы ждали этого почти год, давайте разбираться, оправдались ли ожидания: Что умеет? – Генерация видео по тексту, изображениям и другим видео. – Создание длинных роликов из нескольких сцен до 10 , каждая сцена — отдельный промт. – Возможность миксовать, ремиксить и зацикливать видео. Сильные стороны: – Отлично справляется с абстракциями, анимационными стилями и пейзажами. – Реализм, особенно в телепередачах и новостных сюжетах. – Удобный интерфейс с галереей, папками и доступом к чужим промптам для вдохновения. Ограничения: – Физика объектов и движение персонажей иногда выглядят странно. – Генерации с текстом и сложными деталями всё ещё далеки до идеала. – Переходы между сценами не всегда согласованы. Длина видео — до 20 секунд, разрешение до 1080p, но генерацию можно продлевать до 5 раз. На создание одного ролика уходит от 20 секунд до 2 минут. Доступ дают всем подписчикам ChatGPT — и Plus $20 , и Pro $200 . Подписчикам Plus дают 50 генераций в месяц, а Pro — до 500 быстрых генераций, а при превышении лимита — "медленная очередь". Маркесу Браунли уже дали пощупать Sora. Судя по его примерам, она во многом обгоняет конкурентов, но всё ещё страдает схожими болячками: объекты появляются из ниоткуда и также пропадают, путаются ноги, а передвижения людей нереалистичные. Что ж, вперед тестить долгожданную нейронку — sora.com не забываем про VPN .

xAI выпустили Aurora и сделали Grok бесплатным. Илон Маск продолжает баловаться с ИИ. Теперь у него новый генератор изображений — Aurora, доступный прямо в X ex. Twitter через вкладку Grok. • Aurora генерирует фотореалистичные картинки, но пока уступает FLUX. • Работает на русском языке. • Может генерировать изображения знаменитостей, но без NSFW-контента не об этом Илон мечтал . Grok 2 теперь бесплатный: • Можно кидать до 10 запросов каждые 2 часа. • Работает через VPN лучше ставить США , также нужен аккаунт в X. • Если хочется больше запросов, придётся подключить X Premium.

OpenAI опять в центре скандала. А разразился он вокруг нашумевшей нейросети для генерации видео — Sora. Группа бета-тестеров, получивших ранний доступ к модели, намеренно слила интерфейс системы в открытый доступ. В основе протеста — недовольство художников тем, как OpenAI использует их труд. Несмотря на недавнюю оценку компании в $150 млрд, сотни художников привлекаются для тестирования и обратной связи без оплаты. Особенно триггерит тестеров то, что от OpenAI нужно получить одобрение на публикацию каждого видео, созданного в Sora. "Мы не ваши бесплатные тестировщики багов и пиар-марионетки", — заявляют художники в открытом письме. OpenAI в ответ подчеркивает добровольность участия в программе и отмечает поддержку художников через гранты и мероприятия. При этом компания не подтверждает подлинность утечки. Лавочку уже прикрыли, но в X сейчас много новых видео, которые сделали с помощью "слитой Sora". Видео отличаются высокой консистентностью, динамикой и адекватной анатомией. Плюс на них есть водяной знак OpenAI, который, конечно, можно было подделать. Что думаете, Sora ли это на самом деле или может часть маркетинговой кампании?

Gen-3 Alpha Turbo научился расширять границы видео. Runway анонсировали Expand Video. Инструмент позволяет плавно выходить за пределы границ кадра, чтобы превратить горизонтальные видео в вертикальные и наоборот — без ущерба для деталей или кадрирования. Система анализирует контекст сцены и создает логичное продолжение, поддерживая разные стили и жанры. Для получения лучшего результата рекомендую загружать видео, где главный объект находится в центре кадра, и в ролике нет графики или текста. Как работает: • Переходим в Generative Video и выбираем модель Gen-3 Alpha Turbo; • На боковой панели жмем Expand Video — Select Video и загружаем свой ролик пока максимальная длительность — 4 секунды ; • Выбираем нужное разрешение: 1280х768 или 768х1280; • Добавляем текстовую подсказку и жмем Genetate. Можно запустить несколько расширений подряд, чтобы создать общие планы сцены, а затем наложить исходный материал на расширенное полотно для получения кинематографичного эффекта. Обновление уже раскатывают всем пользователям бесплатно.

BlackForest Labs выпустили пачку контролнетов для FLUX.1 под названием FLUX.1 Tools. Вернее, это полноценные модели по 24Гб со встроенным функционалом контролнета. Depth и Canny есть также в виде лоры. Сюда входят: • FLUX.1 Fill — модель для инпейтинга и аутпейтинга, позволяющая вписывать/менять объекты на картинках или расширять кадр. • FLUX.1 Depth — изменение картинки на основе карты глубины. • FLUX.1 Canny — изменение картинки на основе карты очертаний. • FLUX.1 Redux — адаптер для получения вариаций изображения. Доступно по API для [pro] и в опенсорсе для [dev] А также на сайтах партнеров: fal.ai, Replicate, Together.ai, Freepik, krea.ai.

Suno выпустили V4 своего генератора музыки. Что нового: • Нам обещают чистые голоса и насыщенную структуру треков; • Самое интересное — свои старые треки теперь можно добить до качества V4 вероятно работает только с генерациями внутри Suno . Бесплатно можно проапгрейдить 1 трек; • Улучшенное создание текстов с помощью ReMi; • Старые фичи Covers и Personas тоже получили апгрейд; • Обновился раздел Explore — можно покрутить барабан обновленных жанров; • Также обновили дизайн музыкальных обложек. Suno V4 пока доступна только платным подписчикам.

Mistral AI выпустили мультимодальную модель с 124 млрд параметров и обновили чат-бот Le Chat. • Pixtral Large — мощная LLM, которая сочетает текстовый анализ и обработку изображений. Судя по бенчмаркам, она превосходит конкурентов в распознавании текста OCR , анализе графиков и документов. • Le Chat теперь ищет ответы в интернете и приводит ссылки на источники. Чтобы включить веб-поиск нажимаем на кнопку Web Search под полем для запроса. Также появилась генерация изображений. Под «капотом» — модели Flux от стартапа Black Forest Labs. Они же используются в чат-боте Grok. Включить генерацию можно по кнопке под полем для запроса — Image Generation. Режим Canvas запускает 2 окна — это «холст» для работы над текстом и кодом и диалог с чат-ботом ChatGPT выпустил такой же режим в октябре 2024 года, но для платных подписчиков . Тестим бесплатно на сайте, веса лежат тут.

В видеоредакторе Final Cut Pro 11 появились ИИ-фичи. Apple анонсировали релиз Final Cut Pro 11 спустя 13 лет после выпуска прошлой версии. Вот самое интересное: • Magnetic Mask — новый инструмент на базе ИИ, который выделяет людей и объекты в видеоклипе без использования хромакея и без необходимости обработки кадра вручную. • Transcribe to Captions — создает субтитры, анализируя речь видео с помощью языковой модели, обученной Apple работает на Мас с чипами M, работающих на macOS Sequoia . • Появилось редактирование пространственных видео, снятыми с Vision Pro, iPhone 15 Pro и выше. Можно добавлять титры, применять цветокоррекцию и эффекты, а затем отправлять полученные ролики на Vision Pro также требуется Mac с чипом M . Также вышел и Final Cut Pro 2.1 для iPad. В нём можно добавлять собственные анимации Live Drawing, появились эффекты улучшения света и сцен, новые эффекты кадрирования, а на временной шкале поддерживаются варианты 90, 100 и 120 кадров в секунду для повышения плавности картинки. Новые версии Final Cut Pro для Mac и iPad уже доступны в App Store.

ByteDance соединили генерацию и редактирование изображений. SeedEdit — большая диффузионная модель для редактирования на основе промпта. Она оптимально балансирует реконструкцию и повторную генерацию изображений, позволяя выполнять последовательные правки изображения. По простому текстовому запросу SeedEdit позволяет: стилизовать, менять надписи на изображении, менять освещение, фон, позы, выражения лица, заменять, удалять, добавлять объекты и многое другое. Подробнее можно почитать тут, а затестить демку на huggingface.