Meta запускает SAM Audio: ИИ для изоляции звуков из видео

Meta представила SAM Audio первую унифицированную ИИ модель для сегментации звука ИИ умеет изолировать любой звук из сложных аудиомиксов По сути это Segment Anything но для звука Модель поддерживает три типа промптов текстовые описываете нужный звук словами визуальные кликаете на объект в видео чтобы изолировать его звук и span prompting совершенно новый подход позволяющий отметить временной отрезок где впервые появляется целевой звук Все три метода можно комбинировать для максимально точного контроля Meta уже работает над практическими применениями и вероятно она будет внедрена во все AR и VR очки корпорации ИИ доступна в открытом доступе код выложен на GitHub а попробовать её можно прямо сейчас в Segment Anything Playground признана экстремистской и запрещена в России мMм Soft Gear Links

Вышла SAM Audio первая универсальная нейросеть которая вырезает любые звуки из видео в реальном времени с помощью простых запросов Есть три вида изоляции звука Текст пишете целевой объект лай собаки и получаете аудио дорожку только этого звука Например так можно вырезать вокал барабаны гитару и любые инструменты с максимальной точностью Визуал просто кликаете на человека или объект в кадре и забираете его звук Супер фича для шпионов можно подслушать что говорят люди даже если в видео очень шумно Span выделяете временные отрезки где слышен нужный звук и модель находит его во всей записи Абсолютно новый подход поисковик звука который упрощает работу с аудио в разы Ваш личный звукорежиссёр тут а код в опенсорс тут notboring tech

Вышла ИМБА для звукарей первая нейронка для правки звука в реальном времени Работает сразу тремя способами По текстовому промпту пишите какой звук нужен голос инструмент шум и нейронка выделяет только его По визуалу достаточно нажать на источник звука в кадре Нейросеть понимает что именно вы выбрали и изолирует этот аудиопоток По временным отрезкам выбираете фрагмент аудио или видео и указываете нужный участок а ИИ сама находит этот звук и выносит его на отдельную дорожку Забираем имбу здесь а опенсорс код тут dnevteh