techno_yandex

‍ Учёные из Yandex Research создают новые технологии, помогают внедрять их в сервисы Яндекса и двигают вперёд мировую компьютерную науку. Недавно они разработали и опубликовали в свободном доступе новый метод сжатия больших языковых моделей, который может уменьшить модель до 8 раз почти без потери качества ответов. Это позволяет запускать их на личных устройствах вроде домашнего компьютера или смартфона. Статья Yandex Research про этот метод сжатия была включена в программу одной из самых престижных в мире конференций по машинному обучению — ICML 2024. Её подготовили вместе с исследователями из Института науки и технологий Австрии ISTA и экспертами ИИ-стартапа Neural Magic. Денис Кузнеделев — один из исследователей Yandex Research, который участвовал в этом проекте. Поговорили с ним и узнали, как он пришёл в науку и чем увлекается. Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь

Meta выложила в опенсорс Llama 3.1 — флагманскую языковую модель на 405 миллиардов параметров для сравнения у GPT-4o — 175 миллиардов с контекстным окном в 128 тысяч токенов и улучшенной поддержкой 8 языков. Модель в течение нескольких месяцев обучали на 15 триллионах токенов и более 16 тысяч видеокарт NVIDIA H100. По оценке самой компании, LLama 3.1 сопоставима по качеству ответов с флагманскими закрытыми моделями конкурентов. Например, в человеческой оценке она проигрывает GPT-4o в 29,2% случаев, в 51,7% достигает паритета, а в 19,1% даёт лучший ответ. Компания также обновила свои модели на 8 и 70 миллиардов параметров — также с размером контекста 128K, заметно повысив качество их работы, и впервые открыла возможность для стороних компаний тренировать свои языковые модели на базе ответов LLama. признана в России экстремистской организацией Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь

Бренд Nothing, выпускающий необычные смартфоны, представил новую модель CMF Phone 1. Её особенность в том, что пользователь может самостоятельно снабдить смартфон дополнительными модулями, которые прикручиваются прямо к корпусу. Например, подставкой или кардхолдером. Это не первая попытка сделать смартфоны модульными и дать пользователям возможность комплектовать их дополнительным оборудованием на выбор. Собрали в карточках пять самых интересных проектов. Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь

Исследователи из Стэнфордского университета и института Epoch AI выяснили, что стоимость обучения передовых ML-моделей ежегодно возрастает в 2,4 раза. Основная часть затрат — это оборудование графические процессоры, компоненты серверов , персонал и энергопотребление. Если тенденция сохранится, то к 2027 году стоимость разработки флагманских моделей, таких, например, как GPT-4 или Gemini, превысит миллиард долларов. Один из способов сделать создание ML-моделей быстрее и дешевле — метод оптимизации обучения FSDP Fully Sharded Data Parallel . Сегодня Яндекс открыл для всех библиотеку YaFSDP — доработанную реализацию FSDP, которая позволяет на четверть ускорить обучение больших языковых моделей и при этом тратить на 20% меньше ресурсов графических процессоров GPU . Теперь YaFSDP могут использовать сторонние компании, разработчики и исследователи по всему миру. Особенно это пригодится тем, кому слишком дорого использовать мощные дата-центры. Например, стартапам и научным проектам. Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь

New York Times рассказала историю представителей народа марубо, живущих в бразильской Амазонии. Благодаря спутникам Starlink им впервые стал доступен интернет, хотя телефоны до этого у некоторых были спойлер: использование интернета ограничили несколькими часами утром и вечером + всё воскресенье . Что из этого вышло — смотрите в ролике, который мы перевели и озвучили с помощью Яндекс Браузера. Как вы думаете, может ли интернет угрожать нематериальному культурному наследию? Напишите своё мнение в комментариях. Подписывайтесь

В середине мая Исследовательский центр Пью Pew Research Center представил доклад о состоянии содержимого интернета за период 2013–2023 годов. Вопреки популярному мнению, что интернет помнит всё, оказалось, что это не так. Доступ к новостным заметкам, научным материалам, изображениям и другим данным постоянно исчезает. Причём исследователи отмечают, что в большинстве случаев это происходит потому, что удалена отдельная страница на продолжающем функционировать сайте, а не сам сайт. Исследователи назвали проблему цифровым разложением и подчеркнули, что она касается в первую очередь не маленьких частных проектов, а крупных сайтов — новостных, государственных, исследовательских и т. д. Например, 54% страниц Википедии содержат хотя бы одну ссылку, ведущую на страницу, которая больше не существует. Феномен цифрового разложения касается и социальных сетей. Например, в X бывшем Twitter 20% твитов становятся не видны пользователям уже через несколько месяцев после публикации. В 60% таких случаев аккаунт, первоначально разместивший твит, был закрыт, заблокирован или удалён. Крупнейшая в мире организацией, занимающаяся сохранением накопленной в интернете информации, — Internet Archive. Её масштабный проект Wayback Machine на текущий момент сохранил 866 млрд веб-страниц, то есть почти 100 петабайт данных, и это число постоянно растёт. Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь

20 и 21 мая Microsoft провела две презентации, на которых, помимо прочего, представила своё новое видение компьютеров на Windows — Copilot+ PC с мощными чипами для локальной работы нейросетей. Но продаваться они начнут лишь летом, а станут массовыми если станут гораздо позже. Рассказываем, как и зачем запускать большие языковые модели на своём ПК или Mac уже сейчас. Плюсы и минусы локальных нейросетей Работа без интернета — можно разговаривать с ботом вдали от цивилизации, а данные из переписки не покинут компьютер. Возможность протестировать новейшие опенсорс-модели. Необходим относительно мощный компьютер, например современный Windows-ноутбук с дискретной видеокартой или Macbook на чипе M1 и новее. Опенсорс-модели вроде Llama или Mistral лучше всего говорят на английском и намного хуже отвечают по-русски. Как запустить языковую модель на своём компьютере Сообщество энтузиастов создало для этого десятки хороших программ. Мы выбрали для примера Jan — проект с открытым кодом и очень дружелюбным интерфейсом правда, лишь англоязычным . Он опубликован на GitHub, там же или на сайте проекта можно найти версию для своей системы: поддерживаются Windows, Mac и Linux. После запуска программа сразу открывает режим чата и сообщает, что у вас пока нет локальной модели. Нужно нажать кнопку Explore The Hub — Jan откроет хаб с популярными моделями, о которых мы уже рассказывали в канале: Mistral, Llama 3, Gemma и другими. Возле каждой нейросети есть кнопка Download для скачивания и статус — лучше выбирать модели со статусом Recommended. Модели, как правило, занимают несколько гигабайт и при 100-мегабитном интернете скачиваются за несколько минут. После этого достаточно нажать на кнопку Use, и можно начинать общаться с нейросетью в режиме чата. Это правда работает без облаков? Как только вы скачали модель, она будет работать локально. Можете проверить, отключив интернет на компьютере. Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь

OpenAI отключит голос Sky в приложении ChatGPT из-за сходства с голосом Скарлетт Йоханссон. Пользователи заметили, что голос чат-бота похож на голос актрисы, которым она озвучила ИИ-ассистента по имени Саманта в фильме «Она». Адвокаты Йоханссон пишут претензии, а представители OpenAI отмахиваются от обвинений, утверждая, что наняли вместо Скарлетт другую актрису. Предлагаем провести собственное расследование и сравнить два голоса. Собрали в одном видео озвучку Sky и голос Скарлетт Йоханссон в фильме «Она» — послушайте и проголосуйте Подписывайтесь

Вчера вечером Google провела свою главную ежегодную конференцию — I/O 2024. Собрали в посте главное из того, что показали коллеги, а здесь можно посмотреть полную версию с голосовым переводом в Яндекс Браузере. — Google показала мультимодального ассистента, анализирующего видео с камеры в реальном времени. Например, можно навести камеру на достопримечательность, спросить, что это, и почти мгновенно получить голосовой ответ. Во время демонстрации Google показала работу AR-очков с ассистентом, но не раскрыла подробности о гаджете. — Gemini станет ассистентом по умолчанию в Android и научится взаимодействовать с приложениями и контентом. К примеру, если пользователь открыл длинный PDF-файл, он может попросить Gemini найти в нём ответ на интересующий вопрос. — В Android появится локальная мультимодальная нейросеть Gemini Nano. Она будет понимать не только текст, но также видео и аудио. Например, предупредит об опасности прямо во время звонка, если собеседник с незнакомым номером попросит данные банковской карты. — Поиск Google сможет генерировать развёрнутые и интерактивные ответы на сложные запросы. Компания показала, как пользователь спрашивает о йога-студиях в своём городе и просит вывести время в пути до них и актуальные скидки, а поисковик формирует ответ в виде интерактивных карточек заведений и виджета карт с метками студий. — Google разработала аналог Sora — нейросеть Veo для генерации видео по текстовому описанию. Она создаёт видео в разрешении 1080p и длиной более минуты. — Компание планирует создать ИИ-агентов, которые умеют выполнять многостадийные задачи за пользователя. К примеру, если он хочет вернуть товар, агент сможет найти на почте письмо от магазина и извлечь номер заказа, заполнить форму возврата на сайте и договориться с курьерским сервисом, чтобы он забрал товар по адресу. Также Google разрабатывает «ИИ-коллег»: они могут отслеживать проблемы в проекте и отвечать в рабочих чатах, причём даже если человек обратился ко всей команде, а не боту. Подписывайтесь

Яндекс обновил генеративную модель YandexART в Шедевруме — она создаёт картинки быстрее и качественнее предыдущей версии. Поменялся сам способ генерации: теперь модель использует метод латентной диффузии вместо каскадной, как раньше. Объясняем, в чём разница. При каскадной диффузии нейросеть создаёт небольшое изображение из визуального шума, а затем поэтапно увеличивает разрешение, добавляя на него детали рассказали тут, как это устроено . Латентная диффузия работает иначе. Алгоритм превращает текстовый запрос в так называемый латентный код — сжатое представление картинки, в котором каждый элемент содержит не только информацию о яркости и цвете, но и о структуре на фрагменте изображения. Метод диффузии с многостадийным улучшением картинки применяется именно к латентному коду, а затем из него всего за один шаг создаётся финальное изображение высокого разрешения. Поэтому теперь у YandexART получается генерировать картинки не только качественнее, но и быстрее. Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке Подписывайтесь