Google представляет архитектуру Titans для улучшения обработки данных в ИИ

Google представили новую архитектуру Titans Исследователи из Google Research представили новый подход к обработке длинных последовательностей данных, вдохновленный работой человеческой памяти. Современные языковые модели сталкиваются с серьёзным ограничением: они могут эффективно обрабатывать только ограниченный объем контекста как наша краткосрочная память - около 30 секунд . Это создает проблемы при анализе длинных текстов, где важна информация из далекого прошлого. Исследователи разработали Titans с тремя типами памяти: 1. Краткосрочная память механизм внимания - для точной обработки текущего контекста 2. Долговременная память - для хранения важной информации из прошлого 3. Постоянная память - для хранения общих знаний о задаче Система учится запоминать важную информацию так же, как это делает человеческий мозг - фокусируясь на неожиданных и значимых событиях. При этом используется умный механизм "забывания", позволяющий освобождать память от неактуальной информации. Преимущества: • Может работать с контекстом длиной более 2 млн токенов • Превосходит существующие модели в задачах обработки языка • Эффективно использует вычислительные ресурсы • Может применяться в различных областях: от анализа текстов до биоинформатики

Только что произошла главная революция в ИИ за много лет — Google перевернули обычную архитектуру нейронок. Новая система Titans станет главным двигателем прогресса в 2025 году! Коротко о важном прорыве, который приблизил нас к AGI: • В основе LLM лежат трансформеры — они обрабатывают ограниченный объем данных, забывают детали и отвлекаются на неважные вещи. • Учёные из Google добавили в эту архитектуру аж три типа памяти — получились система «Титаны»! Внутри есть краткосрочная, долгосрочная и постоянная память. • Работает как человеческий мозг — намеренно забывает неактуальную инфу, а в долгосрочную память кладёт только самое важное для запоминания. • В результате «Титаны» запоминают 2 миллиона токенов в одном чате! Можно загрузить на анализ три полных версии «Войны и мир» ЗА ОДИН РАЗ. • Это больше, чем у любых нейронок, и применимо для ЛЮБЫХ задач! Скрестили пальцы, 2025 год — год появления сознания у искусственного интеллекта. Новости AI • Бот Midjourney

Подарок для тех кто не хочет быть грустным котом в НГ

Титаны уничтожили трансформеров — Google совершили прорыв в ИИ Речь про новую архитектуру нейросетей. Традиционно в основе больших языковых моделей лежат трансформеры. За много лет использования у них было выявлено несколько серьезных изъянов: Обработка ограниченного объема данных. Потеря контекста. Проблемы с запоминанием деталей. Google решили прокачать эту архитектуру, добавив три типа памяти. Назвали они свое творение «Titans». Вот основные преимущества: Повышенное внимание: модель обладает как историческим, так и текущим контекстом и решает, какую информацию вытянуть из памяти. Модель способна определять полезность информации и хранить только нужную. Это позволяет в разы лучше управлять объемом памяти. САМОЕ КРУТОЕ: «Титаны» могут обрабатывать 2 МИЛЛИОНА токенов в одном чате. Вы можете за раз скормить нейросети для анализа почти 2 полных саги о «Гарри Поттере» 2 раза по 8 книг . Именно «Титаны» должны стать фундаментом в развитии ИИ в 2025 году. Ждем громких прорывов!