Google представляет инновационную архитектуру HOPE для преодоления катастрофического забывания в AI

Ловите бомбу от Google Вложенное обучение Все как из фильма Начало Нолана Google Research представил Nested Learning которая решает одну из главных проблем современных моделей ИИ постоянное обучение Они доказали что архитектура модели и алгоритм обучения это одно и то же просто на разных уровнях Всё можно представить как вложенные задачи оптимизации которые решают одновременно Ключевые концепции Оптимизаторы это тоже модули ассоциативной памяти Память в трансформерах расширяется до Continuum Memory System спектр модулей памяти с разной скоростью обновления Идея взята из фильма Начало Нолана Каждый уровень живёт по своим законам и с разной скоростью времени верхний меняется за один токен самый глубокий раз в миллионы токенов Они создали модель Hope из 1 5 млрд параметров На данный момент она 3 е место среди всех моделей меньше 3 млрд параметров обходит Titans 1 8B Samba 1 9B RWKV 7B и даже Llama 3 1 8B по качеству языка держит 128 тысяч токенов контекста лучше Mistral 24B учится пяти новым задачам подряд и ни одну прежнюю не забывает Впервые в истории continual learning без replay без LoRA без regularization Просто потому что забывание побеждено на уровне архитектуры Какие нюансы Обучение на 35 дороже обычного Пока работает только в рекуррентных архитектурах В продакшене больших моделей пока нет Но уже есть три независимые репликации включая Mistral AI Nested Learning это новый фундамент Если идея взлетит через пару лет мы получим модели которые учатся всю жизнь как люди и никогда ничего не забывают

Google учит ИИ не забывать Главная проблема современных нейросетей катастрофическое забывание Когда модель обучают на новых данных она нередко стирает старые знания Из за этого ИИ сложно доучивать без потери адекватности отсюда и забавные случаи вроде Байден всё ещё президент В Google предложили решение подход Nested Learning Он разбивает обучение на несколько уровней одни части модели обновляются часто другие почти никогда Так ИИ запоминает новое не теряя старое Прототип под названием Hope уже показал устойчивость и точность выше чем у трансформеров и современных RNN SSM подобных моделей Если метод приживётся появятся ИИ которые смогут учиться на лету не превращаясь в забывчивых студентов

Google разработал новую парадигму которая решает главную проблему современных AI катастрофическое забывание Вместо монолитной модели Nested Learning создает систему вложенных задач где разные слои обучаются с разной скоростью как человеческий мозг Быстрые слои усваивают новое медленные хранят долговременные знания Архитектура HOPE на этой основе превзошла все аналоги достигнув перплексии 15 11 на WikiText Это прорыв к AI способному учиться непрерывно без потери навыков Бесплатный GPT Экспертный канал

Новая технология Google помогает ИИ учиться без потери информации Исследователи Google представили новый подход к машинному обучению вложенное обучение которое позволяет моделям осваивать новые задачи не теряя навыков приобретенных ранее Этот метод призван преодолеть так называемое катастрофическое забывание когда добавление новых данных приводит к утрате ранее выученной информации hightech plus 2025 11 10 novaya tehnologiya google pomogaet ii uchitsya bez poteri informacii