OpenAI запускает конкурс Parameter Golf для создания эффективных языковых моделей

OpenAI запускают серию соревнований подготовленных членами их исследовательской команды Сейчас открыли первый челлендж openai com index parameter golf Задача обучить наилучшую языковую модель которая помещается в 16 МБ и обучается менее чем за 10 минут на 8 H100 Оценка наилучшести по сжатию отложенной части FineWeb чем лучше модель предсказывает текст тем лучше Это очень похоже на NanoGPT спидран от Andrej Karpathy только там нет ограничения на размер модели и время не задано а нужно оптимизировать Во время соревнования OpenAI ожидает работу по большому количеству направлений созданию уникальных архитектур вычисления во время тестирования агрессивная связка пар параметров рекуррентность в глубину обучение с низким рангом и т д схем сжатия низкая точность QAT битовые сети новые токенизаторы и т д и других креативных решений обучение во время тестирования длинный контекст и т д И участникам дают 1M кредитов на GPU Можно попросить 25 чтобы начать 500 чтобы протестировать набор идей и 1000 чтобы выбиться в топ Просить кредиты можно несколько раз в том числе и большие гранты Соревнование закончится 30 го апреля а в июне компания планирует нанять часть участников

OpenAI запустили конкурс для разрабов победители смогут устроиться в компанию А еще могут дать грант 1 млн на вычислительные мощности Нужно сделать свою модель но в жестких условиях веса не больше 16 Мб а обучение должно занимать не дольше 10 минут на восьми Nvidia H100 Проекты собирают здесь

OpenAI хантит таланты через конкурс Parameter Golf Компания открыла публичное соревнование для исследователей с крайне жесткими техническими ограничениями Участникам предстоит создать максимально эффективную языковую модель при этом размер весов вместе с кодом для обучения не должен превышать 16 МБ На сам процесс тренировки отводится строго до 10 минут на кластере из восьми видеокарт H100 Эффективность алгоритмов будет оцениваться на сете FineWeb Цель челленджа поиск нестандартно мыслящих инженеров Авторы лучших проектов получат приглашения на собеседование Дополнительным стимулом станет призовой фонд в 1 млн долларов который распределят в виде грантов на аренду копьюта у провайдера Runpod На GitHub уже опубликованы базовые решения github com openai parameter golf проверочные скрипты и публичный лидерборд Принять участие в конкурсе можно до 30 апреля openai com index parameter golf Python полезные ресурсы Max news ai ml openai chatgpt