Ученые Т-Банка разработали нейросеть для эффективной обработки текстов

Российские ученые создали нейросеть для ускоренной обработки длинных текстов. В Т-Банке сообщили, что в перспективе это позволит шире применять языковые модели в бизнесе

Новая нейросеть // Российские учёные создали нейросеть ReBased, которая ускоряет работу с длинными текстами. Подробнее — в нашем материале.

В Бангкоке сегодня завершается главная научная конференция по компьютерной лингвистике ACL в мире. Российские ученые из лаборатории исследований ИИ T-Bank AI Research представили на ней нейросеть для ускоренной обработки длинных текстов. Технология ReBased позволяет сократить расходы компаний на ИИ, шире применять языковые модели в бизнесе, а также уменьшить негативное влияние на окружающую среду за счет снижения потребления энергии. Работу наших ученых уже цитировали исследователи из Принстона и Университета Карнеги — Меллона. Ученые из Стэнфордского университета выступили с альтернативным решением такой же исследовательской проблемы. «Мы рады возможности участвовать в научном диалоге такого уровня», — рассказали в российской лаборатории.

На ACL показали новую архитектуру быстрых языковых моделей Статью про новую архитектуру уже успели процитировать Принстонский университет и университет Карнеги-Меллона, а с 11 по 16 августа ребята из лаборатории T-Bank AI Research выступали с ней на ACL – главной NLP’шной конфе мира. Идея исследования: трансформеры крутые, но медленные, а линейные модели быстрые, но не очень крутые. Как найти между ними баланс? В T-Bank AI Research предложили взять модель Based, которая сочетает в себе обучаемое ядро для линейных трансформеров и короткие свертки, и немного подправить это самое ядро. Они добавили новые обучаемые параметры и упростили аттеншен. В итоге метрики подскочили, модель стала лучше работать с длинным контекстом и в среднем понимание взаимосвязей в тексте улучшилось на 10%. Получается, ребятам удалось взять линейную модель и приблизить ее по качеству к трансформеру: скорость, экономия ресурсов и перформанс в одном флаконе. Подробнее об экспериментах и результатах можно прочитать в статье, а вот тут лежит исходный код и доп.материалы.

Linear Transformers with Learnable Kernel Functions are Better In-Context Models, ACL 2024 Скачать исследование Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research представили на 63-й Международной ежегодной конференции по компьютерной лингвистике ACL новую архитектуру быстрых языковых моделей ReBased. В модели Based, представленной учеными Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения, специалисты T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети. Проведя анализ архитектуры Based, ученые из T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. Ученые также упростили алгоритм выделения текстовой информации. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%. Новая архитектура, предложенная учеными, позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества. Physics.Math.Code //

Снижение бизнес-расходов на ИИ станет возможным Российские исследователи из лаборатории T-Bank AI Research разработали новую нейросеть ReBased, которая ускоряет обработку длинных текстов и помогает снизить затраты на применение ИИ без потери качества. Технология увеличит возможности использования языковых моделей в бизнесе. Нейросеть ReBased представляет собой новую архитектуру языковых моделей, которая играет ключевую роль в эффективности и точности работы ИИ. Специалисты оптимизировали механизм извлечения информации и добавили новые обучаемые параметры для улучшения поиска взаимосвязей в тексте. Также они упростили алгоритм выделения текстовой информации, повысив производительность. В результате среднее улучшение понимания взаимосвязей у ReBased составило 10%.

Ученые из лаборатории исследований ИИ T-Bank AI Research разработали нейросеть ReBased для ускоренной обработки длинных текстов. Новая технология сокращает расходы на использование ИИ практически без потерь в качестве. В перспективе это позволит шире применять языковые модели в бизнесе, сообщили в Т-Банке. / Наука

Российские учёные представили в Бангкоке новую нейросеть ReBased. Ее создали в лаборатории исследований ИИ T-Bank AI Research. Она быстрее, умнее, тратит меньше ресурсов и лучше решает специализированные задачи — идеально для медицины и других отраслей. ReBased на 10% лучше понимает контекст и взаимосвязи в тексте. Научную работу цитировали Принстонский университет и Университет Карнеги — Меллона. Почти все языковые модели в мире используют именно их наработки.

Ученые из России представили новое научное открытие в Бангкоке. На главной мировой конференции по компьютерной лингвистике ACL рассказали о нейросети ReBased, которая ускоряет обработку длинных текстов и сокращает расходы на использование ИИ. Ее создали ученые из научно-исследовательской лаборатории T-Bank AI Research. Технология может помочь бизнесу использовать меньше вычислительных ресурсов, снизить нагрузку на центры обработки данных и сократить выбросы парниковых газов. «Примечательно, что параллельно с выходом нашей статьи группа исследователей из Стэнфорда выпустила исследование на эту же тему, но с другим подходом к решению. Мы рады возможности участвовать в научном диалоге такого уровня», — сообщили в лаборатории.

В Бангкоке представили новое научное открытие российских ученых. На главной международной конференции по компьютерной лингвистике рассказали о нейросети для ускоренной обработки длинных текстов, созданной в научно-исследовательской лаборатории T-Bank AI Research. Теперь ИИ лучше решает специализированные текстовые задачи — например, в медицине. При этом ИИ расходует меньше ресурсов, повышая энергоэффективность и снижая негативное влияние на окружающую среду. На исследование ученых ссылаются Принстонский университет и Университет Карнеги — Меллона. Почти все языковые модели в мире используют именно их наработки, говорится в сообщении лаборатории. #AINews