«Поисковик» разработал решение для экономии на внедрении нейросетей до восьми раз

Команда Yandex Исследование вместе с исследователями из Института науки и технологий Австрии (ISTA) и Научно-технологического универа имени короля Абдаллы в Саудовской Аравии (KAUST) разработала и опубликовала новые способы сжатия огромных языковых моделей. Как указывается, они посодействуют бизнесу уменьшить расходы на вычислительные запасы до восьми раз.

Решение компании включает 2-ва инструмента. 1-ый позволяет получить уменьшенную до восьми раз нейросеть. 2-ой инструмент исправляет ошибки, которые появляются в процессе сжатия немаленький языковой модели.

Новые способы сжатия нейросетей уже доступны для внедрения. Спецы также могут загрузить уже сжатые при помощи новых способов пользующиеся популярностью модели с открытым начальным кодом. Также, исследователи Yandex Исследование выложили обучающие материалы, которые посодействуют разработчикам дообучить уменьшенные нейросети под свои сценарии.

Научная статья Yandex Исследование о способе сжатия AQLM была включена в программку конференции ICML. Статья была подготовлена вместе с исследователями из Института науки и технологий Австрии (ISTA) и профессионалами ИИ-стартапа Neural Magic.