«Яндекс» предоставил всем разработчикам и исследователям доступ к своей библиотеке YaFSDP, которая значительно ускоряет обучение больших языковых моделей. С её помощью обучение моделей может стать быстрее на четверть, а использование ресурсов графических процессоров может снизиться до 20%.
Эта библиотека предназначена в первую очередь для текстовых моделей, но также подходит и для нейросетей, создающих изображения. Теперь доступ к YaFSDP могут получить компании и исследователи по всему миру, что поможет сократить затраты на оборудование для обучения моделей.
Это открытие важно для стартапов и научных проектов, так как помогает решить проблему недостаточной загрузки каналов связи между графическими процессорами. Оптимизация использования ресурсов GPU на всех этапах обучения позволяет библиотеке YaFSDP эффективно распределять графическую память, не замедляя процесс.
