Meta та інші запустили метод прискорення BLT, при цьому пропускна здатність пам’яті зменшилась максимум на 92%

AIMPACT повідомлення, 12 травня (UTC+8), команда дослідників Meta, Стенфордського університету та Університету Вашингтона нещодавно представила три нові методи, які значно прискорюють швидкість виведення Byte Latent Transformer (BLT). BLT — це мовна модель, яка безпосередньо працює з початковими байтами, динамічно групуючи байти за допомогою стратегії розбиття на ентропійні підрозділи, що відповідає продуктивності моделей на основі токенізації. Оскільки автогресивне декодування байт потребує багаторазових прямий пропусків, пропускна здатність пам’яті стає основним вузьким місцем. Три методи прискорення такі: BLT-D використовує дискретне розсіювання по блоках, під час навчання поєднує втрати передбачення наступного байта та маскування байтів, кожен прямий пропуск генерує кілька байтів, при розмірі блоку 4 пропускна здатність пам’яті менша за BLT удвічі, при розмірі блоку 16 зменшується на 87-92%; BLT-S використовує легкий локальний декодер як спекулятивний проектор, без додаткового навчання, при жадібному декодуванні дає результати, ідентичні стандартному BLT, забезпечуючи зменшення пропускної здатності пам’яті на 77%; BLT-DV поєднує розсіювання з підготовкою та автогресивною перевіркою, однакові ваги моделі можна використовувати двонапрямно, зменшуючи пропускну здатність пам’яті на 81%. Усі методи найбільше покращують результати у завданнях перекладу, тоді як кодувальні завдання більш чутливі до розміру блоку. На базових тестах, таких як ARC-Easy, ARC-Challenge, PIQA, HellaSwag, MMLU та ін., оцінки BLT-D наближаються до базової моделі BLT, зберігаючи стабільність у здатності до виведення.