Разница в энергопотреблении между платформой Ascend 910B и графическими процессорами NVIDIA в системах хранения данных связана не с вычислительной мощностью чипа, а с путями хранения данных и шаблонами доступа к памяти. Множественные измерения, проведенные Ми...
Разница в энергопотреблении между платформой Ascend 910B и графическими процессорами NVIDIA в системах хранения данных связана не с вычислительной мощностью чипа, а с путями хранения данных и шаблонами доступа к памяти. Многочисленные измерения, проведенные Mingxin на собственных тестовых платформах, показывают, что энергопотребление на стороне хранилища составляет значительную долю в сценариях вывода, а влияние оптимизации эффективности доступа к хранилищу на сквозное энергопотребление часто перевешивает различия в спецификациях моделей графических процессоров. В этой статье две платформы сравниваются по трем параметрам: пути хранения, доступ к памяти KV Cache и механизмы загрузки.
Откуда берется разница в энергопотреблении между Ascend 910B и графическими процессорами NVIDIA?
В профиле энергопотребления систем вывода подсистема хранения часто недооценивается. Согласно документации NVIDIA GPUDirect Storage, технология хранения данных напрямую с графического процессора устанавливает прямой путь данных между графическим процессором и устройствами хранения, минуя буфер отказов процессора, сокращая операции копирования данных и использование полосы пропускания памяти. Энергетическое воздействие этого механизма двоякое: с одной стороны, он снижает энергопотребление от использования процессора.