Содержание 4
Microsoft выпустила предварительную версию технологии RDMA поверх USB4 для разработчиков на Windows. Решение позволяет объединять вычислительные мощности и память нескольких компьютеров в единый кластер обычными кабелями, чтобы локально запускать большие языковые модели, которые не помещаются на одно устройство.
RDMA через USB4: зачем это нужно
Технология Remote Direct Memory Access передаёт данные напрямую между памятью двух систем, обходя стандартный сетевой стек. Для распределённых вычислений это критично: минимизируются задержки и с процессора снимается лишняя нагрузка. По данным исследований Microsoft, RDMA через USB4 даёт задержку передачи в пределах 28-50 микросекунд, что почти в четыре раза быстрее обычного Ethernet через тот же порт.
Главное практическое следствие — не нужны дорогие сетевые адаптеры и настройка коммутаторов. Достаточно соединить компьютеры кабелями USB4, которые уже есть у владельцев мини-ПК и ноутбуков верхнего сегмента.
Ограничение по топологии
Для полноценной связи в кластере каждое устройство должно иметь N минус один портов. Простыми словами: чтобы объединить три компьютера, хотя бы один из них должен быть оснащён двумя разъёмами USB4. Стандарт USB4 2.0 поддерживает скорость до 80 гигабит в секунду, и такой пропускной способности хватает для быстрого обмена данными между графическими процессорами и оперативной памятью разных машин.
Как это проверили
Для демонстрации Microsoft использовала мини-ПК на базе процессора Ryzen AI Max+ 395 с 128 гигабайтами оперативной памяти. Три такие машины успешно запустили модель Qwen3-235B-A22B с архитектурой Mixture-of-Experts и четырёхбитным квантованием. Это модель на 235 миллиардов параметров, которая в обычном виде не встаёт в память одного потребительского компьютера: даже с квантованием ей нужны сотни гигабайт, и объединение трёх машин как раз даёт такой объём.
Что доступно разработчикам
Провайдер NetworkDirect для USB4 и тестовая платформа на базе llama.cpp распространяются с открытым исходным кодом. Это значит, что разработчики могут свободно экспериментировать с построением собственных ИИ-кластеров на современном потребительском железе, а не на серверных ускорителях.
Для Беларуси сценарий интересен прежде всего ценой: собрать кластер из трёх мини-ПК дешевле, чем покупать один серверный ускоритель, хотя суммарная производительность будет ниже. Статус предварительной версии означает, что драйвер ещё будет меняться, и для рабочей нагрузки такое решение пока не годится.
Сравнить с серверным подходом можно в материале о Nvidia Rubin HPC, а о другом способе ускорить локальные вычисления — в разборе док-станции Ugreen U500.



