В последнее время наши клиенты всё активнее создают рабочие станции для генерации и тестирования моделей искусственного интеллекта. Обычные настольные компьютеры, оснащённые видеокартами NVIDIA или AMD, представляют собой одно из возможных решений, однако основным ограничением является объём оперативной памяти GDDR, размещённой на видеокарте. Даже у самых мощных на сегодняшний день игровых видеокарт серии RTX 5090 этот объём составляет 32 ГБ, что не позволяет запускать на них наиболее популярные модели искусственного интеллекта с открытым исходным кодом.
Неделю назад мы получили от клиента заказ на гораздо более серьезное решение — рабочую станцию необходимо оснастить двумя видеокартами RTX PRO 6000 Blackwell Workstation Edition, а остальная конфигурация компьютера должна соответствовать требованиям и быть способной «подпитывать» эти карты данными.
Эта видеокарта оснащена 96 ГБ памяти GDDR7 ECC. В системе установлены две видеокарты, поэтому в сумме физически доступно 192 ГБ памяти GDDR7. К этому добавляются 24-ядерный процессор AMD Ryzen Threadripper 9960X, 256 ГБ оперативной памяти DDR5 ECC, общий объём дисков NVMe 8 ТБ и блок питания мощностью 2500 Вт с сертификатом 80 PLUS Platinum.
Зачем нужны две столь мощные видеокарты? В крупных проектах в области искусственного интеллекта и 3D ограничивающим фактором зачастую становится не стремление завершить работу на несколько секунд раньше, а то, поместится ли модель, набор данных или сцена в общем объёме доступной высокоскоростной памяти GDDR7.
Две видеокарты RTX PRO 6000 расширяют границы возможного
PNY RTX PRO 6000 Blackwell Workstation Edition — это графический процессор профессионального класса с 24 064 ядрами CUDA, ядрами Tensor пятого поколения и 96 ГБ памяти GDDR7 с ECC. Пропускная способность памяти достигает 1792 ГБ/с, а максимальная потребляемая мощность одной карты составляет 600 Вт.
С помощью двух видеокарт можно одновременно запускать несколько независимых друг от друга сервисов искусственного интеллекта или распределить одну большую задачу между обеими видеокартами. Например, одна карта может работать с языковой моделью, в то время как другая генерирует изображения, выполняет рендеринг или используется в процессах разработки. 
Однако 2 × 96 ГБ не означает автоматически наличие единого пула VRAM объемом 192 ГБ. Программное обеспечение должно уметь распределять модель, сцену или вычисления между обеими картами. В среде искусственного интеллекта используется тензорный или конвейерный параллелизм, а для рендеринга требуется поддержка нескольких графических процессоров. Если какое-либо из приложений использует только одну карту, рабочим процессам по-прежнему будет доступно 96 ГБ.
Дополнительную гибкость обеспечивает поддержка MIG: каждую карту RTX PRO 6000 можно разделить на несколько изолированных экземпляров GPU, например, на четыре части по 24 ГБ или две части по 48 ГБ. Это позволяет надежно распределить одну физическую карту между несколькими сервисами искусственного интеллекта или командами разработчиков, выделяя для каждой задачи свой объем ресурсов.
Платформа, предназначенная для нескольких графических процессоров
Две такие видеокарты нельзя просто установить в обычный «игровой» компьютер. Необходимы правильно расположенные слоты PCIe, достаточное количество линий PCIe, поддержка памяти ECC и стабильная система питания.
На помощь приходит материнская плата ASUS Pro WS TRX50-SAGE WIFI A, которая оснащена тремя слотами PCIe 5.0 x16, дополнительным слотом PCIe 4.0 x16, память ECC RDIMM объёмом до 1 ТБ, а также сетевые интерфейсы Ethernet со скоростью 10 Гбит/с и 2,5 Гбит/с. Высокоскоростное сетевое соединение особенно полезно при передаче больших моделей, наборов данных и проектных файлов. Плата предназначена для длительных профессиональных нагрузок и поддерживает также плату расширения ASUS IPMI, с помощью которой можно осуществлять удалённый мониторинг и управление даже в ситуациях, когда операционная система перестаёт отвечать.
Сердцем системы является процессор AMD Ryzen Threadripper 9960X с 24 ядрами и 48 потоками. Пока графический процессор выполняет вычисления, процессор подготавливает данные, осуществляет токенизацию, обрабатывает запросы API и обеспечивает работу остальных сервисов. Материнская плата ASUS также поддерживает модели серии PRO, однако в данном компьютере используется стандартный процессор Threadripper 9960X.
256 ГБ памяти ECC
В рабочей станции установлены четыре модуля Micron DDR5-5600 ECC RDIMM объёмом 64 ГБ. В данной конфигурации задействованы все четыре канала памяти процессора Threadripper, что обеспечивает как большую ёмкость, так и высокую пропускную способность.
Память ECC отличается, в частности, тем, что способна обнаруживать и исправлять однобитовые ошибки. В профессиональной системе, выполняющей вычисления в течение нескольких часов или дней, исправление данных такого рода представляет большую ценность. Модули RDIMM сами по себе повышают стабильность сигнала и подходят для памяти большого объёма.
Оперативная память (RAM) необходима для обработки данных, работы виртуальных машин, баз данных и 3D-сцен. Поэтому 192 ГБ памяти графического процессора и 256 ГБ системной оперативной памяти не являются конкурирующими ресурсами — они дополняют друг друга.
Мощность и охлаждение для продолжительной работы
Обе видеокарты при полной нагрузке могут потреблять до 1200 Вт, а TDP процессора Threadripper 9960X составляет до 350 Вт. Блок питания FSP Cannon Pro мощностью 2500 Вт с интерфейсами ATX 3.1, PCIe 5.1 и эффективностью 80 PLUS 230V EU Platinum обеспечивает необходимый запас мощности даже при кратковременных скачках потребления — то есть это не означает, что компьютер будет постоянно потреблять 2,5 кВт. Это означает, что блоку питания не придется работать на пределе своих возможностей. 
Охлаждение процессора обеспечивает кулер Noctua NH-U14S TR5-SP6, основа которого специально разработана для большой поверхности процессора sTR5. Корпус Fractal Design Epoch XL обеспечивает место для обоих графических процессоров и свободную циркуляцию воздуха, а три вентилятора Arctic P12 Pro PST способствуют отводу тепла при длительной нагрузке.
8 ТБ места для моделей и проектов
В системе установлены два SSD- на копителя Samsung 990 PRO NVMe Gen4 объемом 2 ТБ каждый и один — объемо м 4 ТБ, что в сумме составляет 8 ТБ. Один диск можно использовать для операционной системы, второй — для активных проектов, а третий, самый объёмный, — для моделей и наборов данных. Фактическое распределение, разумеется, зависит от индивидуального рабочего процесса каждого клиента.
Сборка и тестирование — это не просто формальность
При установке двух видеокарт RTX PRO 6000 необходимо учитывать не только наличие свободных слотов PCIe. Необходимо проверить расстояние между картами, изгиб кабелей 12V-2×6, а также убедиться, что провода не мешают работе вентиляторов. В такой системе тщательная прокладка кабелей напрямую влияет на эффективность охлаждения.
После первого включения мы убедились, что BIOS распознает все 256 ГБ оперативной памяти и диски NVMe, а драйвер NVIDIA — оба графических процессора. Затем мы протестировали процессор, память и каждую видеокарту по отдельности, а также провели длительный нагрузочный тест с одновременной работой обоих графических процессоров. Температура, частота и энергопотребление оцениваются в течение нескольких часов, а не только в ходе кратковременного теста производительности. Только после такой проверки мы можем с уверенностью передать рабочую станцию для длительной эксплуатации в профессиональной среде.
На что способна такая рабочая станция?
В среде искусственного интеллекта эту рабочую станцию можно использовать для запуска и настройки крупных языковых моделей с помощью методов LoRA или QLoRA, а также для разработки решений в области генеративного ИИ, таких как изображения, видео и другие. Если программное обеспечение способно распределить модель между двумя графическими процессорами, становится возможным работать даже с решениями, которые не поместились бы на одной карте объёмом 96 ГБ.
В 3D-среде обе карты можно использовать в Blender, V-Ray, Octane или Redshift, если выбранный рендер-движок поддерживает работу с несколькими графическими процессорами. Система также подходит для работы с CAD, моделирования, научных вычислений на базе CUDA, обработки видео в форматах 4K и 8K, а также для масштабирования с помощью искусственного интеллекта.
Наличие второго графического процессора само по себе не гарантирует удвоенной производительности. Прирост производительности зависит от конкретной программы и от того, насколько эффективно распределяется задача. Однако в проектах, рассчитанных на работу с несколькими графическими процессорами, такая конфигурация открывает возможности, недоступные для систем с одной видеокартой.
Профессиональный инструмент для конкретной работы
Этот компьютер нельзя оценивать по показателям FPS в играх или по результатам одного краткого теста. Он создан для длительной обработки больших моделей искусственного интеллекта, рендеринга сложных сцен и выполнения сложных профессиональных вычислений.
Две видеокарты RTX PRO 6000 Blackwell обеспечивают огромную производительность графического процессора и в сумме 192 ГБ памяти, однако результат определяется всей платформой в целом — возможностями PCIe процессора Threadripper, 256 ГБ оперативной памяти ECC, блоком питания на 2500 Вт, продуманной системой охлаждения и программным обеспечением, способным эффективно использовать обе видеокарты. В такой системе каждая деталь выполняет свою конкретную задачу.
Мы рады, что клиент выбрал TopPC.ee в качестве партнера для создания этой рабочей станции — это действительно был очень интересный и сложный проект.