Meie kliendid on viimasel ajal üha aktiivsemalt rajanud tööjaamu tehisintellekti mudelite genereerimiseks ja testimiseks. Tavalised lauaarvutid, mis on varustatud NVIDIA või AMD videokaartidega, on üks võimalik lahendus, kuid peamine piirang on videokaardil asuva GDDR-mälumaht. Isegi praegu kõige võimsamate RTX 5090 mänguvideokaartide puhul on see 32 GB, mis ei võimalda neil käitada populaarsemaid avatud lähtekoodiga AI-mudeleid.
Nädal tagasi saime kliendilt tellimuse palju tõsisema lahenduse jaoks – tööjaam tuleb varustada kahe RTX PRO 6000 Blackwell Workstation Edition graafikakaardiga, ning ülejäänud arvuti konfiguratsioon peab olema sobiv ja suutma neid kaarte andmetega „toita“.
See videokaart on varustatud 96 GB GDDR7 ECC-mäluga. Süsteemis on kaks videokaarti, mistõttu on kokku füüsiliselt kättesaadav 192 GB GDDR7-mälu. Seda täiendavad 24-tuumaline AMD Ryzen Threadripper 9960X protsessor, 256 GB DDR5 ECC operatiivmälu, 8 TB NVMe kogu kettamaht ja 2500 W 80 PLUS Platinum toiteplokk.
Miks on vaja kahte nii võimsat kaarti? Suurtes AI- ja 3D-projektides ei määra piire sageli mitte soov tööd mõne sekundi võrra kiiremini lõpetada, vaid see, kas mudel, andmekogum või stseen mahub üldse olemasoleva kiire GDDR7-mälu mahu sisse.
Kaks RTX PRO 6000-seeria kaarti nihutavad võimaluste piire
PNY RTX PRO 6000 Blackwell Workstation Edition on professionaalse klassi graafikakaart, millel on 24 064 CUDA-tuuma, viienda põlvkonna Tensor-tuumad ja 96 GB GDDR7 ECC-mälu. Mälusiirde laius ulatub 1792 GB/s-ni, ühe kaardi maksimaalne võimsustarbimine on 600 W.
Kahe graafikakaardiga on võimalik samaaegselt käitada mitut üksteisest sõltumatut AI-teenust või jagada üks suur ülesanne kahe graafikakaardi vahel. Näiteks võib üks kaart töötada keelemudeliga, samal ajal kui teine genereerib pilte, renderdab või kasutatakse arendusprotsessides. 
Siiski ei tähenda 2 × 96 GB automaatselt üht ühist 192 GB VRAM-i mäluplokki. Tarkvara peab oskama jagada mudelit, pilti või arvutusi kahe kaardi vahel. Tehisintellekti keskkonnas kasutatakse tensor- või konveierparalleelsust, kuid renderdamisel on vaja mitme GPU toetust. Kui mõni rakendus kasutab ainult ühte kaarti, on tööprotsessidele endiselt kättesaadavad 96 GB.
Lisapaindlikkust pakub MIG-tugi – iga RTX PRO 6000-i on võimalik jagada mitmeks isoleeritud GPU-instantsiks, näiteks neljaks 24 GB või kaheks 48 GB osaks. See võimaldab ühe füüsilise kaardi turvaliselt jagada mitme AI-teenuse või arendusmeeskonna vahel, eraldades igale ülesandele oma ressursikoguse.
Mitmele GPU-le mõeldud platvorm
Kaks sellist videokaarti ei saa lihtsalt tavalisse „mänguarvutisse“ paigaldada. Vaja on õigesti paigutatud PCIe-pesasid, piisavat arvu PCIe-liine, ECC-mälu toetust ja stabiilset toitesüsteemi.
Abi pakub emaplaat ASUS Pro WS TRX50-SAGE WIFI A, millel on kolm PCIe 5.0 x16 pesa, täiendav PCIe 4.0 x16 pesa, kuni 1 TB ECC RDIMM-mälu ning 10 Gb/s ja 2,5 Gb/s Ethernet-võrguühendused. Kiire võrguühendus on eriti kasulik suurte mudelite, andmekogumite ja projektifailide edastamisel. Plaadi on mõeldud pikaajaliseks professionaalseks kasutamiseks ning see toetab ka ASUS IPMI laienduskaarti, mille abil on võimalik süsteemi kaugjälgida ja hallata isegi olukordades, kus operatsioonisüsteem enam ei vasta.
Süsteemi südameks on AMD Ryzen Threadripper 9960X, millel on 24 tuuma ja 48 niiti. Kui GPU teostab arvutusi, valmistab protsessor ette andmeid, teostab tokeniseerimist, teenindab API-päringuid ja käitab teisi teenuseid. ASUSi emaplaat toetab ka PRO-mudeleid, kuid selles konkreetses arvutis on kasutatud standardmudelit Threadripper 9960X.
256 GB ECC-mälu
Tööjaamas on paigaldatud neli 64 GB Micron DDR5-5600 ECC RDIMM-moodulit. Selles konfiguratsioonis kasutatakse kõiki nelja Threadripperi mälukanalit, tagades nii suure mahutavuse kui ka kõrge andmeedastuskiiruse.
ECC-mälu eristub eelkõige selle poolest, et suudab avastada ja parandada ühe biti vigu. Professionaalses süsteemis, mis teostab arvutusi tundide või päevade kaupa, on selline andmete parandamine väärtuslik. RDIMM-moodulid parandavad signaali stabiilsust ja sobivad suure mälumahtu jaoks.
RAM-mälu on vajalik andmete töötlemiseks, virtuaalmasinate, andmebaaside ja 3D-stseenide jaoks. Seetõttu ei ole 192 GB GPU-mälu ja 256 GB süsteemi RAM-mälu omavahel konkureerivad ressursid – need täiendavad üksteist.
Võimsus ja jahutus pikaajaliseks tööks
Mõlemad videokaardid võivad täiskoormusel tarbida kuni 1200 W, kuid Threadripper 9960X-i TDP on kuni 350 W. FSP Cannon Pro 2500 W toiteplokk, mis toetab ATX 3.1, PCIe 5.1 ja 80 PLUS 230V EU Platinum tõhususega tagab vajaliku varu ka lühiajaliste tarbimishüppede korral, st see ei tähenda, et arvuti tarbiks kogu aeg 2,5 kW. See tähendab, et toiteplokk ei pea töötama oma võimsuse piiril. 
Protsessorit jahutab Noctua NH-U14S TR5-SP6 jahuti, mille alus on kujundatud spetsiaalselt suure sTR5 protsessori pinnale. Fractal Design Epoch XL korpus pakub ruumi mõlemale GPU-le ja tagab vaba õhuvoolu, samas kui kolm Arctic P12 Pro PST ventilaatorit aitavad soojust pikaajalise koormuse korral ära juhtida.
8 TB ruumi mudelitele ja projektidele
Süsteemis on kaks 2 TB ja üks 4 TB Samsung 990 PRO NVMe Gen4 SSD-ketast – kokku 8 TB. Ühte ketta saab kasutada operatsioonisüsteemi jaoks, teist aktiivseteks projektideks ja kolmandat, suurimat – mudelite ja andmekogumite jaoks. Tegelik jaotus sõltub muidugi iga kliendi isiklikust töövoost.
Komplekteerimine ja testimine ei ole pelgalt formaalsus
Kahe RTX PRO 6000 paigaldamisel tuleb arvestada mitte ainult vabade PCIe pesadega. Tuleb kontrollida kaartidevahelist vahekaugust, 12V-2×6 kaabli painetust ning seda, kas juhtmed ei takista ventilaatorite tööd. Sellises süsteemis mõjutab hoolikas kaablite paigutus otseselt jahutust.
Esimese sisselülitamise järel veendusime, et BIOS tuvastab kõik 256 GB RAM-i ja NVMe-kettad, kuid NVIDIA draiver tuvastab mõlemad GPU-d. Seejärel testisime protsessorit, mälu ja iga kaarti eraldi ning viisime läbi ka mõlema GPU samaaegse pikaajalise koormustesti. Temperatuuri, sagedusi ja energiatarbimist hinnatakse tundide kaupa, mitte ainult lühikese jõudlustesti käigus. Alles pärast sellist kontrolli saame tööjaama kindlalt üle anda pikaajaliseks tööks professionaalses keskkonnas.
Mida selline tööjaam suudab?
Tehisintellekti keskkonnas saab seda tööjaama kasutada suurte keelemudelite käitamiseks ja kohandamiseks LoRA- või QLoRA-meetoditega, samuti piltide, videote ja muude generatiivse tehisintellekti lahenduste väljatöötamiseks. Kui tarkvara suudab mudeli kahe GPU vahel jagada, on võimalik töötada ka lahendustega, mis ühele 96 GB-le kaardile ei mahuks.
3D-keskkonnas saab mõlemat kaarti kasutada Blenderis, V-Ray’s, Octane’is või Redshiftis, kui valitud renderdaja toetab mitme GPU kasutamist. Süsteem sobib ka CAD-i, simulatsioonide, teaduslike CUDA-arvutuste, 4K- ja 8K-videotöötluse ning AI-upscalingu jaoks.
Teine GPU ei taga iseenesest kahekordset kiirust. Kasu sõltub konkreetsest programmist ja sellest, kui tõhusalt ülesanne jagatakse. Kuid mitme GPU-ga töötavates projektides pakub see konfiguratsioon võimalusi, mis ühe kaardiga süsteemile kättesaadavad ei ole.
Konkreetsele tööle mõeldud professionaalne tööriist
Seda arvutit ei saa hinnata mängude kaadrisageduse (FPS) või ühe lühikese testi põhjal. See on loodud suurte tehisintellekti mudelite pikaajaliseks töötlemiseks, keeruliste stseenide renderdamiseks ja raske professionaalse arvutustöö tegemiseks.
Kaks RTX PRO 6000 Blackwellit tagavad tohutu GPU võimsuse ja kokku 192 GB mälu, kuid tulemuse tagab kogu platvorm – Threadripperi PCIe-võimalused, 256 GB ECC RAM-mälu, 2500 W toiteplokk, hästi läbimõeldud jahutus ja tarkvara, mis oskab mõlemat kaarti ära kasutada. Sellises süsteemis on igal komponendil oma kindel ülesanne.
Meil on hea meel, et klient valis TopPC.ee partneriks selle tööjaama ehitamisel – see oli tõepoolest väga huvitav ja väljakutseid pakkuv projekt.