زمانی که کارت گرافیک NVIDIA H100 NVL PCIe با ظرفیت ۱۸۸ گیگابایت حافظه HBM3 معرفی شد، بیشتر بهعنوان یک پیکربندی دوکارتی همراه با پلهای NVLink دیده میشد. در همان زمان گفته شد که این در اصل دو کارت PCIe هستند که برای افزایش توان پردازشی به هم متصل شدهاند. بعدها در OCP Summit 2024 هم شاهد معرفی NVIDIA H200 NVL 4-Way بودیم که باز هم بهصورت چندکارتی ارائه شد. همین موضوع باعث شد یک پرسش مهم مطرح شود:
آیا میتوان کارت NVIDIA H100 NVL PCIe را بهصورت یک GPU مجزا و مستقل اجرا کرد؟
تاریخچه کوتاه H100 PCIe و NVL
نسخه اصلی NVIDIA H100 PCIe تنها ۸۰ گیگابایت حافظه HBM2e داشت و مجهز به کانکتورهای NVLink بود. با ورود نسل H200، نسخه PCIe بازطراحی شد و کارت NVIDIA H100 NVL با حافظه ۹۴ گیگابایتی HBM3 عرضه گردید. این تغییر اهمیت زیادی داشت، زیرا نسخه H100 SXM همچنان به ۸۰ گیگابایت حافظه محدود مانده است.
جالب است بدانید که راهکار H100 NVL تقریباً همیشه بهصورت دو GPU متصل به هم بازاریابی میشد؛ اما همانطور که خواهیم دید، این کارت میتواند بهصورت مستقل هم مورد استفاده قرار بگیرد.
| Technical Specifications | H100 SXM | H100 PCIe | H100 NVL |
| FP64 | 34teraFLOPS | 26teraFLOPS | 30teraFLOPS |
| FP64 Tensor Core | 67teraFLOPS | 51teraFLOPS | 60teraFLOPS |
| FP32 | 67teraFLOPS | 51teraFLOPS | 60teraFLOPS |
| TF32 Tensor Core | 989teraFLOPS | 756teraFLOPS | 835teraFLOPS |
| BFLOAT16 Tensor Core | 1,979teraFLOPS | 1,513teraFLOPS | 1,671teraFLOPS |
| FP16 Tensor Core | 1,979teraFLOPS | 1,513teraFLOPS | 1,671teraFLOPS |
| FP8 Tensor Core | 3,958teraFLOPS | 3,026teraFLOPS | 3,341teraFLOPS |
| INT8 Tensor Core | 3,958TOPS | 3,026TOPS | 3,341TOPS |
| GPU Memory | 80GB | 80GB | 94GB |
| GPU Memory Bandwidth | 3.35TB/s | 2TB/s | 3.9TB/s |
| Decoders | 7NVDEC, 7JPEG | 7NVDEC ,7JPEG | 7NVDEC ,7JPEG |
| Max TDP | Up to 700W (configurable) | 300-350W (configurable) | 350-400W (configurable) |
| Multi-instance GPUs | Up to 7 MIGs @ 10GB each | Up to 7 MIGs @ 10GB each | Up to 7 MIGs @ 12GB each |
| Form Factor | SXM | PCIe, dual-slot, air-cooled | PCIe, dual-slot, air-cooled |
| Interconnect | NVLink > 900 GB/s,PCIe Gen5: 128 GB/s | NVLink > 600 GB/s,PCIe Gen5: 128 GB/s | NVLink > 600 GB/s,PCIe Gen5: 128 GB/s |
اجرای مستقل H100 NVL PCIe
هرچند کارت H100 NVL همیشه به شکل دوکارتی با NVLink نشان داده میشد، اما در عمل امکان استفاده از آن بهصورت یک GPU مجزا هم وجود دارد. برای نمونه، در یک سرور 1U یا 2U که تنها فضای نصب یک کارت دو اسلاتی PCIe را دارد، این راهکار بهخوبی جواب میدهد.
آزمایشهای اخیر نشان دادند که کارت گرافیک NVIDIA H100 NVL PCIe بدون نیاز به جفت شدن با کارت دوم نیز بهخوبی کار میکند و خروجی nvidia-smi هم دقیقاً همان چیزی بود که انتظار میرفت.
مزایا در برابر نسخههای دیگر
- حافظه بیشتر (۱۸۸ گیگابایت در برابر ۸۰ گیگابایت H100 SXM)
- پهنای باند حافظه بالاتر (۷.۸ ترابایت بر ثانیه)
- توانایی اجرای MIG بیشتر (۱۴ عدد در مقابل ۷ عدد)
- مصرف انرژی پایینتر نسبت به نسخه SXM در برخی موارد
سخن آخر
کارت گرافیک NVIDIA H100 NVL PCIe نشان میدهد که برخلاف تصور عمومی، محدود به استفاده دوتایی با NVLink نیست و میتواند بهعنوان یک GPU مستقل نیز عملکرد درخشانی داشته باشد.
این ویژگی، انعطافپذیری بالاتری را برای سازمانها و مراکز داده بههمراه دارد؛ بهویژه در سرورهایی که محدودیت فضا دارند و تنها امکان نصب یک کارت PCIe وجود دارد. ترکیب حافظه عظیم HBM3، توان پردازشی بالا و قابلیتهای MIG، این کارت را به گزینهای ایدهآل برای سناریوهایی مانند یادگیری ماشین (ML)، هوش مصنوعی (AI) و مجازیسازی GPU تبدیل کرده است.
آداک فناوری مانیا با عرضه سرور و استوریج با قیمت و کیفیت مناسب در کنار شماست تا بهترین انتخاب را داشته باشید. با مشاورین فنی ما در تماس باشید تا بهترین پیشنهاد را به شما داشته باشند.
