توضیحات
داستان تولد NVIDIA H100؛ نیاز به قدرتی فراتر از نسل قبل
چرا کارت گرافیک NVIDIA H100 80GB به وجود آمد؟ در سال‌های اخیر، مدل‌های هوش مصنوعی از GPT گرفته تا Stable Diffusion و شبیه‌سازی‌های علمی گسترده، چنان حجیم و پیچیده شدند که حتی قدرتمندترین کارت‌های نسل قبل مثل NVIDIA A100 دیگر پاسخگوی نیاز مهندسان و محققان نبود. پروژه‌های عظیم در زمینه یادگیری عمیق، آب‌وهوا، بیوتکنولوژی و تحلیل داده‌های نجومی به نقطه‌ای رسیده بودند که زمان آموزش مدل‌ها به هفته‌ها و حتی ماه‌ها می‌کشید.
اینجا بود که NVIDIA با معماری Hopper وارد میدان شد؛ معماری‌ای که از ابتدا برای چالش‌های واقعی هوش مصنوعی و محاسبات سنگین (HPC) طراحی شد. کارت NVIDIA H100 80GB PCIe به‌عنوان شاهکار این معماری، مجهز به حافظه HBM2e و فناوری NVLink نسل چهارم، آمده تا محدودیت‌ها را از بین ببرد.
با قدرت پردازشی بیش از ۷۰۰ ترافلاپس در عملیات Tensor و پهنای باند ۲ ترابایت بر ثانیه، H100 زمان آموزش مدل‌های غول‌پیکر را از چند هفته به چند روز کاهش می‌دهد. این کارت نه‌تنها ابزار مهندسان و دانشمندان، بلکه کلید باز کردن دروازه‌ای به آینده‌ای است که در آن هوش مصنوعی به‌سرعت به پیشرفت‌های بزرگ می‌رسد.
کارت گرافیک NVIDIA H100 80GB
عملکرد فوق‌العاده، مقیاس‌پذیری و امنیت برای هر مرکز داده.
کارت گرافیک NVIDIA H100 80GB PCIe شتاب بی‌سابقه‌ای را برای تأمین توان مراکز داده با بالاترین عملکرد در جهان در حوزه‌های هوش مصنوعی، تجزیه‌وتحلیل داده‌ها و محاسبات با عملکرد بالا (HPC) فراهم می‌کند. فناوری NVIDIA H100 Tensor Core طیف گسترده‌ای از دقت‌های ریاضی را پشتیبانی می‌کند و یک شتاب‌دهنده یکپارچه برای هر نوع بار کاری محاسباتی ارائه می‌دهد. پردازنده NVIDIA H100 PCIe از محاسبات با دقت مضاعف (FP64)، دقت تک‌گانه (FP32)، دقت نیمه‌دقیق (FP16) و محاسبات صحیح (INT8) پشتیبانی می‌کند.
واحدهای پردازش گرافیکی (GPU) NVIDIA H100 Tensor Core که برای سرورهای متداول طراحی شده‌اند، همراه با اشتراک نرم‌افزار پنج‌ساله NVIDIA AI Enterprise و پشتیبانی سازمانی عرضه می‌شوند. این مجموعه، فرآیند پذیرش هوش مصنوعی را با بالاترین عملکرد ساده‌تر می‌کند و تضمین می‌کند که سازمان‌ها به چارچوب‌ها و ابزارهای هوش مصنوعی موردنیاز برای ساخت گردش کارهای مبتنی بر H100، مانند هوش مصنوعی مکالمه‌ای، موتورهای پیشنهاد‌دهنده، هوش مصنوعی بینایی و موارد دیگر، دسترسی داشته باشند.
کارت NVIDIA H100 یک کارت دو اسلاتی با طول 10.5 اینچ مبتنی بر PCI Express Gen5 است که بر اساس معماری NVIDIA Hopper™ ساخته شده است. این کارت از هیت سینک غیرفعال برای خنک‌سازی استفاده می‌کند و برای عملکرد صحیح، به جریان هوای سیستم نیاز دارد. پردازنده گرافیکی NVIDIA H100 PCIe بدون محدودیت، تا حداکثر توان طراحی حرارتی (TDP) 350 وات کار می‌کند تا برنامه‌هایی که به سریع‌ترین سرعت پردازش و بالاترین توان عملیاتی داده نیاز دارند را شتاب دهد. این کارت همچنین دارای بیشترین پهنای باند حافظه کارت PCIe در جهان، بیش از 2000 گیگابایت بر ثانیه (GBps) است که زمان پردازش مدل‌های بزرگ و مجموعه داده‌های عظیم را کاهش می‌دهد.
کارت NVIDIA H100 PCIe از قابلیت Multi-Instance GPU (MIG) پشتیبانی می‌کند که امکان تقسیم پردازنده گرافیکی به حداکثر هفت نمونه سخت‌افزاری مستقل را فراهم می‌کند. این قابلیت به مراکز داده الاستیک اجازه می‌دهد تا به‌طور پویا منابع خود را بر اساس نیازهای کاری متغیر تنظیم کنند. همچنین می‌توان از کوچک‌ترین وظایف محاسباتی تا بزرگ‌ترین بارهای پردازشی چندپردازنده‌ای را به‌درستی تخصیص داد. انعطاف‌پذیری بالای NVIDIA H100 به مدیران فناوری اطلاعات کمک می‌کند تا حداکثر بهره‌وری را از هر GPU در مرکز داده خود داشته باشند.
کارت‌های NVIDIA H100 PCIe از سه پل NVIDIA® NVLink® استفاده می‌کنند که مشابه پل‌های مورد استفاده در کارت‌های NVIDIA A100 PCIe است. این قابلیت اتصال دو کارت NVIDIA H100 PCIe را ممکن می‌سازد و پهنای باند دوطرفه‌ای برابر با 900 گیگابایت بر ثانیه (GB/s) یا 5 برابر پهنای باند PCIe Gen5 را فراهم می‌کند که عملکرد برنامه‌ها را برای بارهای پردازشی حجیم به حداکثر می‌رساند.
مشخصات کلیدی کارت گرافیک NVIDIA H100 80GB
-
معماری: Hopper (H100)
-
حافظه: 80 گیگابایت HBM2e با پهنای باند 2 ترابایت بر ثانیه
-
رابط: PCIe Gen 5.0
-
NVLink: نسل چهارم برای ارتباط مستقیم GPU به GPU
-
توان مصرفی: حدود 350 وات
-
ابعاد: سازگار با اسلات‌های PCIe استاندارد
یک جهش عظیم در محاسبات شتاب‌یافته
کارت گرافیک NVIDIA H100 80GB PCIe عملکردی استثنایی، مقیاس‌پذیری بالا و امنیت را برای هر نوع بار کاری ارائه می‌دهد. H100 با بهره‌گیری از نوآوری‌های پیشرفته مبتنی بر معماری NVIDIA Hopper™، هوش مصنوعی مکالمه‌ای را در سطح صنعتی متحول کرده و مدل‌های زبانی بزرگ را تا 30 برابر سریع‌تر پردازش می‌کند.
H100 به هسته‌های Tensor نسل چهارم و موتور Transformer مجهز است که از دقت FP8 پشتیبانی کرده و سرعت آموزش مدل GPT-3 (175B) را تا 4 برابر نسبت به نسل قبل افزایش می‌دهد. برای برنامه‌های محاسباتی با عملکرد بالا (HPC)، H100 توان محاسباتی FP64 را 3 برابر کرده و 60 ترافلاپس قدرت پردازشی ارائه می‌دهد. همچنین، با پشتیبانی از دستورات برنامه‌نویسی پویا (DPX)، تا 7 برابر عملکرد بالاتر را فراهم می‌کند.
شکل ۱. NVIDIA H100 همراه با پل NVLink
مشخصات محصول NVIDIA H100 80GB
جدول 1 تا جدول 3 مشخصات محصول، حافظه و نرم‌افزار کارت NVIDIA A100 80GB PCIe را ارائه می‌دهند.
مشخصات محصول
جدول ۱. مشخصات محصول
| NVIDIA H100 80GB | مشخصات فنی |
|---|---|
| P1010 SKU 200 NVPN: 699-21010-0200-xxx |
Product SKU |
| PCIe 16-pin 450 W or 600 W power mode: 350 W default 350 W maximum 200 W minimum PCIe 16-pin 300 W power mode: 310 W default 310 W maximum 200 W minimum |
Total board power |
| Passive | Thermal solution |
| Full-height, full-length (FHFL) 10.5”, dual-slot | Mechanical form factor |
| GH100-200 | GPU SKU |
| Device ID: 0x2331 Vendor ID: 0x10DE Sub-Vendor ID: 0x10DE Sub-System ID: 0x1626 |
PCI Device IDs |
| Base: 1,125 MHz Boost: 1,755 MHz |
GPU clocks |
| P0 | Performance states |
| EEPROM size: 8 Mbit UEFI: Supported |
VBIOS |
| PCI Express Gen5 x16; Gen5 x8; Gen4 x16 Lane and polarity reversal supported |
PCI Express interface |
| Supported (seven instances) | Multi-Instance GPU (MIG) |
| Supported | Secure Boot (CEC) |
| Not supported | Zero Power |
| One PCIe 16-pin auxiliary power connector | Power connectors and headers |
| Board: 1200g grams (excluding bracket, extenders, and bridges) NVLink bridge: 20.5 grams per bridge (x 3 bridges) Bracket with screws: 20 grams Enhanced straight extender: 35 grams Long offset extender: 48 grams Straight extender: 32 grams |
Weight |
| Board: 1200g grams (excluding bracket, extenders, and bridges) NVLink bridge: 20.5 grams per bridge (x 3 bridges) Bracket with screws: 20 grams Enhanced straight extender: 35 grams Long offset extender: 48 grams Straight extender: 32 grams |
Weight |
مشخصات حافظه
جدول 2. مشخصات حافظه
| توضیحات | مشخصات حافظه |
|---|---|
| 1,593 MHz | Memory clock |
| HBM2e | Memory type |
| 80 GB | Memory size |
| 5,120 bits | Memory bus width |
| 2,000 GB/s | Peak memory bandwidth |
| 2,000 GB/s | Peak memory bandwidth |
مشخصات نرم افزاری
جدول 3. مشخصات نرم افزاری
| توضیحات | مشخصات نرم افزاری |
|---|---|
| Supported — 32 VF (virtual functions) | SR-IOV support |
| BAR0: 16 MiB BAR1: 128 GiB BAR3: 32 MiB |
BAR address (physical function) |
| BAR0: 5 MiB, (256 KiB per VF) BAR1: 80 GiB, 64-bit (4 GiB per VF) BAR3: 640 MiB, 64-bit (32 MiB per VF) |
BAR address (virtual function |
| MSI-X: Supported MSI: Not supported |
Message signaled interrupts |
| Supported | ARI Forwarding |
| Linux: R520 or later Windows: R520 or later |
Driver support |
| Supported | Secure Boot |
| Version 2.0025 or later | CEC Firmware |
| Version 5.792 or later | NVFlash |
| x86: CUDA 11.8 or later Arm: CUDA 12.0 or later |
NVIDIA® CUDA® support |
| Supports vGPU 15.0 or later: NVIDIA Virtual Compute Server Edition |
Virtual GPU software support |
| Supported with VMWare | NVIDIA AI Enterprise |
| NVIDIA-Certified Systems™ TBD or later | NVIDIA certification |
| 0x03 – Display Controller | PCI class code |
| 0x02 – 3D Controller | PCI subclass code |
| Enabled | ECC support |
| 0x9E (write), 0x9F (read) | SMBus (8-bit address) |
| 0x50 (7-bit), 0xA0 (8-bit) | IPMI FRU EEPROM I2C address |
| Supported | SMBus direct access |
| Supported | SMBPBI |
ویژگی‌های برجسته
حافظه HBM3 پرسرعت: مناسب برای مدل‌های بزرگ زبانی، شبکه‌های عصبی پیچیده و محاسبات علمی
پشتیبانی از NVLink نسل ۴: برای ارتباط سریع بین چندین کارت و کاهش زمان انتقال داده
سازگاری کامل با سرورهای PCIe: بدون نیاز به سیستم‌های خاص، قابل نصب در اغلب سرورهای سازمانی
معماری Hopper: جهش بزرگ در بهره‌وری انرژی و عملکرد نسبت به نسل قبل (A100)
کاربردها
آموزش مدل‌های عظیم هوش مصنوعی (GPT، PaLM، LLaMA)
شبیه‌سازی‌های علمی و صنعتی در مقیاس بزرگ
تحلیل داده‌های عظیم و پردازش HPC
زیرساخت‌های پیشرفته دیتاسنتر و کلود
پشتیبانی از جهت جریان هوا
کارت گرافیک NVIDIA H100 80GB PCIe از یک هیت سینک دوطرفه استفاده می‌کند که جریان هوا را هم در جهت چپ به راست و هم در جهت راست به چپ می‌پذیرد.
شکل 2. جهت‌های جریان هوا در H100 80GB
ویژگی های محصول
فرم فاکتور
کارت گرافیک NVIDIA H100 PCIe مطابق با مشخصات NVIDIA Form Factor 5.5 برای یک کارت PCIe دو اسلاته با ارتفاع کامل و طول کامل (FHFL) است.
شکل 3. ابعاد کارت NVIDIA H100 80GB PCIe
پشتیبانی از پل NVLink
NVIDIA NVLink یک اتصال انتقال داده نقطه به نقطه (P2P) با سرعت بالا است که در آن یک GPU می‌تواند داده‌ها را به یک GPU دیگر منتقل کرده و از آن دریافت کند. کارت NVIDIA H100 از اتصال پل NVLink با یک کارت NVIDIA H100 مجاور پشتیبانی می‌کند.
هر یک از سه پل متصل شده دو اسلات PCIe را پوشش می‌دهد. برای عملکرد صحیح و همچنین برای ارائه حداکثر پهنای باند پل، اتصال پل با یک کارت مجاور NVIDIA H100 باید شامل تمام سه پل NVLink باشد. در جایی که یک جفت کارت NVIDIA H100 مجاور در سرور وجود دارد، برای بهترین عملکرد پل‌زنی و توپولوژی متوازن پل، باید کارت‌های NVIDIA H100 به هم متصل شوند.
شکل ۴ توپولوژی‌های صحیح و ناصحیح اتصال NVIDIA H100 NVLink را نشان می‌دهد.
شکل 4. توپولوژی NVLink – نمای بالا
برای سیستم‌هایی که دارای چندین CPU هستند، هر دو کارت NVIDIA H100 از یک جفت کارت پل‌زنی باید در همان دامنه CPU قرار داشته باشند. به این معنا که تحت توپولوژی همان CPU باشند و این اطمینان حاصل شود که این تنظیمات به بهبود عملکرد برنامه‌های کاری کمک می‌کند. برخی استثناها وجود دارد، به عنوان مثال، در سیستمی با دو CPU که هر CPU یک کارت NVIDIA H100 PCIe را زیر خود دارد. در این صورت، دو کارت NVIDIA H100 PCIe در سیستم ممکن است به هم متصل شوند. برای اطلاعات بیشتر به بخش “توپولوژی PCIe و NVLink” مراجعه کنید.
سرعت NVIDIA H100 PCIe کارت، NVLink و پهنای باند آن در جدول زیر آورده شده است.
جدول 6. سرعت و پهنای باند NVLink کارت H100 80GB PCIe
| Value | Parameter |
|---|---|
| 3 | Total NVLink bridges supported by NVIDIA H100 |
| 48 | Total NVLink Rx and Tx lanes supported |
| 100 Gbps | Data rate per NVIDIA H100 NVLink lane (each direction) |
| 600 Gbytes per second | Total maximum NVLink bandwidth |
| ——— | ———– |
چرا کارت گرافیک NVIDIA H100 80GB PCIe را از ما بخرید؟
گارانتی و خدمات پس از فروش معتبر
تامین مستقیم از واردکننده رسمی
مشاوره تخصصی رایگان برای انتخاب و نصب
تحویل سریع به سراسر کشور
قیمت کارت گرافیک NVIDIA H100 – 80GB
اگر به دنبال کارت گرافیک با کارایی مافوق انتظار هستید که شتاب بی‌سابقه‌ای را در هر مقیاسی ارائه دهد تا قدرتمندترین مراکز داده انعطاف‌پذیر جهان را برای کاربردهای هوش مصنوعی (AI)، تحلیل داده‌ها و رایانش با کارایی بالا (HPC) تأمین کند.، NVIDIA H100 – 80GB انتخاب مطمئنی برای شما خواهد بود. شماره تماس: 43672-021
محمدرضا حسینی
آیا کارت H100 PCIe نیاز به پاور یا منبع تغذیه خاصی داره؟
کارشناس فنی
سلام محمدرضا جان! برای کارت NVIDIA H100 PCIe بهتره از پاوری با حداقل ۱۰۰۰ وات واقعی و استاندارد ۸۰ پلاس استفاده کنید. این کارت در شرایط اوج مصرف به حدود ۳۵۰ وات نیاز داره، پس پاور قوی و مطمئن الزامی هست.
نرگس ابراهیمی
من کارت H100 رو برای آموزش مدل‌های GPT می‌خوام. چندتا کارت رو می‌شه با NVLink بهم وصل کرد؟
کارشناس فنی
نرگس عزیز، با NVLink نسل ۴ می‌تونی حداکثر تا ۸ کارت H100 رو به‌صورت مستقیم و با پهنای باند بالا به هم متصل کنی. این کار برای آموزش مدل‌های زبانی بزرگ مثل GPT فوق‌العاده موثره.
حسین داوری
بین نسخه PCIe و SXM کارت H100 کدوم رو پیشنهاد می‌کنید؟
کارشناس فنی
حسین جان، اگر می‌خوای کارت رو در سرور استاندارد PCIe نصب کنی و انعطاف بیشتری تو ارتقاء سیستم داشته باشی، نسخه PCIe بهترین گزینه‌ست. نسخه SXM به توان بیشتر و خنک‌کنندگی اختصاصی نیاز داره و فقط در شاسی‌های خاص قابل استفاده است.
فهیمه نجفی
کارت H100 PCIe با سرورهای HPE سازگاری داره؟
کارشناس فنی
سلام فهیمه جان! بله، کارت NVIDIA H100 PCIe با اکثر مدل‌های جدید سرورهای HPE، Dell و Supermicro کاملاً سازگاره. فقط باید اسلات PCIe Gen4 یا بالاتر و پاور مناسب داشته باشه.
علیرضا کرمی
آیا می‌شه از H100 PCIe برای کارهای رندرینگ استفاده کرد یا فقط برای AI خوبه؟
کارشناس فنی
علیرضا جان، اگرچه H100 برای کارهای هوش مصنوعی طراحی شده، اما به‌دلیل توان پردازش فوق‌العاده در FP16 و FP32، می‌تونه در رندرینگ فیزیکی و شبیه‌سازی‌های پیچیده هم عملکرد عالی داشته باشه.
زهرا معصومی
سلام! می‌خواستم بدونم این کارت H100 سر و صدای زیادی داره؟ چون سرورم توی دفترمه و نمی‌خوام خیلی صدا داشته باشه.
کارشناس فنی
زهرا جان، خود کارت H100 فن نداره و این صدا به سیستم خنک‌کننده سرور بستگی داره. اگه از سرور با فن‌های کم‌صدا استفاده کنی، مشکلی از نظر نویز نداری
رضا حیدری
این کارت H100 نیاز به درایور خاصی داره یا همون درایور معمولی NVIDIA جواب میده؟
کارشناس فنی
رضا جان، باید از درایورهای نسخه Data Center (NVIDIA CUDA یا NVIDIA AI) استفاده کنی که مخصوص کارت‌های H100 هستن. درایور معمولی گیمینگ جوابگو نیست.
سمیه جعفری
به نظرتون H100 برای inference مدل‌های AI هم خوبه یا فقط برای آموزش به درد می‌خوره؟
کارشناس فنی
سمیه جان، H100 توی inference هم بی‌نظیره! به‌خصوص وقتی تعداد درخواست‌ها بالاست و مدل سنگین داری، سرعت پاسخگویی عالیه.
محسن کاظمی
NVLink رو خودتون هم نصب می‌کنید یا باید جداگونه بخریم؟
کارشناس فنی
برای دریافت اطلاعات، با کارشناسان فروش ما در آداک فن آوری مانیا صحبت بفرمایید
۰۲۱-۴۳۶۷۲
aida rez
این کارت H100 رو می‌تونم توی سیستم ورک‌استیشن خونگیم استفاده کنم یا حتماً سرور می‌خواد؟
کارشناس فنی
آیدا جان، اگه کیس و پاورت قوی باشه و اسلات PCIe Gen4 یا ۵ داشته باشی، می‌تونی حتی توی ورک‌استیشن خونگی هم از H100 استفاده کنی. فقط به خنک‌کنندگی دقت کن!
فرشاد صادقی
زمان تقریبی تحویل کارت H100 توی ایران چقدره؟
کارشناس فنی
برای دریافت اطلاعات، با کارشناسان فروش ما در آداک فن آوری مانیا صحبت بفرمایید ۰۲۱-۴۳۶۷۲
مهدیه قاسمی
تفاوت H100 با RTX 4090 توی کارای AI چیه؟ ۴۰۹۰ هم ارزون‌تره.
کارشناس فنی
مهدیه جان، RTX 4090 برای کارای گرافیکی و مدل‌های کوچیک یا متوسط جواب میده، اما H100 برای مدل‌های خیلی بزرگ و محیط‌های دیتاسنتری ساخته شده. توی حافظه، پهنای باند و NVLink اصلاً قابل مقایسه نیستن.