با گسترش هوش مصنوعی مولد، مدل‌های زبانی بزرگ (LLM)، پردازش تصویر و سامانه‌های یادگیری عمیق، نیاز به سخت‌افزارهایی که بتوانند حجم عظیمی از داده را با سرعت بالا پردازش کنند، بیش از گذشته افزایش یافته است. در چنین شرایطی، قدرت محاسباتی GPU به‌تنهایی تعیین‌کننده عملکرد نهایی نیست؛ حافظه‌ای که داده‌ها و پارامترهای مدل را در اختیار پردازنده گرافیکی قرار می‌دهد نیز نقش مهمی دارد.
یکی از فناوری‌هایی که برای پاسخ‌گویی به این نیاز توسعه یافته، حافظه HBM یا High Bandwidth Memory است. این نوع حافظه با معماری سه‌بعدی و ارتباط بسیار عریض با پردازنده، امکان انتقال حجم زیادی از داده را در زمان کوتاه فراهم می‌کند. به همین دلیل، HBM به یکی از اجزای مهم شتاب‌دهنده‌های هوش مصنوعی و GPUهای مورد استفاده در دیتاسنترها تبدیل شده است.
اما حافظه HBM دقیقاً چیست؟ چه تفاوتی با حافظه‌های GDDR و DDR5 دارد؟ و چرا ظرفیت و پهنای باند آن می‌تواند روی آموزش و اجرای مدل‌های هوش مصنوعی تأثیر بگذارد؟
در این مقاله، معماری HBM، نحوه عملکرد، نسل‌های مختلف، معیارهای ظرفیت و پهنای باند و کاربرد آن در زیرساخت‌های هوش مصنوعی را بررسی می‌کنیم.
حافظه HBM چیست؟
HBM مخفف عبارت High Bandwidth Memory و به معنای حافظه با پهنای باند بالا است. این فناوری نوعی حافظه DRAM با معماری سه‌بعدی محسوب می‌شود که برای انتقال سریع داده میان حافظه و پردازنده طراحی شده است.
در حافظه‌های متداول، تراشه‌های حافظه معمولاً در کنار پردازنده یا روی برد قرار می‌گیرند و داده‌ها از طریق مسیرهای ارتباطی مشخصی میان آن‌ها جابه‌جا می‌شوند. در مقابل، در معماری HBM چندین لایه تراشه DRAM به‌صورت عمودی روی یکدیگر قرار می‌گیرند و از طریق اتصال‌های عمودی بسیار ظریف به هم متصل می‌شوند.
این ساختار باعث می‌شود ارتباط میان حافظه و پردازنده از طریق یک رابط بسیار عریض برقرار شود. در نتیجه، حجم زیادی از داده می‌تواند به‌صورت موازی منتقل شود؛ بدون اینکه برای رسیدن به پهنای باند بالا صرفاً به افزایش فرکانس حافظه وابسته باشیم.
HBM معمولاً در کنار GPU یا شتاب‌دهنده هوش مصنوعی و در قالب یک پکیج یکپارچه قرار می‌گیرد. نزدیکی فیزیکی حافظه به پردازنده نیز به کوتاه‌تر شدن مسیر انتقال داده و کاهش انرژی مصرفی به ازای هر بیت منتقل‌شده کمک می‌کند.
معماری حافظه HBM چگونه کار می‌کند؟
مهم‌ترین تفاوت HBM با حافظه‌های متداول، معماری سه‌بعدی و شیوه اتصال لایه‌های حافظه است. برای درک بهتر این ساختار، باید با سه مفهوم اصلی آشنا شویم:
۱. انباشته‌سازی عمودی تراشه‌ها (3D Stacking)
در HBM چندین لایه DRAM به‌صورت عمودی روی یکدیگر قرار می‌گیرند. این لایه‌ها یک Stack یا پشته حافظه را تشکیل می‌دهند.
به‌جای اینکه تمام تراشه‌های حافظه روی سطح برد و در کنار یکدیگر قرار بگیرند، ساختار عمودی باعث می‌شود ظرفیت قابل توجهی در فضای فیزیکی محدودتری فراهم شود.
تعداد لایه‌های یک پشته به نسل و محصول بستگی دارد. پیکربندی‌های 4-High، 8-High و 12-High از جمله ساختارهای مورد استفاده در نسل‌های مختلف HBM هستند.
۲. اتصال از طریق TSV
یکی از فناوری‌های کلیدی در معماری HBM، اتصال‌های Through-Silicon Via یا به اختصار TSV است.
TSV مسیرهای ارتباطی عمودی بسیار ظریفی هستند که از میان لایه‌های سیلیکونی عبور می‌کنند و امکان انتقال سیگنال و داده میان تراشه‌های انباشته‌شده را فراهم می‌سازند.
وجود هزاران اتصال از این نوع در ساختار HBM باعث می‌شود داده‌ها بتوانند از مسیرهای موازی متعددی جابه‌جا شوند. این ویژگی در افزایش پهنای باند حافظه نقش اساسی دارد.
۳. اتصال به پردازنده از طریق Interposer
پشته‌های HBM معمولاً در نزدیکی GPU و روی یک ساختار ارتباطی به نام Silicon Interposer قرار می‌گیرند.
Interposer امکان ایجاد ارتباط‌های بسیار عریض و متراکم میان GPU و حافظه را فراهم می‌کند. این معماری فاصله فیزیکی میان پردازنده و حافظه را کاهش می‌دهد و به انتقال سریع‌تر داده با مصرف انرژی کمتر کمک می‌کند.
در مجموع، ترکیب 3D Stacking، فناوری TSV و ارتباط از طریق Interposer باعث شده HBM بتواند پهنای باند بسیار بالایی را در فضای محدود ارائه دهد.
پهنای باند حافظه HBM چیست و چرا اهمیت دارد؟
پهنای باند حافظه (Memory Bandwidth) به مقدار داده‌ای گفته می‌شود که حافظه می‌تواند در یک ثانیه به پردازنده منتقل کند یا از آن دریافت کند.
این شاخص معمولاً با واحد GB/s یا TB/s بیان می‌شود.
برای مثال، اگر یک GPU دارای پهنای باند حافظه ۴٫۸ ترابایت بر ثانیه باشد، از نظر مشخصات اسمی می‌تواند در هر ثانیه تا ۴٫۸ ترابایت داده را میان حافظه و پردازنده جابه‌جا کند. البته پهنای باند واقعی در اجرای برنامه به نوع بار کاری، الگوی دسترسی به حافظه و میزان بهره‌برداری نرم‌افزار از سخت‌افزار بستگی دارد.
اهمیت پهنای باند در پردازش هوش مصنوعی از آنجا ناشی می‌شود که GPU برای انجام محاسبات، باید به‌طور مداوم وزن‌های مدل، داده‌های ورودی و نتایج محاسبات میانی را دریافت کند.
اگر سرعت انتقال داده با سرعت پردازش GPU هماهنگ نباشد، بخشی از توان محاسباتی پردازنده بلااستفاده می‌ماند؛ زیرا GPU باید برای دریافت داده منتظر بماند. به این وضعیت Memory Bottleneck یا گلوگاه حافظه گفته می‌شود.
تفاوت پهنای باند و ظرفیت حافظه
این دو مفهوم نباید با یکدیگر اشتباه گرفته شوند:
| معیار | ظرفیت حافظه (Capacity) | پهنای باند (Bandwidth) |
| مفهوم | مقدار داده قابل نگهداری | سرعت انتقال داده |
| واحد اندازه‌گیری | GB یا TB | GB/s یا TB/s |
| نقش در AI | تعیین اندازه مدل و داده قابل استقرار در حافظه | تعیین سرعت دسترسی و انتقال داده |
| محدودیت رایج | کمبود فضای حافظه | انتظار GPU برای دریافت داده |
به زبان ساده، ظرفیت حافظه مشخص می‌کند چه مقدار داده در دسترس GPU قرار می‌گیرد و پهنای باند مشخص می‌کند این داده‌ها با چه سرعتی جابه‌جا می‌شوند.
بنابراین، حافظه‌ای با ظرفیت بالا اما پهنای باند محدود ممکن است برای برخی پردازش‌های سنگین مناسب نباشد. از طرف دیگر، پهنای باند بسیار بالا نیز زمانی که ظرفیت حافظه برای نگهداری مدل کافی نیست، به‌تنهایی مشکل را حل نمی‌کند.
نسل‌های مختلف حافظه HBM چه تفاوتی دارند؟
HBM در چند نسل توسعه یافته و هر نسل با تغییراتی در سرعت انتقال داده، ظرفیت، ساختار اتصال و بهره‌وری انرژی همراه بوده است.
نسل‌های مهم این فناوری عبارت‌اند از:
| نسل | ویژگی کلی |
| HBM2 | توسعه معماری حافظه با پهنای باند بالا برای شتاب‌دهنده‌ها |
| HBM2E | افزایش سرعت انتقال داده و بهبود ظرفیت نسبت به HBM2 |
| HBM3 | افزایش پهنای باند و پشتیبانی از بارهای کاری سنگین‌تر |
| HBM3E | بهبود سرعت و ظرفیت برای GPUهای پیشرفته هوش مصنوعی |
| HBM4 | نسل جدید با رابط عریض‌تر و پهنای باند بالاتر |
توجه داشته باش که ظرفیت و پهنای باند دقیق هر نسل به تعداد لایه‌ها، طراحی پشته، سرعت پین‌ها و محصول نهایی بستگی دارد. بنابراین، صرفاً نام نسل برای مقایسه دو حافظه کافی نیست.
HBM3E؛ یکی از فناوری‌های مهم در شتاب‌دهنده‌های هوش مصنوعی
HBM3E در شتاب‌دهنده‌های پیشرفته هوش مصنوعی مورد استفاده قرار گرفته و امکان ارائه ظرفیت و پهنای باند بالایی را فراهم می‌کند.
برای نمونه، GPUهای NVIDIA H200 از ۱۴۱ گیگابایت حافظه HBM3E با پهنای باند ۴٫۸ ترابایت بر ثانیه بهره می‌برند. چنین مشخصاتی برای اجرای مدل‌های زبانی بزرگ، پردازش‌های مولد و بارهای کاری محاسباتی سنگین اهمیت دارد.
HBM4؛ حرکت به سمت پهنای باند بالاتر
HBM4 نسل جدیدتر این فناوری است که با هدف پاسخ‌گویی به نیازهای رو به رشد هوش مصنوعی و محاسبات با کارایی بالا توسعه یافته است.
برای مثال، Micron برای محصول HBM4 خود با ساختار 12-High و ظرفیت ۳۶ گیگابایت، پهنای باند بیش از ۲٫۸ ترابایت بر ثانیه به ازای هر پشته را اعلام کرده است.
افزایش پهنای باند در این نسل به شتاب‌دهنده‌ها کمک می‌کند حجم بیشتری از داده را با سرعت بالاتر دریافت کنند؛ موضوعی که در مدل‌های بزرگ و پردازش‌های وابسته به حافظه اهمیت زیادی دارد.
تفاوت حافظه HBM با GDDR و DDR5 چیست؟
HBM تنها نوع حافظه مورد استفاده در زیرساخت‌های پردازشی نیست. حافظه‌های GDDR و DDR5 نیز در سرورها، کارت‌های گرافیک و سیستم‌های محاسباتی کاربرد دارند؛ اما معماری و هدف طراحی آن‌ها متفاوت است.
HBM در برابر GDDR
GDDR نوعی حافظه گرافیکی است که در کارت‌های گرافیک مختلف مورد استفاده قرار می‌گیرد. این حافظه برای ارائه پهنای باند بالا طراحی شده، اما معماری آن با HBM متفاوت است.
در GDDR تراشه‌های حافظه معمولاً روی برد گرافیکی و در اطراف GPU قرار می‌گیرند؛ در حالی که HBM از پشته‌های سه‌بعدی حافظه در کنار پردازنده استفاده می‌کند.
HBM به دلیل رابط بسیار عریض، در محصولات پیشرفته دیتاسنتری می‌تواند پهنای باند بسیار بالایی ارائه دهد. در مقابل، GDDR در بسیاری از کارت‌های گرافیک به دلیل هزینه و ساختار متفاوت، گزینه رایج‌تری است.
HBM در برابر DDR5
DDR5 حافظه اصلی بسیاری از سرورهای سازمانی است و معمولاً از طریق ماژول‌های DIMM روی مادربرد در اختیار CPU قرار می‌گیرد.
این حافظه برای اجرای سیستم‌عامل، برنامه‌های سازمانی، ماشین‌های مجازی و پردازش‌های عمومی سرور کاربرد دارد.
HBM اما به‌طور معمول در کنار GPU یا شتاب‌دهنده هوش مصنوعی قرار می‌گیرد و برای انتقال سریع داده در بارهای کاری محاسباتی سنگین طراحی شده است.
| ویژگی | HBM | GDDR | DDR5 |
| کاربرد اصلی | GPU و شتاب‌دهنده‌های AI | کارت گرافیک | حافظه اصلی سرور و کامپیوتر |
| معماری | پشته سه‌بعدی | تراشه‌های مجزا روی برد | ماژول DIMM |
| رابط ارتباطی | بسیار عریض | متناسب با طراحی GPU | کانال‌های حافظه سیستم |
| پهنای باند | بسیار بالا | بالا | وابسته به پیکربندی و تعداد کانال‌ها |
| محل استفاده | کنار GPU در پکیج | روی برد گرافیکی | روی مادربرد سرور |
نکته مهم این است که HBM جایگزین DDR5 سرور نیست. این دو حافظه در سطوح متفاوتی از معماری سیستم فعالیت می‌کنند و معمولاً در یک زیرساخت هوش مصنوعی در کنار یکدیگر به کار می‌روند.
حافظه HBM چه تأثیری بر آموزش مدل‌های هوش مصنوعی دارد؟
آموزش مدل‌های هوش مصنوعی به محاسبات گسترده و جابه‌جایی مداوم داده نیاز دارد. در این فرایند، GPU باید وزن‌های مدل، داده‌های آموزشی، گرادیان‌ها و اطلاعات مربوط به بهینه‌ساز را مدیریت کند.
بخش قابل توجهی از این داده‌ها در حافظه GPU قرار می‌گیرند. بنابراین، ظرفیت و پهنای باند HBM می‌توانند روی اندازه مدل قابل آموزش و سرعت اجرای عملیات اثر بگذارند.
۱. نگهداری وزن‌های مدل
هر مدل هوش مصنوعی از مجموعه‌ای از پارامترها یا وزن‌ها تشکیل شده است. هرچه تعداد پارامترها بیشتر باشد، فضای بیشتری برای نگهداری آن‌ها نیاز خواهد بود.
برای مثال، یک مدل ۷ میلیارد پارامتری در حالت ذخیره‌سازی با دقت ۱۶ بیت، برای وزن‌های خود به حدود ۱۴ گیگابایت حافظه نیاز دارد.
این مقدار فقط مربوط به وزن‌های مدل است و حافظه موردنیاز برای گرادیان‌ها، وضعیت بهینه‌ساز، Activationها و داده‌های ورودی را شامل نمی‌شود.
به همین دلیل، در فرایند آموزش کامل مدل، نیاز حافظه می‌تواند به‌مراتب بیشتر از حجم اولیه وزن‌ها باشد.
۲. افزایش سرعت پردازش داده‌های آموزشی
در زمان آموزش، داده‌ها بارها میان حافظه و واحدهای محاسباتی GPU جابه‌جا می‌شوند.
پهنای باند بالای HBM کمک می‌کند داده‌ها با سرعت بیشتری در اختیار واحدهای محاسباتی قرار بگیرند و احتمال ایجاد گلوگاه حافظه کاهش پیدا کند.
این موضوع به‌ویژه در بارهای کاری بزرگ و پردازش‌های موازی اهمیت دارد.
۳. پشتیبانی از Batch Size بزرگ‌تر
Batch Size به تعداد نمونه‌هایی گفته می‌شود که مدل در هر مرحله از آموزش پردازش می‌کند.
افزایش Batch Size معمولاً به حافظه بیشتری نیاز دارد؛ زیرا داده‌ها و Activationهای بیشتری باید در حافظه نگهداری شوند.
ظرفیت بالاتر HBM می‌تواند امکان استفاده از Batch Size بزرگ‌تر یا اجرای مدل‌های پیچیده‌تر را فراهم کند؛ البته انتخاب Batch Size مناسب به معماری مدل، روش آموزش و محدودیت‌های محاسباتی نیز وابسته است.
نقش حافظه HBM در اجرای مدل‌های هوش مصنوعی (Inference)
اهمیت HBM فقط به مرحله آموزش محدود نمی‌شود. در مرحله Inference یا استنتاج نیز حافظه GPU نقش مهمی در سرعت پاسخ‌گویی مدل دارد.
در این مرحله، مدل آموزش‌دیده ورودی دریافت می‌کند و بر اساس آن خروجی تولید می‌کند. برای مثال، در یک مدل زبانی بزرگ، پاسخ به درخواست کاربر به محاسبات متعدد و دسترسی مداوم به وزن‌های مدل نیاز دارد.
HBM از دو جهت در این فرایند اهمیت دارد:
۱. قرارگیری مدل‌های بزرگ در حافظه GPU
اگر ظرفیت حافظه GPU برای نگهداری وزن‌های مدل کافی نباشد، ممکن است بخشی از داده‌ها به حافظه سیستم یا سایر سطوح ذخیره‌سازی منتقل شوند.
این جابه‌جایی می‌تواند سربار ارتباطی ایجاد کند و عملکرد را کاهش دهد.
ظرفیت بالاتر HBM امکان نگهداری مدل‌های بزرگ‌تر یا بخش بیشتری از آن‌ها را در حافظه نزدیک به GPU فراهم می‌کند.
۲. افزایش سرعت تولید پاسخ در مدل‌های زبانی
در مرحله تولید توکن‌ها (Token Generation)، به‌ویژه در بخش Decode، مدل باید به‌صورت مکرر به وزن‌ها و اطلاعات مربوط به وضعیت مکالمه دسترسی داشته باشد.
یکی از این اطلاعات، KV Cache است که داده‌های مربوط به کلیدها و مقادیر محاسبات Attention را نگهداری می‌کند.
با افزایش طول Context و تعداد درخواست‌های هم‌زمان، حجم KV Cache نیز می‌تواند افزایش یابد. در چنین شرایطی، ظرفیت و پهنای باند HBM روی تعداد درخواست‌های قابل پشتیبانی و سرعت پردازش تأثیر می‌گذارند.
آیا ظرفیت بیشتر HBM همیشه به معنی عملکرد بهتر است؟
خیر. ظرفیت و پهنای باند حافظه هر دو مهم‌اند، اما به‌تنهایی عملکرد نهایی GPU را تعیین نمی‌کنند.
برای انتخاب شتاب‌دهنده مناسب باید چند عامل را هم‌زمان بررسی کرد:
- ظرفیت HBM: آیا مدل و داده‌های موردنیاز در حافظه GPU جا می‌گیرند؟
- پهنای باند HBM: آیا داده‌ها با سرعت کافی به واحدهای محاسباتی می‌رسند؟
- قدرت محاسباتی GPU: توان پردازش عملیات ماتریسی و Tensorها چقدر است؟
- ارتباط میان GPUها: آیا در اجرای مدل‌های توزیع‌شده، پهنای باند NVLink یا شبکه کافی است؟
- نرم‌افزار و بهینه‌سازی: آیا فریم‌ورک و مدل از سخت‌افزار به‌درستی استفاده می‌کنند؟
برای مثال، اگر یک مدل به ۱۰۰ گیگابایت حافظه نیاز داشته باشد، GPU با ۸۰ گیگابایت HBM ممکن است نتواند تمام مدل را به‌صورت کامل در حافظه خود نگهداری کند. در این وضعیت، ظرفیت ۱۴۱ گیگابایتی می‌تواند مزیت مهمی باشد.
اما اگر مدل به حافظه زیادی نیاز نداشته باشد و بار کاری بیشتر به سرعت محاسبات وابسته باشد، افزایش ظرفیت HBM لزوماً به همان نسبت عملکرد را افزایش نمی‌دهد.
نمونه‌ای از نقش HBM در GPUهای سروری؛ NVIDIA H200
یکی از نمونه‌های شناخته‌شده استفاده از حافظه HBM3E در زیرساخت‌های هوش مصنوعی، GPU سروری NVIDIA H200 است.
این شتاب‌دهنده در دو پیکربندی H200 SXM و H200 NVL عرضه شده و طبق مشخصات اعلام‌شده NVIDIA، هر دو از ۱۴۱ گیگابایت حافظه GPU و پهنای باند ۴٫۸ ترابایت بر ثانیه بهره می‌برند.
| مشخصه | NVIDIA H200 SXM | NVIDIA H200 NVL |
| نوع حافظه | HBM3E | HBM3E |
| ظرفیت حافظه GPU | ۱۴۱ GB | ۱۴۱ GB |
| پهنای باند حافظه | ۴٫۸ TB/s | ۴٫۸ TB/s |
| فرم‌فکتور | SXM | PCIe |
| توان مصرفی حداکثری اعلام‌شده | تا ۷۰۰ وات | تا ۶۰۰ وات |
این مشخصات نشان می‌دهند که HBM3E چگونه می‌تواند ظرفیت و پهنای باند موردنیاز برای اجرای مدل‌های بزرگ هوش مصنوعی را در اختیار GPU قرار دهد.
البته عملکرد نهایی یک سرور مجهز به H200 فقط به حافظه GPU وابسته نیست. تعداد GPUها، پردازنده مرکزی، RAM سیستم، شبکه، خنک‌سازی، منبع تغذیه و معماری ارتباط میان شتاب‌دهنده‌ها نیز باید متناسب با بار کاری انتخاب شوند.
هنگام انتخاب سرور هوش مصنوعی به چه مشخصاتی از HBM توجه کنیم؟
اگر قصد خرید یا طراحی زیرساختی برای آموزش یا اجرای مدل‌های هوش مصنوعی را دارید، بررسی نام نسل حافظه به‌تنهایی کافی نیست. بهتر است مشخصات زیر را در نظر بگیرید:
۱. ظرفیت حافظه هر GPU
ظرفیت HBM تعیین می‌کند چه مقدار از وزن‌های مدل، داده‌های میانی و KV Cache می‌تواند در حافظه GPU قرار بگیرد.
۲. پهنای باند حافظه
پهنای باند بالا برای بارهای کاری که به انتقال مداوم داده وابسته‌اند، اهمیت زیادی دارد. این مشخصه باید متناسب با نوع مدل و الگوی پردازش بررسی شود.
۳. تعداد GPUها و ظرفیت تجمیعی حافظه
در سرورهای چند GPU، ظرفیت حافظه‌ها در مجموع می‌تواند افزایش یابد؛ اما نباید فرض کرد تمام حافظه GPUها به‌صورت خودکار یک فضای حافظه یکپارچه و بدون محدودیت تشکیل می‌دهند.
نحوه توزیع مدل، ارتباط میان GPUها و پشتیبانی نرم‌افزار از پردازش چند GPU اهمیت زیادی دارد.
۴. پهنای باند ارتباط میان GPUها
در مدل‌های بزرگ، ممکن است وزن‌ها و محاسبات میان چند GPU تقسیم شوند. در چنین شرایطی، ارتباط میان GPUها از طریق فناوری‌هایی مانند NVLink و همچنین شبکه سرور اهمیت پیدا می‌کند.
۵. توان مصرفی و سیستم خنک‌سازی
GPUهای مجهز به HBM برای بارهای کاری سنگین طراحی شده‌اند و معمولاً به توان الکتریکی و خنک‌سازی متناسب نیاز دارند. بنابراین، پیش از انتخاب سرور باید توان مصرفی، طراحی حرارتی و قابلیت پشتیبانی شاسی از شتاب‌دهنده‌ها بررسی شود.
جمع‌بندی؛ چرا HBM یکی از اجزای کلیدی زیرساخت هوش مصنوعی است؟
افزایش اندازه مدل‌های هوش مصنوعی و پیچیده‌تر شدن فرایندهای آموزش و استنتاج باعث شده است حافظه GPU به یکی از عوامل مهم در طراحی زیرساخت‌های پردازشی تبدیل شود.
HBM با استفاده از معماری سه‌بعدی، اتصال‌های TSV و رابط ارتباطی بسیار عریض، امکان انتقال حجم زیادی از داده را با پهنای باند بالا و بهره‌وری مناسب انرژی فراهم می‌کند.
با این حال، برای انتخاب GPU یا سرور هوش مصنوعی نباید تنها به ظرفیت یا نسل HBM توجه کرد. قدرت محاسباتی، ارتباط میان GPUها، ظرفیت RAM سیستم، شبکه، مصرف انرژی و نوع بار کاری نیز در عملکرد نهایی نقش دارند.
در نهایت، اگر هدف اجرای مدل‌های زبانی بزرگ، آموزش مدل‌های عمیق یا ارائه سرویس‌های هوش مصنوعی در مقیاس سازمانی باشد، بررسی دقیق ظرفیت و پهنای باند HBM می‌تواند به انتخاب زیرساختی متناسب با نیاز واقعی کمک کند.
برای انتخاب زیرساخت مناسب پردازش هوش مصنوعی، فقط قدرت GPU را در نظر نگیرید. ظرفیت و پهنای باند حافظه، ارتباط میان شتاب‌دهنده‌ها، توان مصرفی و قابلیت توسعه سرور نیز در عملکرد نهایی نقش دارند. برای بررسی و انتخاب تجهیزات مناسب زیرساخت سازمانی، می‌توانید از خدمات مشاوره و پشتیبانی فنی آداک فن‌آوری مانیا استفاده کنید.
