مطالعه موردی: استقرار خوشه استنتاج 8 پردازنده‌ای برای یک استارتاپ هوش مصنوعی

چالش

یک استارتاپ هوش مصنوعی که یک محصول مبتنی بر LLM را می ساخت، به زیرساخت های استنباطی سطح تولید نیاز داشت. تیم با زمان های طولانی GPU، بودجه تنگ و عدم تجربه مرکز داده داخلی روبرو شد.اونا به يه تامين کننده نياز داشتند که بتونه، تست و تحویل یک خوشه آماده برای اجرا.

راه حل

با همکاری مهندسان ما، مشتری سرورهای گرافیکی دل را انتخاب کرد که برای بار کاری نتیجه گیری آنها تنظیم شده است:

- پردازنده های مقیاس پذیر اینتل Xeon با گزینه های تعداد هسته های بالا

- چند گرافیک NVIDIA در هر گره، با اندازه بودجه

- حافظه DDR5 با فرکانس بالا و ذخیره سازی NVMe

- سیستم عامل نصب شده و درایورهای تایید شده از آزمایشگاه ما

هر گره قبل از حمل و نقل سوخته و تست شد و ما یک برنامه تحویل مرحله ای را ارائه دادیم تا تیم بتواند با اولین گره ها شروع به تست کند در حالی که بقیه می آیند.

نتایج

- کلاستر در 7 هفته در مقابل زمان 2 ماهه که در جای دیگر ذکر شده است.

- تاخیر استنباط کاهش یافته توسط 10٪ در مقایسه با تنظیمات قبلی واحد GPU

- 10٪ صرفه جویی در هزینه در مقایسه با اجاره نمونه های GPU ابری معادل در طول 24 ماه

نکته کلیدی

اندازه ی درست اولین خوشه مهم تر از خرید بزرگ ترین است.سخت افزار مستقیم کارخانه و مقیاس بندی به عنوان تقاضای رشد اجازه دهید این راه اندازی زنده بدون تعهد بیش از حد سرمایه.

با ما تماس بگیرید تا زیرساخت های نتیجه گیری یا آموزش هوش مصنوعی خود را برنامه ریزی کنید.