Конфигурацията run-ва DeepSeek-R1:70B изцяло на GPU. Възможно е договаряне и конфигуриране на достъп с цел тестване/трениране на модели и др.

Специализиран GPU рак сървър за HPC и трениране на AI модели с максимална производителност и ефективност. Конфигурацията включва 4 видео карти NVIDIA Tesla V100 с директна NVLink свързаност от втора генерация и 300Gb/s Interconnect Bandwidth (на GPU). Картите са SXM2 версия, наподобяваша процесор, което позволява да достигнат максималнна производителност като се преодолеят ограниченията на PCI-e шината (NVLink скоростта е 20 пъти тази на PCIe Gen3 x16 и 10 пъти тази на PCIe Gen4 x16).

Процесорите и RAM-та ще бъдат по избор и договаряне като според очакваното натоварване и нужди могат да бъдат инсталирани Xeon Gold / Xeon Platinum от първа или втора генерация. Посочената цена е за конфигурация с два процесора Intel Xeon Gold 6138 и 192GB 2666MHz ECC RDIMM.

Tesla V100 притежава 640 тензорни ядра и 16GB 4096-битова HBM2 памет и е първата карта преминала границата от 100 teraFLOPS (TFLOPS) при DL (Deep Learning) изчисления - 125 TFLOPS Tensor Performance. Повече информация за Tesla V100 и използването за AI / HPC може да намерите тук:

www.nvidia.com/en-us/data-center/v100/

Тагове: HPC, AI, ML, DL, LLM, Llama, GPT, GPT-4, GPT-4o, ChatGPT, Chat-GPT, Chat GPT, OpenAI, Open AI, DeepSeek, Deep Seek, Grok, Meta, Meta AI, Gemini, Mixtral, Mistral, train, training, inference, 7B, 13B, 22B, Pro, professional, Про, професионален, сървър, 1U, 2U, rack, work, workstation, станция, engine, CUDA, Deep Learning, Machine Learning, Artificial intelligence, Model training, tensor core, tensor, tensorflow, pytorch, pypi