Делаем свои рабочие станции AI-powered!

Свой предыдущий ПК я собирал в далёком 2011 году. Как сейчас помню, это было время доминации Intel, но я был фанатом AMD, поэтому взял их тогдашний флагман с мощщщным названием Phenom II X6 1090T.

В 2021 году (десять лет прошло!) он стал неприлично долго компилировать рабочий Java-проект, поэтому я решился на апгрейд. На тот момент на полках магазинов только начали появляться планки памяти DDR5, с которыми пока умели работать только процессоры Intel. Они, однако, были у комьюнити не в фаворе из-за накопившегося вороха технологических проблем. DDR5 была ещё не обкатана, сильно дороже, но не сильно быстрее выверенной годами DDR4.

Я решил не рисковать, поэтому сделал выбор в пользу AMD Ryzen 9 5950X. Его вместе с четырьмя планками памяти DDR4-4400 по 8 ГБ я вставил в шикарную Asus ROG Crosshair VIII Hero. Слот видеокарты заняла самая дешёвая заглушка, позволяющая подключить два монитора — Radeon RX 560 c 2 ГБ памяти, а вот место SSD-накопителя занял быстрый WD_BLACK SN850 на 1 ТБ.

Я поставил перед собой задачу сделать сборку максимально тихой, поэтому:

• взял блок питания без вентилятора SeaSonic PRIME FANLESS PX на скромные 500 ватт;
• для охлаждения выбрал тихие башню DARK ROCK PRO 4 от be quiet! и легендарные вентиляторы Noctua;
• и поместил всё это в гроб на колёсиках — be quiet! SILENT BASE 802.

Это было прекрасное время выбора и покупки новых крутых комплектующих. Ностальгия! Вся сборка вышла примерно в 130 т.р. Время компиляции тогда снизилось с 7-8 минут до полутора. Это была ожидаемая, но от этого не менее приятная победа.

С последнего апгрейда прошло уже практически 5 лет (как быстро летит время)! На фоне бума AI я опять решил подстраховаться, так как цены на DDR5 так и не упали и продолжают оставаться заоблачными, а за ними и DDR4 подтягивается. Подвернулся вариант по хорошей цене — решил не упускать возможность и расширил объём оперативной памяти с 32 до 128 ГБ, чтобы уметь локально поднимать модели побольше.

Зачем вообще наращивать RAM, если ключевую роль для работы модели играет VRAM (видеопамять)? Уместить сколько-нибудь сильные модели целиком в GPU в текущем рынке не представляется возможным, но крутить часть модели в быстрой и дорогой VRAM, а часть — в медленной, но дешевой RAM, вполне можно. Этот механизм носит название RAM offloading.

Чтобы было что оффлоадить с VRAM, надо собственно этой VRAM обзавестись (напомню, у меня сейчас 2 ГБ). Ну что, идём искать две бэушные RTX 3090 24 GB по хорошей цене? Смотрел разные альтернативы (Tesla P40 24 GB, Tesla V100 SXM2 32 GB и другие), но пока до конца не определился. Это придётся ещё и блок питания менять на более мощный, ватт на 1500+, ой ой...

P.S. Посмотрел свежие материнские платы, они до 256 ГБ DDR5 держат. Четыре планки по 64 ГБ. Вау! Только выложить за каждую придётся от 800€.