Разработчик ИИ приобрел за €7500 исправную станцию NVIDIA Grace Hopper с 960GB ГБ LPDDR5X стоимостью от $80 000 — но пришлось потрудиться
Помимо «золотой» оперативной памяти, рабочая станция NVIDIA оснащена двумя суперчипами Grace Hopper, двумя 7-ядерными процессорами Grace и двумя GPU Hopper H100.
Нереально удачное приобретение позволяет локально запускать большую языковую модель с 235 млрд параметров. Счастливчик Дэвид Ноэль Нг объясняет в своем блоге, что за $10 000 сейчас можно приобрести лишь «подержанные графические процессоры, едва способные обрабатывать 70 млрд». Вероятно, у Дэвида неплохо идут дела, поскольку когда он увидел «явно фейковое» предложение в Reddit, он решил рискнуть. Однако даже в такой ситуации покупатель не потерял рассудок, добившись скидки от начальной цены €10 000.
«Оказывается, я живу рядом с продавцом, и он управляет интернет-магазином, который продает модифицированное серверное оборудование NVIDIA как настольные компьютеры. Это все еще казалось довольно рискованным, поэтому я провел некоторое исследование и нашел видеообзор одного из его настольных компьютеров на YouTube. Поскольку сделка теперь казалась по крайней мере правдоподобной, а продавец был всего в двух часах езды и согласился принять наличные, пришло время отправиться в баварское путешествие», — пишет Дэвид Ноэль Нг.
Конечно же, предложение имело оговорки, объясняющие огромную скидку и содержало риски монтажа, но, забегая вперед, все прошло нормально и станция заработала. Охлаждение системы было переделано с жидкостного на воздушное, она имела неопрятный вид, потеряла возможность установки в стойку и работала от блока питания 3000 Вт, 230 В на 48 В.
Память 2 x 480 ГБ LPDDR5X ECC, которая, как пишет Tom’s Hardware, уже оправдывает приобретение, была не единственной, установленной в рабочей станции. На ее борту также установлены 2x 96 ГБ памяти HBM3, так что общий объем «оперативки» составляет 1152 ГБ. Компоненты системы объединяются по технологии NVLink-C2C с пропускной способностью 900 ГБ/с, общий TDP можно программировать от 1000 Вт до 2000 Вт, в наличии интерфейсы подключения 2x PCIe Gen4 M.2 22110/2280, 4x FHFL PCIe Gen5 x16, 1x USB 3.2, 1x RJ45 IPMI и 1x Mini Displayport.
Приведение этого «ПК» в порядок потребовало изрядной работы паяльником и другими инструментами, которую автор увлекательно описывает в блоге. Кроме грязи, система была крайне шумной и чрезвычайно грелась, но продавец честно продемонстрировал ее Дэвиду именно в таком виде.
«Если бы это был спонсируемый пост, они, пожалуй, не позволили бы мне упомянуть о температуре графического процессора в 16 млн градусов или о том, где мне пришлось свободно паять компоненты, молясь богам электроники», — замечает новый владелец.
Для очистки и отладки он использовал изопропиловый спирт, четыре переработанных недорогих жидкостных охладителя Arctic AiO, несколько медных деталей, вырезанных на программируемом фрезерованном станке, килограмм деталей, напечатанных на 3D-принтере. Финальный результат работы можно увидеть на обложке. Очевидно, разницу в цене частично покрыли навыки и работа мужчины, потому это не совсем дармовая покупка.
