Ориентир по самосборке железа

Bark
01.07.2026 11:38
 

Полезный взгляд практика из-за океана, на то сколько действительно стоит железо для наших экспериментальных квантованных моделей. И да, на ebay с доставкой в Ташкент легко заказать...так что это не отговорки.


Создайте свою собственную локальную систему искусственного интеллекта в 2026 году: практическое руководство для эпохи после пика потребления памяти.

Эндрю Чжу

Вчера Apple объявила о повышении цен на MacBook и iPad, сославшись на резкое увеличение стоимости памяти. Это не только проблема Apple это симптом более широкой тенденции. Глобальный дефицит памяти, вызванный огромным спросом на центры обработки данных для ИИ, делает создание локальной системы для обработки данных с использованием ИИ сложнее и дороже, чем когда-либо.

Цены на RTX 3090 за последний год выросли вдвое. Цена на RTX 5090 превысила 4000 долларов. Стоимость оперативной памяти DDR5 выросла на 300% по сравнению с двумя годами ранее.

Но вот хорошие новости: для запуска локального ИИ вам не понадобится дорогостоящее новое оборудование. На самом деле, лучшую по соотношению цены и качества систему для ИИ в 2026 году можно собрать практически полностью из бывших в употреблении серверных комплектующих и видеокарт среднего ценового сегмента.

Я уже много лет занимаюсь созданием и оптимизацией локальных систем искусственного интеллекта. Вот что я узнал о том, как создать практичную, мощную и доступную систему для ИИ летом 2026 года.

1. Материнская плата: слоты PCIe это главное.

Материнская плата это основа. А какой самый важный параметр? Количество слотов PCIe.

Для персонального ИИ-вычисления вы, скорее всего, будете разделять модели по слоям, а не использовать параллелизм тензоров. Разделение по слоям означает, что GPU 0 обрабатывает первый набор трансформерных слоев, затем передает скрытые состояния GPU 1 и так далее. Передаваемые между GPU данные относительно невелики только тензоры скрытых состояний, а не полные веса модели.

Мои тесты показывают, что PCIe v3 @ x4 обеспечивает практически идентичную скорость с PCIe v4 @ x8 при выводе данных с разделением слоев. Поэтому вам не нужна новейшая материнская плата с PCIe 5.0. Вам нужны слоты.

Рекомендация: Бывшая в употреблении серверная материнская плата X99 с 4+ слотами PCIe. Их много на eBay и AliExpress по цене от 100 до 200 долларов. Платформа X99 (LGA2011–3) поддерживает оперативную память DDR4 ECC, имеет множество линий PCIe и отличается высокой надежностью для задач инференции.


ASUS X99-E WS

Полезный совет: многие продавцы могут бесплатно или за 10 долларов подарить процессор. Воспользуйтесь этим предложением — об этом мы поговорим позже.

2. Процессор: Не тратьте деньги зря

Выполнение задач искусственного интеллекта это работа для графического процессора. Задача центрального процессора заключается, по сути, в передаче данных на графический процессор и управлении вводом-выводом. Для этого не нужен мощный центральный процессор.

Не стоит покупать новый AMD EPYC или Intel Xeon для инференса. Эти деньги лучше потратить на видеокарты. С обучением ситуация другая — если вы занимаетесь обучением, конечно, купите мощный процессор. Но для инференса подойдет любой процессор.

Один важный фактор: количество ядер. Если вы планируете собирать проекты с открытым исходным кодом из исходного кода (например, llama.cpp), больше ядер означает более быструю компиляцию. 14-ядерный процессор Xeon E5–2660 v4 скомпилирует llama.cpp за гораздо меньшее время, чем процессор i5–12600K.

Рекомендация:Процессор Xeon E5–2660 v4 (14 ядер, 28 потоков). Эти процессоры предназначены для...менее 10 долларовНа eBay. Да, меньше десяти долларов. Не меньше ста. Меньше десяти. Они настолько дешевые, что часто их дают в комплекте с материнской платой бесплатно.


Стоимость процессора для ИИ составляет менее 10 долларов.

Процессор E5–2660 v4 это чип Haswell-EP 2014 года выпуска. По меркам процессоров он устарел, но для задач искусственного интеллекта он более чем достаточен.

3. Оперативная память: минимум 32 ГБ, идеально 64 ГБ.

Вот для чего вам нужна оперативная память:

  • Кэширование модели: Для запуска одного экземпляра Qwen3.6–27B требуется около 32 ГБ системной оперативной памяти для кэширования, контекстных буферов и накладных расходов.
  • Перенос весов: Для генерации изображений и видео моделям требуется системная оперативная память в качестве промежуточной области для переноса весов между графическими процессорами.
  • Общие накладные расходы: операционная система, кэширование файловой системы и любые параллельно выполняемые процессы.
  • Рекомендация: стремитесь к объему памяти не менее 32 ГБ. 64 ГБ вполне достаточно. Чем больше, тем лучше.

    Я знаю, что цены на оперативную память сейчас заоблачные. Но бывшую в употреблении серверную оперативную память DDR4 ECC всё ещё можно найти на eBay по разумным ценам. Планка DDR4 ECC на 16 ГБ стоит около 50 долларов. Четыре такие планки обеспечат 64 ГБ менее чем за 200 долларов.

    Полезный совет: материнские платы X99 поддерживают оперативную память ECC, которая дешевле в пересчете на ГБ, чем память без ECC, и более надежна для серверов, работающих в режиме длительного вывода данных.

    4. Хранение данных: комбинация SSD и HDD

    Модели ИИ занимают огромные ресурсы. Модель размером 27 байт в квантовании Q4 занимает около 16 ГБ. В BF16 - 54 ГБ. Добавьте модели изображений, видеомодели, LoRA, эмбеддинги и наборы данных, и вы быстро заполните жесткий диск.

    Рекомендация:

  • 1 ТБ NVMe SSD - для ОС, загрузки активных моделей и файла подкачки. Быстрая загрузка важна при переключении между моделями.
  • Жесткие диски объемом 4 ТБ и более - для хранения данных о весе моделей, наборов данных и архивов. Жесткие диски недороги в пересчете на ГБ и идеально подходят для холодного хранения.
  • Если цены выгодные, купите больше места для хранения, чем вам кажется необходимым. Вес моделей со временем будет только увеличиваться.

    5. Источник питания: рассчитан на 4 видеокарты.

    Даже если вы начинаете с одной или двух видеокарт, собирайте систему с учетом будущего расширения. Материнская плата с 4 слотами PCIe бесполезна, если ваш блок питания не может обеспечить питание для 4 видеокарт.

    Рекомендация:

  • Основной блок питания: 1300–1600 Вт, с сертификатом 80+ Gold или выше. Ищите модели как минимум с 8 8-контактными разъемами PCIe.
  • Дополнительный блок питания: Если вы планируете использовать 4 видеокарты, вам, скорее всего, понадобится второй блок питания. Два блока питания в одной установке - распространенная практика в майнинговых и ИИ-системах.
  • Цены на блоки питания остаются стабильными - даже ниже, чем два года назад. Качественный блок питания мощностью 1600 Вт от Seasonic, Corsair или EVGA стоит 150–150–250 долларов. Не экономьте на этом. Некачественный блок питания может вывести из строя ваши видеокарты.

    6. Графические процессоры: реальная инвестиция

    Именно сюда уходят большие деньги. Давайте будем реалистами в отношении рынка:

  • RTX 3090 (24 ГБ) : Классическая видеокарта для систем искусственного интеллекта. Цены неуклонно росли с момента бума ИИ. В начале 2024 года на местных торговых площадках можно было найти подержанные экземпляры за 600–700 долларов. Сегодня на eBay цены начинаются от 1300 долларов. Реалистичная цена на подержанную 3090 в июне 2026 года составит 850–1200 долларов, в зависимости от состояния и источника. Facebook Marketplace, Craigslist и r/hardwareswap — лучшие варианты для поиска выгодных предложений до 1000 долларов.
  • RTX 5090: Цена превышает 4000 долларов. Непрактична для большинства любителей.
  • RTX 4060 Ti (16 ГБ): ~450 долларов. Достойная видеокарта для небольших моделей.
  • RTX 5060 Ti (16 ГБ): ~550 долларов. Более новая архитектура, лучшая энергоэффективность.
  • RTX 5070 Ti (16 ГБ): ~1000 долларов. Хороший компромиссный вариант.
  • Видеокарта Radeon AI PRO R9700 (32 ГБ) : ~ 1340 долларов США. Одна карта с 32 ГБ оперативной памяти.
  • Рекомендация 1 для вывода LLM: две RTX 4/5060 Ti (по 16 ГБ каждая) = 32 ГБ видеопамяти примерно за 1000 долларов. Этого достаточно для комфортной работы с Qwen 3.6–27B при разделении слоев между двумя графическими процессорами.

    Рекомендация 2 для выполнения LLM-вычислений : одна видеокарта AI Pro R9700. Одна карта может без проблем работать с Qwen3.6–27B.


    У меня сейчас нет этой карты под рукой, но я слышал много положительных отзывов о ней, она работает как с моделями LLM, так и с моделями Diffusion. И её цена не выросла, мне кажется, скоро она подорожает.

    Для обработки изображений и видео вам по-прежнему нужна как минимум одна видеокарта RTX 3090 (или AI Pro R9700). 24 ГБ видеопамяти имеют решающее значение для обработки изображений высокого разрешения и видео. Такие модели, как Flux.2 и Wan2.2, получают огромную выгоду от того, что вся их вычислительная мощность сосредоточена в видеопамяти одновременно.

    Идеальная конфигурация, если позволяет бюджет: одна RTX 3090 (24 ГБ) + одна AI Pro R9700 (32 ГБ) = 54 ГБ видеопамяти примерно за 2800 долларов. 3090 отвечает за LLM, AI Pro R9700 — за обработку изображений и видео.

    7. Корпус и охлаждение: Оцените преимущества майнингового корпуса.

    Вы не найдете стандартного корпуса для ПК, в который поместятся 4 видеокарты. Забудьте об этом.

    Рекомендация: Приобретите корпус для майнинга с открытой рамой. Они разработаны специально для конфигураций с несколькими видеокартами, обеспечивают отличную вентиляцию и легкий доступ к видеокартам. Они шумные, некрасивые, но идеальные.


    Рама майнинговой установки

    Рама для майнинга на 6 видеокарт стоит около 30 долларов на Amazon или AliExpress. Она надежно фиксирует материнскую плату, имеет слоты для всех ваших видеокарт и поддерживает установку внешних вентиляторов. Это лучшее решение для майнинговых ферм с несколькими видеокартами.

    8. Местоположение: Гараж

    Когда эта установка работает, она будет шуметь и сильно нагреваться. В майнинговых рамах нет звукоизоляции. Несколько вентиляторов видеокарт, вращающихся на высоких оборотах, создают постоянный гул.

    Рекомендация: Разместите компьютер в гараже, подвале или специально отведенном помещении подальше от жилого пространства. Используйте ноутбук или MacBook для подключения к компьютеру по SSH или удаленного рабочего стола.

    Так работает большинство серьезных локальных специалистов по искусственному интеллекту: компьютер стоит в гараже, а вы управляете им со своего рабочего места через SSH или веб-интерфейс. Это тихо, комфортно и практично.

    Общая смета расходов

    Вот сколько будет стоить мощная система для обработки искусственного интеллекта с двумя видеокартами в июне 2026 года:

    Материнская плата X99 ( 4+ слота PCIe) 10–20 долларов США

    Процессор Xeon E5-2660 v4 ( 14 ядер) 0–1 доллар США

    64 ГБ оперативной памяти DDR4 ECC ( 4 x 16 ГБ) 20–25 долларов США

    SSD NVMe 1 ТБ 12–20 долларов США

    HDD 4 ТБ 12–20 долларов США

    Блок питания 1600 Вт 15–25 долларов США

    Рама для майнинга 3–6 долларов США 2 x RTX 5060 Ti ( по 16 ГБ каждая ) 1100 долларов США

    -------

    Итого ~ 1820–2270 долларов США

    Дефицит памяти реален, и он делает локальный ИИ более дорогим. Но, используя бывшее в употреблении серверное оборудование и видеокарты среднего ценового сегмента, вы все еще можете собрать мощную локальную систему для ИИ менее чем за 2000 долларов.

    Главный вывод: для вывода результатов ИИ не требуется самое современное оборудование. Необходимы видеопамять, слоты PCIe, продуманная архитектура и, самое главное, графические процессоры. Остальное может быть недорогим.

    Стройте с умом, а не за большие деньги.


    0
    0
    0
    Опубликовано:
    Комментариев:0
    Репостов:0
    Просмотров: 0