Подскажите аноны, какую AMD видеокарту можно взять для селфхостед нейронок? Может, кто-то ставил себ

Подскажите аноны, какую AMD видеокарту можно взять для селфхостед нейронок? Может, кто-то ставил себе с этой целью, а я за амудэ вообще не шарю, всю жизнь только nvidia пользовался, но цены на них сейчас просто ебанешься. Чтобы не остаться без инструмента на случай блокировок, ну и чтобы не сливать барену никакой инфы, думаю что-то вроде Qwen3.8-27B раскатать, она требует что-то около 16гб памяти

>>337698608 (OP)
>amd видеокарта
>для нейронок

>>337698666
А что, получается только куртка выпускает нормальное железо под это дело? Ну не может быть такого. Ебобаная монополия

>>337698722
>получается только куртка выпускает нормальное железо под это дело
Получается, что так, а ещё получается, что ты долбоёб. Ну чудеса, прям день открытий для тебя, мой юный друг!

>>337698608 (OP)
На AMD сидеть для селфхостинга сейчас вполне реально, но есть важный нюанс. Главное правило ИИ на AMD — использовать Linux. Под Windows завести стек ROCm (аналог CUDA от AMD) — это лютая боль, а вот под Ubuntu/Arch всё заводится в пару кликов через готовые Docker-контейнеры или ollama / vllm.
Для запуска моделей уровня Qwen2.5-32B или Qwen2.5-14B в хорошем квантовании (Q4/Q5) тебе нужно целиться минимум в 16 ГБ, а лучше в 24 ГБ видеопамяти.
Вот лучшие варианты от AMD под твои задачи на сегодняшний день:

1. Топовый выбор: AMD Radeon RX 7900 XTX (24 ГБ VRAM)

Лучшая альтернатива оверпрайснутым картам NVIDIA.
• Плюсы: Честные 24 ГБ быстрой памяти GDDR6 с шиной 384 бит. Архитектура RDNA 3 имеет выделенные ИИ-ускорители (AI Accelerators). Официально поддерживается актуальным стеком AMD ROCm. Позволяет запускать модели до 32B-70B параметров в жестком квантовании или 27B-32B в отличном качестве (Q4_K_M).
• Минусы: Стоит недешево (хоть и сильно дешевле RTX 4090 / RTX 3090 на вторичке).

2. Оптимальный баланс: AMD Radeon RX 7900 XT (20 ГБ VRAM)

Золотая середина, если XTX не влезает в бюджет.
• Плюсы: 20 ГБ памяти — это безопасный зазор. Модели на 27B–32B параметров (квантованные до 4 бит) занимают около 17–19 ГБ в памяти вместе с контекстом, так что в 20 ГБ они залетают идеально без риска уйти в своп.
• Минусы: Чуть уже шина памяти, скорость генерации токенов будет незначительно ниже, чем на XTX.

3. Бюджетный вход: AMD Radeon RX 6800 / 6800 XT / 7800 XT (16 ГБ VRAM)

Вариант «дешево и сердито», но впритык.
• Плюсы: Самый доступный способ получить 16 ГБ памяти.
• Минусы: Для 27B/32B моделей 16 гигабайт — это на грани фола. Модель с квантованием Q4 займет ~16-17 ГБ с учетом контекста (KV-кэша). Придется либо сильно урезать длину контекста, либо брать более агрессивное квантование (Q3), что бьет по «уму» нейронки. На этих картах с комфортом будут бегать модели до 14B параметров.

Таблица сравнения карт AMD для локальных LLM


ВидеокартаОбъем VRAMШина / Пропускная способностьЧто потянет из Qwen/Llama
RX 7900 XTX24 ГБ384-bit / 960 ГБ/сМодели до 32B (Q5/Q8) со свистом, 70B (в Q2/Q3).
RX 7900 XT20 ГБ320-bit / 800 ГБ/сИдеально для 27B–32B (Q4).
RX 7800 XT / 680016 ГБ256-bit / 620 ГБ/сКомфортно для 14B. Модели 27B влезут только с сильным сжатием.


Важные подводные камни, к которым нужно быть готовым:

1. Забудь про Windows для ИИ на AMD. Под Linux (особенно Ubuntu) Ollama, Llama.cpp и PyTorch подхватывают современные карты AMD с ROCm без костылей. Под Windows ты упрешься в DirectML, который работает в разы медленнее, либо в вечные ошибки компиляции.
2. Скорость генерации (Token per Second). Карты AMD выдают отличную скорость на инференсе (чтении ответов), так как у них высокая пропускная способность памяти. Но они всё еще уступают NVIDIA в задачах дообучения (Fine-tuning). Если ты планируешь просто крутить модель для себя как продвинутый чат-бот — AMD справится на ура.
3. Софт. Для работы используй связку Ollama + Open-WebUI (интерфейс один в один как у ChatGPT). Ollama под Linux отлично умеет использовать ROCm из коробки.
Если бюджет позволяет — ищи RX 7900 XT (20GB) или XTX (24GB). С ними ты получишь независимость от облаков и ценников Хуанга.

>>337698722

Амуде тоже выпускает, но в серверном виде и за много долларов. Но даже и так нвидия все равно лучше. Вообще проще у ботохуеты спросить, как себя ведет амуда в различных нейрозадачах.

>>337698852
Спасибо конечно, но я могу у ботохуеты и сам спросить, тем более у меня подписька codex pro x5 за 200 баксов. Хочется советов шарящих анонов, которые набили шишек. Вообще зря я в /b пошел с этим, надо было на другую доску

>>337698608 (OP)
>она требует что-то около 16гб памяти

Ну так и бери mi50 на 16 эти обрезки никому не вперлись. Не так давно раздавали их на 32 по 10к но спрос был и теперь не раздают. Для этой моешки похер. Можешь игровую взять на 16 если хочешь. Я сам на амд сижу на вулкане или rocm из под арча. На Винде раньше было так себе но вроде там допиливали что-то.

>>337698951
> Я сам на амд сижу на вулкане или rocm из под арча. На Винде раньше было так себе но вроде там допиливали что-то
Не, винду нахуй. Хочу отдельный сервак сбацать тупо под нейроныча, с линуксятиной, в дополнение к другому на котором крутятся всякие nextcloud, jellyfin, qbittorent и иже с ними. Cпасибо за наводку на mi50, чекну