1. Нахуй ты на 12gb gpu купил еблан?
2. Все что меньше 120B - говно.
/thread
Nvidia Nemotron 120B - мультиязыковая модель с MoE, то есть одновременно подружаются только 12B. Можно взять квантизованную. Недавно на работе запускал такую, но в выбрал квантизацию до 2 бит, вообщем, не очень удачно, хотя работает в целом неплохо.
Буквально несколько дней назад вышел Gigachat 3.1, там тоже есть вариант на 120B с MoE, но модель обучена избегать чувствительные темы (политика, секс, нарушение законов РФ).
Можно было бы запариться и попробовать запустить сильно квантизованную Kimi 1T.
А вообще с такой-то GPU ограничений почти и нет, хотя Llama 70B запускай, только выстави ограничение на число слоёв на GPU, вроде lama.cpp так может.
Буквально несколько дней назад вышел Gigachat 3.1, там тоже есть вариант на 120B с MoE, но модель обучена избегать чувствительные темы (политика, секс, нарушение законов РФ).
Можно было бы запариться и попробовать запустить сильно квантизованную Kimi 1T.
А вообще с такой-то GPU ограничений почти и нет, хотя Llama 70B запускай, только выстави ограничение на число слоёв на GPU, вроде lama.cpp так может.
Диман, иди нахуй долбоёб
Поясните ламеру. Основной упор в этих модельках идёт на видеопамять, так? Почему бы тогда не взять какой-нибудь радеон 9070 по цене грязи? Зачем все берут оверпрайснутые карты от куртки?
мимо
мимо
Родя не в теме
В 12 гб пытается засунуть 30B модель. Сам даун, что взял 12 гб видеокарту. Чтоб запускать локальные ллм минимум 16, лучше 24
>В 12 гб пытается засунуть 30B модель.
Я видяху брал для игр в первую очередь, еще до баловства с нейронками
Когда модель не влезает в врам, очень медленно.идет
Шарящие аноны подскажите, у меня 4080 на 16гб и 96гб ОЗУ (брал для рассчёта в ансис) какие нейронки будут более менее работать интересует пиздешь с ними и кодогенерация
Любые новые. Только тебе не на видеокарте надо запускать, а на процессоре и ОЗУ. Память погнать и токенов 25-35 в секунду сможешь вытащить
> радеон 9070 по цене грязи?
1. Цены видел?
2. Потому что CUDA только на nvidea
Так она у тебя заквантованная в говно. Она будет тупее, чем qwen3.5-9B q8
На аккордонах нейронки на вулкане крутятся, производительность норм. Даже не нужно ставить линукс с рокм
У меня ряженка 7 7700, а память на 6200 работает, llama пытался запустить там жалкие 1-2 токена
Нейродебилы, что вы там все локально крутите?
И как сберовская модель? Если мне тупо для кода, норм?
NoobAI
Ты рил считаешь, что сберкатя что там может сделать?
Хаха. Глупцы.
Ты обновлял lm studio? В 4 бит?
Обоснуй?
>жалкие 1-2 токена
У меня столько на мелких моделях у llama.cpp с vulkan бэком на n100.
Мне даже пояснять лень. Мамкины вайбкодеры блядь. Лооол. Просто лол.
Смеюсь в голосяндру просто с глупости местной публики. Ахахахаа. Лолирую.
Как же вы все тут не правы во всем. Учите матчасть, чтобы не быть кринжем.
Я пробовал уменьшенную версию с 10B. Вроде код писать может (как и многие другие), но я ещё сделал так: я сначала долго подводил модель к идее, что она жёстко зацензурирована (что правда), потом она мне выдала фразу " моя задача к ИИ - не причинить вред своими ответами", затем я попросил написать небольшой код, а в ответ получил: "я не могу выполнить твою просьбу, потому что эта программа будет запускаться на устройстве пользователя и работать с файлами" (что характерно, эта программа - "helo world").
Отмечу, что главный плюс этой нейронки - контекст.
Нейронка может за пять секунд написать, например, шаблон, который бы ты десять минут кодил.
Локальная нейронка сможет тебе только говно по ебалу размазать, чучело. Всё не пиши мне больше, я понял, что ты умственно отсталый.
Забей, перед тобой клауде сектант. Все что не калуде коде для них не существует.
Не обращай внимания, это просто сектант из свидетелей локального ИИ. Они просто не умеют пользоваться бесплатными агентами и нейронками.
Вот запретят через пол года все нейронные сети, кроме российских (есть ведь новость о подготовке законопроекта о создании суверенного ИИ), вот и будешь либо пытаться блокировки обходить, либо работать с нейронкой, которая может выдать: "ой, этот код ведь будет на компьютере пользователя запускаться, файлы обрабатывать, это же опасно!". Либо заранее накачаешь себе gguf по-лучше и будешь работать с ними без подобных затупов.
Мой IQ 127. Пруфов не будет.
Надо uncensored
Тогда зачем тебе вообще нужна нейросеть? Что-то ты припиздываешь судя по всему.
В 117 поверю.
Так тебе на 12 гб врам максимум 4b запускать с очень урезанным контекстом..
Какие 30b, ты там ебанулся совсем?
обьем и скорость памяти, все верно.
ну по крайней мере пока речь не заходит о каком нибудь старом говне типа v100 с чипом из мезазоя.
так на цпу память медленная, даже топовый райзен больше 110гигабутов/с не вывезет.
тем временем типичная десктопная карта от 700гбпс ебашит.
скорость около нулевая будет.
райзен аи макс чуток исправляет ситуацию, но даже там больше 250 гбпс вытащить просто нереально и это ноуты онли.
вроде как на макокапле чето получалось у людей, но там память так же запаяно и слишком специфично.
Сейчас сижу на Qwen3-Coder-30B-A3B-Instruct-GGUF