Локальная? То есть ты её на своём кампудахтере установил? Там же нужны колоссальные мощности.
А смысл в этих 26b если мне надо хотя бы 4Т?
Нормальная, на безрыбье и рак рыба. Завтра тебе запретят дипсик и что ты делать будешь?
Надо пробовать, а не смотреть на параметры, например немотрон 3 скачал, он 30 б параметров, а он хуже чем гемма, у которой 27б, решает архитектура, качество квантования, качество датасета и тд. Ну и активных параметров у геммы 4б а у немотрона 3
4т говоришь - так даже у облачных нейронок точные параметры обычно не раскрыты. Причем большинство мое, они тебе дают 200-500 б параметров, так что ты даже с облачными нейронками не пользуешься 4т
это локальная модель на 20-30 б параметров, квантованная (сжатая)
А на чем это все запускать, так, чтобы не устраивать дроч в присядку по устаревшим гадам из /ai?
ГПТ 5.5 который мне пишет код While initial unverified studies and viral papers estimated the model's size at roughly 9.7 trillion parameters, subsequent reproduction and sanity-checking by AI researchers adjusted these reverse-engineered estimates down to a range of 1.5 trillion parameters.
скачай программу LM Studo, вверху программы выпадающий список select a model for load, открываешь, введи в поле что-нибудь чтобы появилаксь кнопка search more result, откроется окно моделей. на скрине ставь выпадающий список recently udpated, галочку only include... внизу
Нахуя это тебе?
>While initial unverified studies and viral papers estimated the model's size at roughly 9.7 trillion parameters, subsequent reproduction and sanity-checking by AI researchers adjusted these reverse-engineered estimates down to a range of 1.5 trillion parameters.
во-первых это неподтвержденные данные, откуда ты скачал, с форумов? Во-вторых, если мы возьмем 1.5т и разделим например на 16 экспертов мое то получим 93б параметров активных. Опен аи все что говорили, насоклько я помню, что в гпт 4о активных парметров было примерно 110б, то есть даже не 200 и не 500
То есть ты никогда не пользовался моделью, которая для тебя шевелила бы все 1.5 т параметров
Даже если так, все равно локальные модели не способны ни к чему стоящему кроме подрочить в рп диалоге про говорящего коня.
gpt-oss120b это минимум для осмысленного диалога, но у тебя нет 100гб оперативной памяти.
а вот кстати гпт осс - унылейший кал. Вот просто днище. Я скажу еще раз, комрад - пробуй, ибо тенологическое развитие ТАК сильно бежит вперед, что ты просто выпал из потока.
Год назад я запускал локальные нейронки и охуевал от того, какой это максимально бесполезный унылый кал, и считал что это хуйня полная. Но вот уже месяц примерно как решил вернуться от нехуй делать в наблюдения, и, скажу тебе, результат налицо.
Уже спокойно можно нейронку сунуть в агент клайн на вскод, локальную, и она будет писать рабочий код, аналог кодекса от гпт, толко твой собственный. А что будет дальше - только лучше
Ладно, пошел я, дела. Я вам показал годноту - хавайте
На моем пека 2 ядра 2 гига встроенная видха интел эта гемма 4 покатит?
>локальные модели
Так это говняк который в лучшем случае для автокомплита кода пойдет, какие-то +- сложные задачи и рефакторинги оно не сделает.
На линупсе под чем запускать? Я баловался ollama год назад но забросил это дело потому что видимокарта напрягалась знатно а выхлоп хуже чем у чатжпт4 я понию что на 4070ti что-то мощное вообще никак, но это все равно аргумент чтобы не мучать железо зря
gemma-3-4b-it-qat-Q4_0.gguf 2,4 GB
YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf 4,9 GB
ryzen 7 2700x 16GB.
Ещё недавно узнал как-то можно на видюху собрать лламу, будут конечно проблемы у меня и видюха амд
YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf 4,9 GB
ryzen 7 2700x 16GB.
Ещё недавно узнал как-то можно на видюху собрать лламу, будут конечно проблемы у меня и видюха амд
Во, забыл уточнить. Месяц или 2 назад все орали что есть какаято бесценщурная gemma я попробовал и вся эта связка не работала. Забил хер. Думаю скоро буду ос переустанввливать чтоб в этот раз сделать все по уму и хочу чтоб в системе мусора было 0. Вообще все что можно через podman ставить и образа держать на левом диске и асп эти странные модели итд
Рефакторинг IDE нормальные умели делать до появления chatgpt 3.5
>и она будет писать рабочий код
Какое-то простое дерьмо могли и раньше писать. А сложное дерьмо которое мне надо они не смоугут. ГПТ 5.5 и тот не всегда справляется.
я представляю так что программист должен знать как писать прогу старым без иишным способом, чтобы направлять иишку правильно
буквально 1 клик скачать и как обычную модель запустить, хз как можно было тут обосраться, ты хуже бота даже
Облачные нейронки, конечно, хорошо, но ненадежно: сегодня хорошая - завтра ее обновляют, лоботомируют, ломают, запрещают, излишне цензурируют. Облачная нейронка - зависимость, локальная - свобода!
Представляю вам Гемму 4 мое - первая локальная модель, которая по-настоящему впечталила, первая модель, попользовавшись которой я сказал - "Я начинаю вкатываться в локальные ии, теперь это становится реальностью"
Попробуйте гемму. Если использовать разные промты, она послушно будет вам помогать, без "Как ИИ я не могу помочь с этим вопросом..."