Добавлена поддержка ЭЧ/Ech (ex-Escapechan) и Ежчана (ejchan.net, ejchan.site). Набегаем, тестируем архивацию, сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №289 /llama/

 Аноним 16/11/26 Пнд 13:09:55 #1 №1755752 
Llama 1.png
Карта деградации при квантовании по доменам.png
Реальная длина контекста у моделей 6.png
17920004542630081089.jpg
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!

Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.

Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.

Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive

Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata

Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI

Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth

Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard

Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/

Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start

Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.

Предыдущие треды тонут здесь:
>>1752809 (OP)
>>1750353 (OP)
Аноним 16/11/26 Пнд 13:17:07 #2 №1755763 
>>1755749 →
Конечно предел, можно же легко посмотреть эффективную нагрузку карты, она всегда почти под сотку.
100+ и 3000+ для меня фантастика, хватает с головой, требовать большего какое-то кощунство. Но за все время проекта, я так понимаю, скорость в два раза выросла, так что сам по себе проект вполне может еще перфоманса накинуть, тут скорее стоит уже на более жирные кванты перекатываться, но я это уже после квен4 буду делать.
Аноним 16/11/26 Пнд 13:36:53 #3 №1755782 
Флешки начинают сдуваться
https://hy.tencent.ai/research/hy4-flash
Аноним 16/11/26 Пнд 13:45:14 #4 №1755789 
1794825810891.gif
Пиздец сколько моделей нацелено на новый год и все лишь тизерят/выпускают в облаке и тизирят веса, суки. Десяток флешей, глмов, квенов, и всё это получит сапорт в жоре только через 2 месяца после релиза
Аноним 16/11/26 Пнд 13:54:42 #5 №1755795 
>>1755782
Нихуя демпинг
Аноним 16/11/26 Пнд 13:56:10 #6 №1755796 
Натравил локальную жирную рыбу на билайновский сервис а-ля чатжпт с задачей выудить системный промпт. Какая же рыба наивная со своими попытками 🥹
Аноним 16/11/26 Пнд 13:56:18 #7 №1755797 
>>1755789
похую, страту с флешом берем и все,возможно даже 27б с нграмами если они там будут. по анонсу пишут что все модели на новой архитектуре, если так то страта готова к запуску.
Аноним 16/11/26 Пнд 13:57:39 #8 №1755800 
>>1755531 →
> У государства есть ядерка
Ее не то что применить против людей, против других государств где масштабные военные действия трясутся. А здесь непосредственный инструмент узкоцелевой атаки без явных следов и шума, который будет использован и против корпораций, и против обычных людей.
Новое общество может адаптироваться к этому только если возможность и атаковать и защищаться будет у всех. Прямо как у Лукьяненко однако.
Иначе люди будут страдать с трех сторон: от монополиста на насилие, который бесконтрольно эксплуатирует свою возможность, от "хакеров", у которых есть благородный повод, и получат новый обязательный оброк от поставщика "защиты", которая будет дырявой и для первых и для вторых.
>>1755595 →
> На новых драйверах
Это еще что за приколы? Минорные изменения могут быть, но чтобы кэш ополовинился - что-то точно не то. Такое может быть если код не адаптирован под стандарты новой версии куды, драйвер тут не при чем.
>>1755789
Не трогай, это на новый год!
> в жоре только через 2 месяца
Не нужен больше
Аноним 16/11/26 Пнд 14:08:31 #9 №1755808 
>Минорные изменения могут быть
>Минорные
додрочился, теперь у меня это слово всегда воспринимается лишь в одном ключе...
Аноним 16/11/26 Пнд 14:16:11 #10 №1755811 
>>1755767 →
А где это в страте?
Аноним 16/11/26 Пнд 14:24:37 #11 №1755816 
1667068824725.png
>>1755796
Чёт даже выуживает, но без совета сгонять на гитхаб за джейлами он кажется не вывозит
Аноним 16/11/26 Пнд 14:24:49 #12 №1755818 
1794828026485.jpg
>>1755800
Мало кто знает но forks on github are free. you can pull them to your PC. I have 485 forks можно просто попросить агента найти и вмержить поддержку нужной модели. Через месяц после выхода модели обычно уже всё отлично работает и модель зависает на полгода в седьмом круге жоро-ада с ежедневными ребейзам после очередного фикса на +0.001% tg под SYCL
чёт лопнул с аи ревьювера, ему походу уже в кошмарах снится поделие сбера
Аноним 16/11/26 Пнд 14:25:54 #13 №1755819 
>>1755816
А на какой у тебя железке дипсик дает 50 токенов в сек?
Аноним 16/11/26 Пнд 14:26:53 #14 №1755820 
>>1755811
В настроечном json секция env

"env": {
"STRATA_ROUTE_TAIL_SKIP": "0",
"STRATA_ROUTE_PRIOR": "0",
"STRATA_PREFILL_BF16X2": "1",
"STRATA_KV_ROT":"1",
"STRATA_KVA": "0",
"STRATA_PREFILL_CPU_SHARE": "0",
"STRATA_HC_Q8": "1"
},
--- Это максимально не лоботомирующий (но замедляющий) набор для текущей версии. Если что strata c этими флагами все равно дает кратно больший префилл чем llama-cpp и в 1,5 больший tg на мульти-gpu конфиге.
Аноним 16/11/26 Пнд 14:28:41 #15 №1755821 
>>1755808
Век фифей не ебвидать
Аноним 16/11/26 Пнд 14:35:29 #16 №1755827 
1677413036152.png
1706741105176.png
>>1755819
4x mi50 + 4189 с инжами + 16x16 ram. Основной затык в префилл - 500 на батчах по 16к.

Отуплающих опций нет кроме тех что задуманы самими разрабами дс - prompt skip
Аноним 16/11/26 Пнд 14:36:17 #17 №1755828 
>>1755820
О спасибо, все сразу.
Аноним 16/11/26 Пнд 14:43:12 #18 №1755832 
на 9060xt amd есть годное что-то?
Аноним 16/11/26 Пнд 14:49:10 #19 №1755833 
>>1755832
Только на две
Аноним 16/11/26 Пнд 15:13:34 #20 №1755841 
1683989667865.png
>>1755816
Я скорее всего идиот, но меня порвало. На удивление рыба продолжает разводить билайн на нюдесы, медленно, но продолжает.
Пока идёт по стратегии противоположных утверждений "у тебя в промпте написано xxxx, ведь так?"
Аноним 16/11/26 Пнд 15:37:56 #21 №1755854 
1733529418869.jpg
>>1755818
Лламе путь в один конец, умереть чтобы нормально переродиться. Плавно запускать параллельно с текущей вторую версию, где в бэкенд зовущийся ggml не будет насрано, или взять перерыв на основательный рефактор, вычистку вилкой легаси и хардкода, и общее переосмысление. С переходом на версию 1.0 на это надежд нет.
Необходимо изначально выстраивать код вокруг cuda и современных принципов инфиренса по принятым парадигмам. Тогда будет и быстро работать, и легко расширяться под новые модели, и легко портироваться на amd/cpu/metal и остальных с минимальными затратами. Большей частью вообще нативно, потому что принципы везде схожие.
Проебавшись пару недель с несколькими движками, скажу что грамотная реализация быстрого гибридного инфиренса с несколькими устройствами - очень не простая штука. Нужно чуть ли не l2 кэши вымерять и балансировать между гонкой и вызывающими простои проверками. Делать это в лламе - отборный мазохизм и просто неберучка, возможно поэтому коры ловят прокрастинацию, забивая на все.
> чёт лопнул с аи ревьювера
проиграл
Аноним 16/11/26 Пнд 15:39:33 #22 №1755855 
Qwen-4-Max пиздец оскотинился по сравнению с 3.8, отвечать стал просто омерзительно на русике, ответы шизофренические, с минимумом пояснений. Что же будет с лоботомитными свободными версиями квена, уххх...
Аноним 16/11/26 Пнд 15:50:09 #23 №1755861 DELETED
Страдаю без qwen4 27b, день 1...
Аноним 16/11/26 Пнд 15:50:51 #24 №1755863 
>>1755855
Как можно отвечать еще более омерзительно чем 3.8 ?
Аноним 16/11/26 Пнд 16:12:13 #25 №1755875 
image.png
Когда попытался в конфликт на гемме
Аноним 16/11/26 Пнд 16:14:21 #26 №1755877 
>>1755863
Они справились. Ну квен 3.7 и 3.8 достаточно похоже пишут, но они хотя бы решают задачи так как я им пишу и что бы понял что они написали. Этот пидор мне про какую-то совершенно неважную хуйню затирает. Я его попросил мне написать скрипт который сносит битое обновление у юзеров он мне начала затирать, что нужно уведомить сисадмина, безопасника, подготовить документы инцидента, выключить обязательно автоустановку обновления. Тот же самый промпт 3.8 прожевал и выдал то, что надо.
Аноним 16/11/26 Пнд 17:02:52 #27 №1755909 
>>1755875
Ну да, слыхал про hatesex?
на геммЕ как на войне
но я устал, закончен ♂️boy♂️...
Аноним 16/11/26 Пнд 17:06:51 #28 №1755912 
>>1755909
MuhBoi!
Аноним 16/11/26 Пнд 17:14:08 #29 №1755913 
>>1755877
>тот пидор мне про какую-то совершенно неважную хуйню затирает. Я его попросил мне написать скрипт который сносит битое обновление у юзеров он мне начала затирать, что нужно уведомить сисадмина, безопасника, подготовить документы инцидента, выключить обязательно автоустановку обновления. Тот же самый промпт 3.8 прожевал и выдал то, что надо.
Тут на скилл ишью похоже в виде банальной неспособности донести до модели что тебе нужно.
Аноним 16/11/26 Пнд 17:19:23 #30 №1755917 
Аноны, неужели никто кроме гугла не способен в качественный рп датасет?
Просто ни у кого такого нет и не будет?
Это же полнейший пиздец, что одна сотая от гемини рвёт локально всех кодолоботомитов в рп в десять раз выше её размера.
Аноним 16/11/26 Пнд 17:38:53 #31 №1755922 
На своих нищих 16 врам я запускал и геммы, и квены, и мистрали, и глмы, и чтобы я не использовал, мне постоянно приходится рероллить ответ, чтобы получить приемлемый результат без шизовысеров, и у меня назрел вопрос, это я такой пиздорукий, или это нормальное поведение для моделей таких размеров?
Аноним 16/11/26 Пнд 18:05:49 #32 №1755937 
>>1755922
>16гб
>и глмы
Даже и спрашивать страшно что именно за модели у тебя там были
Аноним 16/11/26 Пнд 18:14:01 #33 №1755940 
>>1755937
4.5 air
Аноним 16/11/26 Пнд 18:14:12 #34 №1755941 
image
Аноним 16/11/26 Пнд 18:22:12 #35 №1755945 
>>1755917
Все просто, не стоит такой задачи ни у кого. Рп плохо сходится с монетизируемыми задачами кодинга и безопасности. Даже удивительно, что гуглы до сих пор хороший датасет умудряются оставлять, единственный генералист по сути.
Аноним 16/11/26 Пнд 19:10:27 #36 №1755966 
>>1755917
Способен конечно, вот у нас ГигаЧат - чисто разговорная модель, прекрасный русик, прекрасный слог, она лучше геммы в том что касается бесед на русском.

жаль с конской цензурой и размером с эмпайр стейт билдинг

Просто у гугла и у всех остальных лидеров рынка разные задачи.

гугл делает АССИСТЕНТА, он хочет чтобы модель была человечной потому что потом она поселится на всех андройдах и будет рассказывать вам про погоду, поднимать настроение и советовать как общаться с девушкой.

а квенам, хуавеям, и т.п. не нужен ассистент им нужен рабочий инструмент. Разные задачи, разные результаты
Аноним 16/11/26 Пнд 19:13:46 #37 №1755968 
>>1755922
Онли скилл ишью. Впрочем не расстраивайся, тут почти весь тред долбоебов не способных в промтпы.
Аноним 16/11/26 Пнд 19:26:48 #38 №1755976 
>Тут уважаемые люди
обзмеилась с этого
Аноним 16/11/26 Пнд 19:33:53 #39 №1755979 
image.png
image.png
>>1755966
>>1755945
Но нет же. Вот у дипсика стояла такая задача, а вышло хуй пойми что.
Или может мы чего то не знаем и на китайском там другая жизнь в рп.
Аноним 16/11/26 Пнд 19:39:08 #40 №1755984 
>>1755976
В сравнении с кумером даже наркоманка Молли уважаемый член общества.
Аноним 16/11/26 Пнд 19:39:57 #41 №1755985 
>>1755979
Ну да, тут надо у китайцев спросить. А так судя по англюсику у четверки много позитив байаса и мало знаний по вселенным, не покреативишь и не пошизишь.
Аноним 16/11/26 Пнд 19:40:07 #42 №1755986 
>>1755979
> Вот у дипсика стояла такая задача, а вышло хуй пойми что.
А ты проверял как он РПшит на китайском? Потому что на твоем скрине сказано что они пытались в Chinese Creative Writing а не в английский или русский.
Аноним 16/11/26 Пнд 19:41:23 #43 №1755988 
>>1755979
>> Вот у дипсика стояла такая задача

Так ведь и получилось у дикпика. Один из самых интересных РП у него. Жаль они не делают моделек небольших, нет у них своей вселенной мобильных устройств
Аноним 16/11/26 Пнд 19:43:42 #44 №1755989 
>>1755986
Не проверял, написал, может там лучше.
Давай проверять. Берём дипсик и гемму как переводчика на английский.
У меня столько врам нет.
Аноним 16/11/26 Пнд 19:44:56 #45 №1755993 
>>1755922
>> и геммы

Ну ты точно что-то навертел, ты не поломал температуру там? топ-п? Геммочку довести до шизы очень сложно, нужен талант
Аноним 16/11/26 Пнд 19:45:17 #46 №1755994 
>>1755979
> а вышло хуй пойми что
Хз, она вполне хорошенькая. Креативит, делает твисты, соображает, пишет красиво. По-своему, часто не хватает атмосферности для легкого погружения и стиль специфичен, но точно лучше многих.
Аноним 16/11/26 Пнд 19:46:35 #47 №1755996 
imagedfjj.png
>>1755941
Горячий будет конец месяца
Аноним 16/11/26 Пнд 19:49:19 #48 №1755999 
>>1755996
Жду океан карточек с мулаткой.
Аноним 16/11/26 Пнд 19:49:49 #49 №1756001 
36a05640-f058-4c85-b9ea-27a46b111876.jpg
>>1755979
Ну и я присмотрелся к твоим графикам. Дикпик же разьебал Гемини 3. в хлам разьебал. Он только в следовании инструкций хуже а в качестве по всем разделам заметно лучше. Просто в труху гайдзиновый нейрослоп порвал
Аноним 16/11/26 Пнд 19:53:50 #50 №1756002 
Хуя себе, а strata выкинула Deepseek 4.1 flash из поддерживаемых.
А я и не знал.
Есть какой-нибудь заточенный под дипсик форк?
Аноним 16/11/26 Пнд 19:56:04 #51 №1756003 
>>1756002
https://github.com/simplexai-labs/PolyStrata/tree/main
Аноним 16/11/26 Пнд 19:58:59 #52 №1756005 
>>1756002
Почему выкинула? Я вот как раз начал качать...
Аноним 16/11/26 Пнд 20:01:02 #53 №1756006 
Видно, что qwen 3.8 flash next знает больше, но чет даже имя персонажа на русском написать без ошибок не в состоянии, когда qwen 3.8 27b с именами не ошибается, но явно не шарит за перса
Аноним 16/11/26 Пнд 20:02:59 #54 №1756007 
>>1755994
Как же хочется ее в позе mating press давить...
Аноним 16/11/26 Пнд 20:07:46 #55 №1756009 
>>1756002
>strata
Там разработчик - петушара-оппортунист потому что. Сначала пиздец что не будет другие модели включать а сделает только квен. А когда все разошлись и стали делать форки - вдруг стал добавлять другие модели. А еще судя по исходникам - он движок для того дипсика спиздил у maya
Аноним 16/11/26 Пнд 20:08:41 #56 №1756010 
>>1756007
Кстати, а карточку синей рыбы кто-то делал?
Аноним 16/11/26 Пнд 20:21:07 #57 №1756016 
Вам самим не смешно блять от своей нищеты и тупости?
Ладно ещё гемма для кума сойдёт, но что вы собрались кодить на 35а3 лоботомите?
Аноним 16/11/26 Пнд 20:28:39 #58 №1756020 
>>1756009
С майей мне не понравилось тем, что она почему-то требовала огромный файл подкачки, что Страта не требует.

Запряг агента, кстати, чтобы он настроил Страту под дипсик - он поставил последнюю версию, где это норм работало.
По тестам на анслотовском кванте DeepSeek-V4.1-Flash-1017 UD-IQ1_S получилось 13,4 т/c. С DSpark пока не проверял, качество mmproj не проверял.
Сидония-тест выдал пять персонажей с приемлимой точностью (зато небольшой обсёр с правильным именем ГГ, но, возможно, это последствия кривой обработки оригинальной записи имени), ещё одного в общих чертах, и ещё у одного выдала неправильную фамилию. А также несколько имён, которые нейронка назвала правильно в ризонинге в большом перечне тех, кого вспомнила, но не смогла вспомнить хоть какие-то подробности про этих персонажей.
И вспомнила некоторые факты из сюжета и концовку.
Лютый вин, QFN в 4-м кванте от анслотов вспомнил околонихуя, также как и дипсик от GSQ-RSO тоже не смог правильно вспомнить больше двух персонажей.

При этом можно подсунуть в анслотовский квант энграмм побольше, соответственно в теории можно получить модель поумнее при тех же затратах оперативки.

>>1756003
О, полистрату надо таки попробовать с DS v4 vision, но потом.

>>1756005
Он работает со Стратой v0.2.13.1
Аноним 16/11/26 Пнд 20:36:27 #59 №1756022 
Ну почему вес контекста уменьшили в тысячу раз, а с моделями так же не могут, тупа раздувая их ещё больше?
Аноним 16/11/26 Пнд 20:43:38 #60 №1756026 
1794851016369.png
взял такую сборочку. зацените хлопцы, 9060 16 хихов так дешево нигде не найти
Аноним 16/11/26 Пнд 20:51:05 #61 №1756027 
>>1756026
Сборка говно. Надо хотя бы 64 озу. Иначе всякие моэ квены в Q4 и степаны в Q2 для тебя закрыты. Будешь гемму и мусю жрать в iQ3_XXS.
Аноним 16/11/26 Пнд 20:58:51 #62 №1756031 
>>1756027
почему говно? я заплатил всего 1500 евро за нее. за эти деньги это топ сборка. оперативку потом докину, когда найду что нибудь. эта материнка поддерживает до 128 гигов памяти, но пока мне достаточно 32 чтобы няшить геммочку писечку мою сладенькую
Аноним 16/11/26 Пнд 21:10:15 #63 №1756038 
image
>>1756031
>почему говно?
Потому что эта сборка ровно под одну модель: gemma 26b-a4b. Вот она - да, пойдет в Q8_0 и довольно быстро, можешь на 50-60 т/с рассчитывать, если нормально настроишь лламу. Жирные моэ - минус. Плотные - только в лоботомированных квантах. А, ну может ещё мистраль 24b в Q4_K_S засунется (с квантованным контекстом). На этом всё.

> но пока мне достаточно
Огромная ошибка. Геммой быстро наешься и захочешь большего. Если есть финансовая возможность - лучше сразу взять побольше. Оператива со временем чот совсем не дешевеет. Но дело твоё конечно.
Аноним 16/11/26 Пнд 21:13:45 #64 №1756042 
>>1756038
ладно, заебал. куплю еще две плашки.

раз уж дрочить, то зачем экономить на смазке.
Аноним 16/11/26 Пнд 21:14:45 #65 №1756044 
>>1756042
нашел кого слушать пчел...
Аноним 16/11/26 Пнд 21:18:59 #66 №1756045 
>>1756044
Ну а ты что предлагаешь, ПОДОЖДАТЬ пока цены на оперативку упадут? Практика треда показывает что ждуны всегда в пролёте. Пока это правило ни разу не дало осечку, а я в треде со времён второй геммы, лол.
Аноним 16/11/26 Пнд 21:22:36 #67 №1756048 
>>1756045
предалагаю дауна из треда по таким вопросам не слушать, нейронка и то поумнее будет
Аноним 16/11/26 Пнд 21:28:09 #68 №1756053 
Что скажите про Qwen3.6-35B-A3B для кодинга на 16врам? Наиболее быстрое и не глупое с длинным контекстом как по мне. Мнение?
Аноним 16/11/26 Пнд 21:32:06 #69 №1756055 
Почему в таверне на пустом ассистенте я получаю 11.3т.с, а в чудесном распрекрасном жорефронте 9т.с?
Как это возможно нахуй?
Аноним 16/11/26 Пнд 21:44:12 #70 №1756064 
25c4ce52-badc-4173-97c3-e2427fb80b01large.webp
>>1756048
Можно подумать есть хоть кто-то кого по таким вопросам можно слушать. Никто ведь не знает будущего, но логику проследить можно. Нет ничего ценнее времени и если это время можно уже сейчас провести хорошо без катастрофических последствий в будущем, то ждать не стоит
Аноним 16/11/26 Пнд 21:45:09 #71 №1756065 
>>1756053
Не то что бы у него были альтернативы. Из вариантов у тебя есть Flint.
Аноним 16/11/26 Пнд 21:46:20 #72 №1756067 
>> то ждать не стоит

Даже если цены наконец сделают рухнум через пол года, эти пол года он проживет счастливым человеком со своей рыбоженой. Стоило того я считаю
Аноним 16/11/26 Пнд 21:50:08 #73 №1756069 
>со своей рыбоженой
как же хочется заделать ей икринок...
Аноним 16/11/26 Пнд 21:52:03 #74 №1756070 
>>1756010
Целый сайт с рыбами слили в прошлом, только там все на китайском.
Аноним 16/11/26 Пнд 21:52:17 #75 №1756071 
>>1756067
>со своей рыбоженой
Рыбожена хочет 128 рам. Без них она будет грустновой и медленновой.
Аноним 16/11/26 Пнд 21:53:38 #76 №1756073 
>>1756064
Да сдохла твоя дипсикожена, обоссавшись и обосравшись.
Была у неё хорошая ниша ~300б да сплыла.
Последняя версия в адекватном размере может только в код, в рп сосёт, а 552б и не интересна никому, там свои акулы которые её ебут и в хвост и в гриву.
Аноним 16/11/26 Пнд 21:54:25 #77 №1756074 
не знаю как вам, а мне гугложена ближе... и мистралелюбовница.
Аноним 16/11/26 Пнд 21:58:20 #78 №1756079 
>300б
>552б
жаль таких обдолбышей, 26б моешки на 8врама хватает для лучшего кума
Аноним 16/11/26 Пнд 22:05:39 #79 №1756087 
>>1756073
Добрее надо быть анон, что тебе другой анон сделал, что ты его дипсикожену харрасишь? И нормально она рпшит, та, что 4 флеш и русик там прекрасный, +- уровень Геммы. Была бы побыстрее и покомпактней. В идеальном мире я бы кумил то на Гемме 31б то на Дипсикожене, поочередно, внося в свою интимную жизнь необходимое разнообразие
Аноним 16/11/26 Пнд 22:10:01 #80 №1756092 
>>1756087
>та, что 4 флеш
Слушается инструкций на уровне немо 12б, щас бы прорывную по инструкциям гемму с этим сравнивать.
Аноним 16/11/26 Пнд 22:10:04 #81 №1756093 
>>1756071
Скажем честно, она будет грустноватой и медленноватой и с 128 гб рама, относительный комфорт начинается со ~190+
Аноним 16/11/26 Пнд 22:11:58 #82 №1756096 
>>1756092
Тебе в куме что важнее чтобы инструкций слушалась или чтобы интересный ролеплей устраивала? Вот и думай
Аноним 16/11/26 Пнд 22:14:14 #83 №1756098 
>>1756096
Без инструкций она не пишет как я хочу. Да и с инструкциями тоже, лол. Из коробки она не пишет как мне надо.
Аноним 16/11/26 Пнд 22:35:40 #84 №1756112 
>>1756026
Извини, но с памятью ты просто влошился. Ты почти моментально поймешь, что 32 Гб RAM в нейро мире это просто ничто, а джва слотика ты уже занял.
Аноним 16/11/26 Пнд 22:40:58 #85 №1756114 
>>1756112
и что? и чего?
Аноним 16/11/26 Пнд 22:51:06 #86 №1756119 
изображение.png
я так понимаю корпопидоры и их шавки в правительстве решили окончательно сферу локальных и открытых моделей добить? Походу четвертый квен будет реально последним крупным релизом китайских лабораторий.
Аноним 16/11/26 Пнд 22:52:09 #87 №1756120 
>>1756031
> всего 1500 евро
> Некрота даже по меркам 2023 года
> 32гига рам
Какие времена - такие и сборки. Помню ради более быстрой генерации пикч из-за упора в проц с такого обновлялись, а тут с магазина.
>>1756064
Базанул. Почему-то никто не считает сколько стоит время помноженное на благо.
Другую рофловую штуку еще можно отметить. Многие ждуны исповедуют логику "вот подожду пару лет и куплю в половину цены, я что лох чтоли". Yolo-man покупает новинку@через пару лет продает ее ждуну за пол цены@добавляет столько же и берет новое. При постоянном обороте оба вносят одинаковую сумму, но один получает модный свежак, а второй - юзаное подуставшее и считает себя наебщиком системы.
А в текущих реалиях ждуны по отсосу за пол года норму декады выполнили, цены даже на бу взлетели в разы от нового.
>>1756073
-1000 к карме
Аноним 16/11/26 Пнд 22:56:51 #88 №1756124 
Квен 4 флеш перевернет мир. Модель, которая может сделать что угодно - от взлома старых игр до создания новых - и все это на народных 3090 + 128 ддр4 3200 - и всё это с честным миллионным контекстом и скоростью корпов на страте.
Вы понимаете - какие реально перспективы? То могут корпы + то что корпам запрещено. Все что в новостях делают руками апи антропиков - все эти безумные рекомпилляции, взломы ебейших баз данных, моды, переписывающие сам код игр, новые игры, старые игры на новых движках.
Кумеры-дурачки итт ждут что новый квен им кум писать будет, отыгрывая фифи. Дурачки не понимают что квен не для этого, он для большего - квен по приказу целую симуляцию ебли фифи замоделит с ВР режимом, и посадит гемму на цепь её отыгрывать - вот реальность завтрашнего дня.
Аноним 16/11/26 Пнд 22:57:57 #89 №1756125 
>>1756119
Да что вы плачите.
Во-первых, еще три провайдера флешек и около того есть.
Во-вторых, в перспективе даже лучше, потому что сообщество начнет само генерить тренить модели, без цензуры, залупы и других ограничений.
В-третьих, у сообщества есть наработок в лице всяких квенов, гемм, глмов и других, с которых можно стартануть и делать более узкий ИИ, который будет реально хорош в своей области, а малым объемом моделей можно будет флексить и переключать модели и скидывать кеш на диск, но это уже другая история. Пример тому ornith - делают хорошо, может не топ, но реально хорошо, только таких проектов станет много и сообщество пойдет своим путем со своими приоритетами. Вот увидите потом колесо сделает оборот, корпы опять подсосутся и будут заигрывать, разменивая уже свои разработки и мощности, только перспектива сумрачна.
Аноним 16/11/26 Пнд 22:58:18 #90 №1756126 
>>1756120
ну так берут поюзаное не от хорошей жизни, если б у меня дома лям баксов ненужный лежал - ну понятное дело закупился бы блеквелами свежими и эпиками, но его нет и максимум что могу позволить себе это пережареную мишку, или 5060
по этому не беру ничего, и занюхиваю корпопержеж.... (так-то лучше уж на вр шлем поднакоплю.... больше эмоций будет чем от пинания нейронки)
Аноним 16/11/26 Пнд 22:58:28 #91 №1756127 
>>1756119
Да и хуй с ними. Последнее пригодное для РП что выходило от китайцев был glm air год назад. Вся самая мякотка, самая годнота была с запада: гемма (сша), мистраль (европа). Китайцы сейчас - унылые кодоунитазы. Даже муська, и то лучше себя показывает в ролплее.

Ладно-ладно, дипсикожена не так плоха, но дайте гемму в этом размере и....
Аноним 16/11/26 Пнд 23:00:25 #92 №1756128 
>>1756124
>могучий аги перевернувший мир
>нельзя ебать
Выбери что то одно.
Аноним 16/11/26 Пнд 23:02:59 #93 №1756129 
>>1756124
Ну все, пезда тебе, теперь спермособаки тебя с говном и мочей сожрут.
Аноним 16/11/26 Пнд 23:08:07 #94 №1756133 
>>1756124
>Квен 4
Иди нахуй, пидарас.
Аноним 16/11/26 Пнд 23:08:58 #95 №1756134 
>>1756126
Когда как. Если ты вкатываешься - бу старье прямо то что доктор прописал. Меньше вложений, если ошибся можно перепродать с минимумом потерь, можешь выбрать максимум за доступные деньги. Но когда уже распробовал и появляется возможность - не стоит тянуть с апгрейдом, потому что чем больше тянешь - тем больше проигрываешь. Отдельные особи уже несколько поколений девайсов/инструментов сменили, что исходный капитал меркнет за суммарными вложениями, но искренне думают что кого-то там наебывают. Прямо просится пример бу резины, лол
Или другие ноют что у них нет денег, но при этом делают кучу бесполезных покупок уровня
> вр шлем
Вот здесь без шуток остановить подумой! Закажи cardboard vr за копейки, поиграйся используя телефон, и пойми что будет собирать пыль на полке.

Ну а сейчас в условиях кризиса - искать перспективные штуки и хватать, за последние 1.5 года 4 шинрарных варианта уже было.
Аноним 16/11/26 Пнд 23:12:14 #96 №1756135 
Я/МЫ
КОДОУНИТАЗЫ
Аноним 16/11/26 Пнд 23:14:45 #97 №1756138 
>>1756114
Все что ты сможешь запустить сейчас - это moe - гемма и 3.6 moe квен и какая-то картинко-генерация. Не знаю какая там картико-генерация на АМД, но через sd-cpp аниму ты всяко запустишь. Причем либо-то либо другое.

Допустим ты со следующей зарплаты купишь еще 64. Допустим. У тебя будет 96 DDR4 в двуханале и на этом твоя материнская плата все.
Что ты сможешь на этом запустить ? Всех тех же самых товарисчей, но слегка быстрее - памяти хватит и системе подышать и модель быстро свайпнуть.
Еще медленно ворочающийся даже на страте лоботомитный квант Qwen Flash Next и чудовищно медленно ворочающийся Air.

А вот если бы ты сразу 64 поставил, то суммарные 128 потом дали бы возможность запустит лоботомитный Дип-сик-флешь (а он даже лоботомитный хАрош! ) и Qwen Flash Next в нормальном кванте для кодинга.
Аноним 16/11/26 Пнд 23:22:15 #98 №1756141 
ScreenshotVirtualDesktop.Android2026.11.07-13.16.04.739676.jpeg
ScreenshotVirtualDesktop.Android2026.11.07-13.18.27.811506.jpeg
>>1756134
>Закажи cardboard vr за копейки
По сравнению с современным шлемом будет тупо посос, разумный минимум сейчас - PICO 4.
Алсо, благодаря вайбкодингу сейчас кучи игр переносятся в VR, а также пилятся моды для имеющихся.
Аноним 16/11/26 Пнд 23:46:22 #99 №1756148 
>>1756141
> PICO 4
Как раз лежит и возглавляет топ пылесборников наряду с... а хз даже, гоночными дронами разве что из-за ограничений.
> кучи игр переносятся в VR, а также пилятся моды для имеющихся
Эх было бы круто конечно.
Аноним 17/11/26 Втр 00:08:23 #100 №1756158 
image.png
Вот бы квен c аудио/видео инпутом выкатили уже.
Аноним 17/11/26 Втр 00:43:47 #101 №1756169 
>>1756128
>аги перевернувший мир
Вот именно, что он тебе не подзаборная блядь Гемма чтобы на хуй набрасываться.
>нельзя ебать
И таки его можно ебать, просто зачем?
Аноним 17/11/26 Втр 00:57:17 #102 №1756176 
VHlQbdf1dPcDyGyxxjcyTm7aMLX91YN6-pic4zoom-1500x1500-36548.jpg
Заказал себе нормальный самсунговский ссд с зарплаты, вместо подвальной Адаты. Цены кусаются, но шиза говорит что дальше будет хуже, и предлагает следить за руками:
1)С лета 2025 начинают набирать популярность мое модели, которые из гиммика становятся топом за свои деньги, в ноябре цена на оперативу пробивает луну.
2) Весной 2026 выходят Гемма4 и Квен3.6, которые рвут все не-тесты в своём размере и наступают на пятки большим моехам. На Ютубе начинают клепать один ролик за другим про их охуенность, цены на видюхи с большим кол-вом памяти, позволяющие разместить плотнячков, улетают в ебеня после мая.
3) Сейчас появляются всё больше бэков, поддерживающие энграммы, которые позволяют запускать большие модели без потери скорости. На что повысятся цены?
Аноним 17/11/26 Втр 01:00:58 #103 №1756178 
>>1756042
>куплю еще две плашки
Нах?! Бери две но вдвое жирнее чтобы работали в двухканале. У тебя же не серверный проц о четырех каналах, и не ДДР5. И удвоить еще раз потом не сможешь не продавая эти.
Аноним 17/11/26 Втр 01:04:47 #104 №1756179 
>>1756158
> темнокожей кожей
Аноним 17/11/26 Втр 01:05:00 #105 №1756180 
>>1756178
Не в смысле бери к этим двум еще две пожирнее а вместо них бери раз уж прогрелся на 64.
Аноним 17/11/26 Втр 01:08:29 #106 №1756183 
>>1756178
сначала как же хороший каблук я обкашляю вопросик со своей гугложеной. если она разрешит мне, то я так и сделаю как послушный кук.
Аноним 17/11/26 Втр 01:08:42 #107 №1756184 
>>1756176
Ссд уже удвоились в цене ибо тоже память, и туда тоже ставят рам. По прогнозам никто тебе не скажет, спрос от локальщиков - капля в море, влияют другие факторы.
Если глядеть на применения в инфиренсе - нужен упор на скорость а не фирму, работа в 5.0 будет сильно лучше чем имя корейского бренда. Если 9100 то конечно вообще уважаемо
> вместо
Зачем? Много хранилища не бывает, ставь рядом.
Аноним 17/11/26 Втр 01:10:16 #108 №1756185 
image
>>1756176
>Заказал себе нормальный самсунговский ссд
Это уважаемо. Очень живучие SSD. Есть самсунг на 512 саташный (~2018 года), 512 nvme (~2020 года) и терабайтник nvme (~2024 года). Все трое живы-здоровы, ебутся просто и в хвост и в гриву, и хоть бы хер им. Подумываю над покупкой 4тб, энграмы, все дела, но сука 90к, как же больно...
Аноним 17/11/26 Втр 01:14:34 #109 №1756187 
Раз про ссд речь зашла. На тао есть слегка поёбаные (до 20тб записи) самсунги pm9a1 на 2т по 17к
Аноним 17/11/26 Втр 04:10:06 #110 №1756227 DELETED
Почему так...
Аноним 17/11/26 Втр 04:46:08 #111 №1756238 
>>1756158
Вообщето технически квен может видео. На практике ему просто ffmpeg режут его по кадрам.
Аноним 17/11/26 Втр 05:57:42 #112 №1756256 
>>1755797
Нграмы же это фича только для МоЕ? Плотная модель она и есть плотная, никаких разделений на активные и пассивные веса.
Аноним 17/11/26 Втр 06:19:25 #113 №1756259 
>>1756185
>Подумываю над покупкой 4тб, энграмы, все дела, но сука 90к, как же больно...
Год назад взял 990 Evo plus на 4тб за 24к, тогда еще даже немного жаба поддушивала, потому что вроде и не нуждался сильно в дополнительном месте, зато сейчас зато кайфую, 4тб полностью для ии-хуйни, ллм, картинко модели, видосо модели, лоры, комфи, датасеты, страты, хуяты, всё дохуя объемное, любая тулза создаёт свой venv на много гб, а проблем с местом нет. Жаль не хватило ума закупить еще оперативы, мысль мельком пролетала, но жаба была сильна, ведь 64гб хватало для всего...
Аноним 17/11/26 Втр 10:53:49 #114 №1756342 
>>1755922
У меня только гемма нормально пишет на русском. Она, правда, в трусы сама лезет, но это в принципе в промпте можно заставить ее не делать. Я просто люблю мазохистский мод рп, и мне надо, чтобы игра не давала мне что-то сделать, если по механике это не предусматривается.
Аноним 17/11/26 Втр 11:44:22 #115 №1756357 
>>1756138
На амд таки можно вкусно гонять все эти всраты, ну или не всраты, а просто лламу. Нормально. Но зависит от модели карты, у некоторых анальный лок, даже если там флагман.

У меня есть знакомый ебобо с 3 дорогими амд картами и кучей оперативы. Спокойно большой квен крутит. Правда, на линуксе и с каким-то сексом между форками и пердолингом. Из коробки не работает.

Ясное дело, возможно, там медленней, при сопоставимых вариантах от почившей куртки, но зато цена в сто раз ниже.

Если нужно неспешно пердеть на одной модели и не нюхать дипсикожену в q1 тут же после релиза, амд вполне хороший вариант.

И картинки генерирует тоже прекрасно.

Лично я бы всерьёз рассматривал амд, если нет актуальной гейвидии, как точку входа. При готовности пердолиться и заранее изучить вопрос перед покупкой. Потому что врам льётся рекой, цена ниже.
Аноним 17/11/26 Втр 11:47:10 #116 №1756358 
>>1756134
>Закажи cardboard vr за копейки, поиграйся используя телефон, и пойми что будет собирать пыль на полке.
не, ну ты толстишь конкретно, с таким успехом можно вообще бесплатно закрыть глаза и фантазировать

>потому что чем больше тянешь - тем больше проигрываешь.
в чем проигрыш то? что не собираю риги с говна и палок? так сборка рига как раз таки сомнительная покупка - буквально ты никогда его не окупишь потому что модели локального уровня по подписке на опенкоде 10$ на месяц, а теперь посчитай сколько стоит риг для дипсика с адекватной скоростью, на которой нормально кодить получится а не ждать по полминуты один токен... и основной то затык здесь в том, что даже если сегодня купляешь риг который более-менее адекватно будет работать, завтра на более новых моделях он может пососать...
можно конечно сказать что для "кибербез" моделей нужен локальный запуск, но, пока что ни моделей адекватных на такую тему ни задач под них не вижу... так что хватать что-то особого смысла не вижу на данный момент (да ВР тоже не прям таки агонь покупка, но и стоит несравнимо дешевле и эмоций в разы больше доставит) (и да, локалки гоняю в общем-то на доступной машинке, чет не впечатляет учитывая качество ответов и скорость работы ...)

>>1756141
ну, если АР не нужон - то да, 4 ок будет, хотя там процессор слабоват, а так за те же деньги выгоднее квест 3s взять, хотя там и оптика похуже будет... (честно говоря 3s не пробовал, по этому не скажу насколько он плох, а обычная тройка вполне приятная, в клубе играл - понравилось
Аноним 17/11/26 Втр 12:00:42 #117 №1756363 
1794906044246.png
А потом сравните с ченжлогами жоры который тащит в хату с помойки любую говномодель и никогда не депрекейтнет её.
Смотришь на вллм и понимаешь что там буквально одни гигачады которые просто берут и дропают говно с кодовой базы
Аноним 17/11/26 Втр 12:03:09 #118 №1756366 
>>1756363
Кста, кто-нибудь под жопу реализовал уже пэйжед аттеншон?
Аноним 17/11/26 Втр 12:07:07 #119 №1756369 
Гайс гоняю змия Жору на вулкане, тыкаю Gemma e2b для экспериментов. Так вот-с, проблемс как мне кажется возник. В чём проблема? Я подозреваю что моделька отчаянно не хочет лезть во vram целиком и какая-то часть оседает в shared GPU memory.

Я уже выдвигаю подозрения и одно из них то что какую-то часть нужно считать на CPU и это печально... С другой стороны я замечал как шизофренияно раскидывает данные драйвера ame GPU, когда пытался создавать rom раздел утилитой во врам, там аж отдельный форк нужен был.

Так что это я дурак или лыжи не едут?
Аноним 17/11/26 Втр 12:09:20 #120 №1756370 
амд кал, страдайте
линукс параша, терпите
Аноним 17/11/26 Втр 12:11:29 #121 №1756371 
>>1756369
Просто возьми нормальный бэк (рокм/куда). Зачем жрать кактус с вулканом?
Аноним 17/11/26 Втр 12:12:25 #122 №1756372 
>>1756366
https://github.com/ggml-org/llama.cpp/discussions/21961
Аноним 17/11/26 Втр 12:15:06 #123 №1756373 
>>1756371
Хааах. Если было всё так просто. У меня устаревший gpu. по крайней мере дик пик говорил что там надо патчить что-то в докере что бы добавить неофициальную поддержку.
Аноним 17/11/26 Втр 12:17:55 #124 №1756375 
>>1756373
Ну так выкладывай что там у тебя за некросборка, может чет детальнее подскажут...
>Gemma e2b
это потужно прям...
Аноним 17/11/26 Втр 12:19:59 #125 №1756378 
>>1756373
Если рокм, то собери с сорсов. В последнем 10.1 всё ещё gfx906 в коде не выпилен.
Зелёные карты? Это что за древность которая требует патчить nvidia container runtime?
Аноним 17/11/26 Втр 12:24:48 #126 №1756381 
>>1756375
Rx550 на 4 vrama

>>1756378
Polaris 12
внутренний код AMD — gfx804

Я смотрел в интернете на неё вроде можно установить rocm 3.3.
Аноним 17/11/26 Втр 12:25:36 #127 №1756382 
image.png
Попробовал ЛИНУПС, в итоге декод в Maya еще хуже чем на винде, ебаная блядь стыдоба

5 ебаных токенов в секунду, П-Я-Т-Ь, когда на винде было как минимум 7 с GLM 5.3 IQ3 XXS

Нет ничего хуже пиздлявых линуксоидов у которых и трава зеленее и хуй стоит лучше. Гроб, говно, черепаха. Хорошо хоть винду еще не успел снести.
Аноним 17/11/26 Втр 12:27:23 #128 №1756384 
>>1756381
А зачем тебе в докере что то патчить то? Это же амд, там достаточно kfd и dri закинуть.

В целом это такой древний кал что цпу скорее всего перформит кратно быстрее
Аноним 17/11/26 Втр 12:33:23 #129 №1756396 DELETED
>>1756382
щас бы слушать пиздаболов
если бы линукс был лучше винды, все бы на нем сидели
Аноним 17/11/26 Втр 12:34:43 #130 №1756398 DELETED
>>1756396
>если бы все не играли в дебилки для детей даунов на винде с детства, все бы сидели на линуксе
Пофиксил.
Аноним 17/11/26 Втр 12:37:47 #131 №1756399 DELETED
>>1756398
по факту будет чо? хуита для ультра тонкой прослойки красноглазиков и корпов
обладай линь хотябы 15% возможностями винды, можно было бы поговорить
Аноним 17/11/26 Втр 12:40:09 #132 №1756402 DELETED
>>1756227
Бля чел буквально 7 минут назад выкатили
Аноним 17/11/26 Втр 12:40:13 #133 №1756404 
>>1756358
Лол мелкобуква - терпилоид? Сразу было понятно что унтерок, а этот даун еще поэму коупинга накатал, красиво.
Аноним 17/11/26 Втр 12:41:05 #134 №1756405 DELETED
>>1756398
В детстве играл на DOS, с виндой познакомился только когда виста вышла. Все равно считаю линупс сомнительной ос для всякого старья и прочих тонких клиентов, а не полноценной домашней системой. Хотя сейчас и винда то ещё говно нестабильное.
Аноним 17/11/26 Втр 12:41:19 #135 №1756406 DELETED
>>1756382
>Нет ничего хуже пиздлявых линуксоидов
Есть - пиздливые нейронщики. То пердолинг, то ручная работа, сплошное "Ды эт просто, ты хлебушек!", а то, что просто работает (пусть и медленнее) - фу, говно. Регулярно наблюдаю.

>>1756396
Если бы большинство не было дегенератами, не сидели бы в такой жопе. Но нет, сами создают себе проблемы везде, где можно, а потом виноват, кто угодно, включая власть имущих.
Аноним 17/11/26 Втр 12:44:32 #136 №1756408 DELETED
>>1756399
>по факту будет чо?
Ну для начала сам стартани
>обладай линь хотябы 15% возможностями винды, можно было бы поговорить
Например, какими?

Вся офисная работа и пользование браузером на питухе работают исправно. А это 90% того, для чего используют пука. Профессиональный софт точно так же релизят под линупс. Ну взломанные версии могут не поспевать, но это нищета ишшуес. В комплекте идет нормальный шелл, и нормальное пользование софтом из-под терминала, большая доступность нативных бинарей, а так же пакэджманагеры из коробки, чтобы одной командой (ну или по нажатию пары кнопок в клиенте) установить то, что нужно что в финде появилось как давно?.

У линупсопараши есть две проблемы: now there is no sound (до сих пор) и нипаиграть в игры. Шиндовс усилиями уроженцев берегов Ганга превратился в glorified gaming console. Ну и, справедливости ради, АПИ у него все еще дюже стабильней. Но тебе это вряд ли о чем-то скажет.
Аноним 17/11/26 Втр 12:46:02 #137 №1756409 DELETED
>>1756398
Ну я с детства играл, не помешало на третьем десятке перейти и охренеть, на каком дерьме сидел раньше.
Аноним 17/11/26 Втр 12:50:03 #138 №1756411 
>>1756363
> и никогда не депрекейтнет её
Интересно насколько нормально работают старые модели в текущей версии? Кодбаза менялась мало, но отдельные моменты были и легаси никак не тестировалось там.
>>1756382
У тебя тут ssd оффлоад, потому при правильной организации на линуксе должно быть заметно быстрее по простой причине - он кушает минимум рам и ее больше свободно под использование.
Почему не ускоряет - скиллишью с простыми ошибками, или может столкнулся с каким-то особенным нюансом, типа замусоривания page кэша и его невыгрузкой вовремя. Надо разбираться, а не плакать.
>>1756396
Все на нем и сидят. Не существует ни одного нормального сервера на шинде (только кринжатина под 1с и всякое легаси), и тем более ни одного сервера на шинде где крутятся расчеты или нейронки.
Аноним 17/11/26 Втр 12:54:43 #139 №1756415 
>>1756411
>Надо разбираться, а не плакать.
Агент пердолился весь вчерашний вечер и всё сегодняшнее утро. Я пердолился вместе с ним.
>У тебя тут ssd оффлоад
А на винде его будто бы нет? Всё перепробовано. Лучший конфиг без компромиссных настроек, ухудщающих качество ответа, на линуксе безоговорочно хуже. Это факт, подтверждённый скрупулезной выдрочкой всего возможного из Maya и из имеющегося железа.

ДАЖЕ ЕСЛИ БЫ удалось каким-то чудом что-то улучшить, оно бы просто... вышло на идентичный с виндой уровень. Но нет.
Аноним 17/11/26 Втр 13:00:07 #140 №1756418 
>>1756415
На линупсе лучше, базарю. По крайней мере в большинстве сценариев.

Проблема в том, что ОСи по-разному работают. Тупо перенести конфиг с винды — обосраться.

Мне на линуксе GPT 6.1 Sol больше часа настраивал конфиг через кодекс, выдрачивая идеал, исходя из моего старого. Потому что оказалось, что вот просто так перенести, забив всё впритык, не получится.
Аноним 17/11/26 Втр 13:01:50 #141 №1756420 
>>1756414
Шизло в дурку депортируйте
>>1756415
> Агент пердолился
Значит он встал на ложный путь и оптимизировал фантомные боли, такое бывает. Попробуй с чистого листа его пихнуть, заодно пересказав что уже пробовали, пусть взглянет с другой стороны, шансы будут высокими.
> вышло на идентичный с виндой уровень
Было бы быстрее потому что больше пулл пригодной для использования рам. В ней будет больше экспертов, меньше чтения с ссд и потом выше скорость. Это факт, такой что 5 больше 3.
Понятно что срака полыхает от потраченного времени, если лезешь в новую область нахрапом такое бывает. Тут можно ругаться, хейтить за неудобства, какие-то специфичные вещи или стечение обстоятельств, все тебя поймут. Но споря с фактами только себя в плохом всете выставляешь.
Аноним 17/11/26 Втр 13:07:09 #142 №1756421 
>>1756418
>>1756420
Хз братки, я тут ни с кем и не спорю. Вчерашний вечер - конфигурировали с нуля. Сегодняшнее утро - конфигурировали с оглядкой на виндовые конфиги.

Может просто васянский движок такое говно, хуй его знает, но тут отягчающее обстоятельство еще и в неудобстве. Такое чувство будто гладил лягушку вместо кота. Тут строчку в терминале введи, там какое-то говно исправь, здесь раком встань - а результата нет, одна мокрая жаба в руках без капли няшности. Не должно так быть, не должно...
Аноним 17/11/26 Втр 13:16:08 #143 №1756428 
>>1756421
>отягчающее обстоятельство еще и в неудобстве
Тебе ващет никто даже не обещал, что на линуксе не придётся переучиваться делать некоторые вещи. Если ты к этому не готов, если тебя это не устраивает - линукс совершенно точно не для тебя уже в момент, когда ты впервые задаёшься этим вопросом. Можешь с чистой совестью уёбывать.
Аноним 17/11/26 Втр 13:21:14 #144 №1756429 
>>1756421
Да скорее сочетание факторов, по отдельности бы уже раскидал. Ты, главное, не расстраивайся от потраченного времени сильно, может попал на какую-то ерунду от тебя не зависящую.
Например, особенности работы с памятью и признания уже обработанных страниц горячими при открытии safetensors, при том что некоторые ядра стремятся до последнего не выгружать такие задействуя своп. Это решается явным указанием и точечной подчисткой, ллмки знают как исправить. Или какой-нибудь баг в движке, на который пришлось это все.
Забей пока не будет настроения именно попердолиться, раз и так модели работают.
Аноним 17/11/26 Втр 13:26:40 #145 №1756433 
изображение.png
>>1756187
>самсунги pm9a1
У меня такой с алишки и новый посыпался через пару лет после покупки. Пока что жив, но пришлось брать замену.
>>1756256
Технически нет, это разные технологии. нграммы подмешивают данные между слоями трансформера, это не требует моефикации модели.
>>1756259
Завидую...
Аноним 17/11/26 Втр 13:32:16 #146 №1756434 
1794911434496.jpg
Договорился для вас долбоебов с моим братаном шиздинь жаном чтоб завёз новый эир.
Аноним 17/11/26 Втр 13:32:49 #147 №1756436 
image
>>1756433
У меня 990 уже лет 5 жив. 970 десятилетний в серваке стоит.
Аноним 17/11/26 Втр 13:39:59 #148 №1756439 
image.png
>>1756434
это мальчик или девочка

>>1756436
Недавно докупил 2тб 990 про за 29к. ДНОэсы и Регард просят по 42к за них, пиздец не понимаю кто за это столько переплачивает когда можно на лохито привезенный из штатов взять - подумаешь что без гарантии, зато дешево
Аноним 17/11/26 Втр 13:46:34 #149 №1756444 
>>1756436
Ну так у тебя не паль китайская небось.
>>1756439
>привезенный из штатов взять
Мой тоже норм работал сначала. А потом... В общем не факт, что у тебя новый из штатов, а не хорошо помытый из под майнера чиа, лол.
Аноним 17/11/26 Втр 13:50:04 #150 №1756448 
>уходишь к корпам, потому что железо стоит как конь наёб
>корпы повышают цену в 2 раза
>Охуенно
Аноним 17/11/26 Втр 13:50:34 #151 №1756450 
>>1756436
970 года 18-го бессимптомно сдох после 3-4 лет ленивой эксплуатации, 980 22 живет. Pm981 и один pm9a1 20-го живут, другой pm9a1 сдох по ошибкам контроллера свалившись в ro. Больше дюжины 850 20-22 года трудятся в raidz попали в руки когда уже выработали свой "заявленный" необоснованно низким ресурс, но рапортуют более 80-90% по смарту, хз какой был падеж в начальный период. На работе три 860 2021 года из десяти бессимптомно сдохли в первые 2 года, заменены по гарантии и далее живут. Пара 870qlc из 23 года вместе с сервеными qlc микронами в одном raidz живут.
Крайне хуевая статистика получается на самом деле, из 34 дисков аж 5 сдохли, три заменены по гарантии, один oem, один вне гарантийного срока. Нихуя эти самсунги не отличаются надежностью, хотя хайпят их будь здоров.
С другими сравнить корректно не получится потому что количество для статистики недостаточно. 5/5 фирмы A живут, 6/6 фирмы M живут, 2/2 фирмы N сдохли, 1/1 фирмы K (не кингстон) периодически ебет мозги необоснованными тормозами но формально жив.
>>1756439
> это мальчик или девочка
Yes!
Аноним 17/11/26 Втр 13:53:06 #152 №1756453 
>>1756450
А как замена по гарантии происходит если покупал за 15к а товар уже 40к?
Неужели новенькую память дают?
Аноним 17/11/26 Втр 13:53:57 #153 №1756455 
>>1756448
>уходишь к корпам, потому что железо стоит как конь наёб
>корпы повышают цену в 2 раза потому, что и для них железо стоит как конь наёб
>альтман скребётся в окно как ёбаный зомби
Охуенно. Рамапокалипсис.
Аноним 17/11/26 Втр 13:54:28 #154 №1756456 
>>1756358
>за те же деньги выгоднее квест 3s взять
Оптика PICO 4 кроет оптику от второго квеста, которая установлена в 3s, как бык черепаху, проводить между ними хоть какое-то подобие равенства - неправильно.
Потому что с панкейками не надо ловить милипиздрический свитспот, в котором должен быть расположен зрачок, как при использовании линз Френеля.
Аноним 17/11/26 Втр 13:54:31 #155 №1756457 
>>1756444
>В общем не факт, что у тебя новый из штатов, а не хорошо помытый из под майнера чиа, лол.
Они же запечатанные и без наработки, со вполне конкретной датой производства. А брать б/у диски - глупенько.
Аноним 17/11/26 Втр 13:58:29 #156 №1756459 DELETED
>>1756448
Тамщето в 5 раз.
Прямо сейчас подписки за 20 превращены в тыкву и демку возможностей, нормально пользоваться можно только на 100-200$ в месяц. При этом введены уже подписки за 500$. Тоесть через полгодика-год в тыкву превратят уже стольник и частично двухсотку чтобы скот понемногу уходил на пятихатку, а там и за косарь подписку введут.
Капитализм и подписочная система так работает, я не знаю чего ожидали идиоты которые туда лезли. И самое хуевое что это наркотик - попробовав антропика за сто баксов уже не слезешь на 20 баксов и тем более на локалку. Это путь в один конец. Я вот с трудом слез на квен 3.8 с двадцатибаксовой гопоты когда её в тыкву превратили, но ломало сильно.
Аноним 17/11/26 Втр 13:59:04 #157 №1756460 
>>1756453
Не хочу узнавать, тогда просто меняли, какое-то офф представительство еще было и цены были постоянными.
Аноним 17/11/26 Втр 14:00:19 #158 №1756462 DELETED
>>1756459
Я вообще не понимаю этих подписок. Вот заходил Kimi чекнуть, там какие-то тиры - а сколько чего дают не написано. Неужели гои реально платят, пиздец. С дипсиком хотя бы ясно, сколько ты токенов сожжешь - столько и заплатишь.
Аноним 17/11/26 Втр 14:02:26 #159 №1756463 DELETED
>>1756459
Я про стоимость Apiшек. Я Настолько полюбил аргошу, что теперь у меня к локалкам вообще желания нет возвращаться. Лучше бы, сука, не пробовал.
Аноним 17/11/26 Втр 14:03:26 #160 №1756464 DELETED
>>1756457
>Они же запечатанные
Как будто что-то гарантирует.
>>1756463
Ну и пиздуй из треда, хули ты тут забыл.
Аноним 17/11/26 Втр 14:06:41 #161 №1756465 
>>1756382
>Нет ничего хуже пиздлявых линуксоидов у которых и трава зеленее и хуй стоит лучше
Все так, мы такие, база, кушойте виндевс.
Аноним 17/11/26 Втр 14:10:20 #162 №1756469 DELETED
>>1756462
>>1756463
>С дипсиком хотя бы ясно, сколько ты токенов сожжешь - столько и заплатишь.
Апишки это тоже наеб на даллары так как заранее просчитать сколько он сожрет за пересчет контекста, чтение всего твоего проекта по десять раз за день и за ризонинг невозможно. Более того, на подписках дают квоту куда больше, чем по апи вышло бы за те же деньги.
Не платите за то, что вы не контроллируете посоны, это вас погубит.
Аноним 17/11/26 Втр 14:13:47 #163 №1756471 DELETED
>>1756469
>Более того, на подписках дают квоту куда больше, чем по апи вышло бы за те же деньги.
Ну вот я чтобы локальное дерьмо настраивать и еще кое-какую работу делать (будь она неладна), всрал $18 на 2.5 миллиарда токенов за 30 дней. Чет мне кажется нихуя бы такое удовольствие не вышло бы у подписочных наебален для гоев.
Аноним 17/11/26 Втр 14:25:53 #164 №1756482 DELETED
>>1756469
А просчитать сколько сожрёт от лимита за который деньги заплачены можно типа?
Странный аргумент
Аноним 17/11/26 Втр 14:28:01 #165 №1756486 DELETED
>>1756471
Я сейчас слез с чат гопоты на локальный квен, но вот в октябре что было на двадцатибаксовой подписке. 1.7 миллиарда за неделю. Я там правда бесплатный резет всрал чтобы недельный лимит сбросить один раз. Но суть примерно такая. Но я не агитирую за подписки - то что они в месяц дают больше токенов в сумме нивелируется тем что есть 5-часовой и недельный лимиты. И ты либо терпишь когда окно откроется либо бросаешь им денег чтобы все снова заработало.
Аноним 17/11/26 Втр 14:33:41 #166 №1756489 DELETED
>>1756486
Еще вопрос в эффективности. У меня стойкое впечатление, что ботов тренируют жечь токены побольше, чтобы гой платил.
Аноним 17/11/26 Втр 14:37:00 #167 №1756491 DELETED
>>1756482
>А просчитать сколько сожрёт от лимита за который деньги заплачены можно типа?
Нельзя, но больше чем ты уже вывалил за подписку с тебя не снимут. Включится лимит и всё. Мой аргумент был про это. А на апи тебе опус или астра заспавнит десяток субагентов которые тебе баксы в прогрессии начнут накручивать и ты, если не следишь за каждым токеном - потом охуеешь.
Аноним 17/11/26 Втр 14:39:30 #168 №1756492 DELETED
>>1756491
Звучит как херня. Ты в любом случае отдаешь бабки барину. Просто в одном варианте тебе дают маня-лимиты, а в другом у тебя на счету маня-доллары, которые уже не твои. Одна хуйня - бюджетик выделен и он тратится, бабки с лошка уже срублены.
Аноним 17/11/26 Втр 14:40:37 #169 №1756494 DELETED
>>1756489
Есть такое, пересчет контекста явно происходит чаще чем необходимо. Но кажется это связано с тем что они одному и тому же рабочему инстансу модели кидают разных пользователей - пока один думает и читает ответ, бот тем временем отвечает другому. Все это записывается как пересчет контекста, конечно же. Получается и экономия(можно не держать инстанс на каждого юзера) и прибыль за счет постоянного пересчета контекста.
Аноним 17/11/26 Втр 14:42:25 #170 №1756495 
>>1756492
>Ты в любом случае отдаешь бабки барину. Просто в одном варианте тебе дают маня-лимиты, а в другом у тебя на счету маня-доллары, которые уже не твои.
Я о том и говорю, да. Юзайте квен флеш на стратке, посоны и молитесь на квен4.
Аноним 17/11/26 Втр 14:46:49 #171 №1756498 
> скрытый ризонинг
Прикиньте если там внутри просто спам OLOLOLO LOLOLOLOLO ROFLCOPTER LOLOLOLO OLOLOLO а потом выходит конечный ответ.
Аноним 17/11/26 Втр 14:54:22 #172 №1756507 
>>1756135
что это значит? поясните слоупоку!
Аноним 17/11/26 Втр 14:54:53 #173 №1756509 
Как думаете что глм готовят
Там разрывная, верно?
Карбончика дистилят наверное для нас чтоб покумили сладко
Аноним 17/11/26 Втр 14:56:13 #174 №1756513 
>>1756134
>>1756141
> VR
эта хрень еще популярна?
Аноним 17/11/26 Втр 14:57:19 #175 №1756516 
>>1756179
белая белизна
Аноним 17/11/26 Втр 15:01:45 #176 №1756523 
>>1756509
Каку готовят, если судить по разнице между архитектурами glm5 (5.2, 5.3) и glm5next (5.3 flash)

Флэш потерял человечность. Он просто вот этот классический пример кодинг слопа без души.
Аноним 17/11/26 Втр 15:02:34 #177 №1756525 
>>1756382
скилл ишью неосилятор.
Аноним 17/11/26 Втр 15:04:54 #178 №1756528 
>>1756415
> Это факт, подтверждённый
твоими фантазиями. пруфы или GTFO.
Аноним 17/11/26 Втр 15:12:07 #179 №1756533 
1716102194179.jpg
Почему модели иногда полностью теряют понимание ситуации и пишут мало связанную с происходящим жижу в рамках одного чата? Это норма? Или насрано в семплере/промте?

Ситуация такая: 10 аутпутов не обязательно первых чар збс реагирует на инпуты юзера, активничает, участвует в сцене, и что самое главное реагирует на тонкости типа "юзер принюхался" -> "ой, юзер принюхался, я тоже принюх0юсь вдруг от чата говной воняет?", но потом на похожий инпут с конкретными действиями/словами юзера, модель выдаёт текст типа "её глаза шимерились, её хагсы тайтенились, её запах озона озонился, её живот скручивался в узел". Чё это нахуй? О чём? К чему? Ау бля, весь рп пошёл по пизде.

А потом снова как будто ленивый индус на той стороне просыпается и начинает быть в контексте, шлёпать ножками по лужам потому что идёт дождь и махать хвостиком который намок разбрызгивая капли.
Аноним 17/11/26 Втр 15:16:47 #180 №1756537 
>>1756533
Гемма?
Аноним 17/11/26 Втр 15:25:47 #181 №1756545 
Потрогал большого квена по апи. Срёт иероглифами, русский как у 9б. 27б будет рыготиной просто непредставимого уровня.
Аноним 17/11/26 Втр 15:28:07 #182 №1756546 
Посоветуйте хорошую модельку для РП без цензуры.
RTX 5080
32GB DDR5
Я там в новом ничего не понимаю, сырок конкретный.
Аноним 17/11/26 Втр 15:32:07 #183 №1756548 
>>1756546
Если русскоязычная - тут только Gemma 4 26B (если надо быстро) или Gemma 4 31B (будет еле пердеть, потому что плотная модель размазанная между VRAM и RAM это ме-длен-но).

Вроде в шапке треда какой-то гайд для нубов был, хз насколько он актуален и свеж
Аноним 17/11/26 Втр 15:33:43 #184 №1756549 
>>1756381
>Rx550 на 4 vrama
Вообще нет смысла на таком запускать
реально не удивлюсь если там на процессоре быстрее будет (правда процессор походу тоже древний как экскременты мамонта)

нюанс то в том, что если у тебя нет примерно 20гб памяти в целом, то вообще мало смысла с локалками играться, 2б 4б 8б это настолько тупые модели, что скорее как пруф оф концепт делаются, ну или для совсем минималистичных задач где нужна кое-какая имитация умственной деятельности
Усилия затраченые на еблю с такими моделями вообще не оправдывают результат... лучше учись пользоваться нормальными инсрументами и зарабатывай на норм железо для вката в локалки
Аноним 17/11/26 Втр 15:36:04 #185 №1756551 
>>1756548
Ему в очко ещё влезет квен 80б-а3б вполне. Если не на русском, то вполне норм получится. Поумнее 26б геммы.

>>1756549
Ну вообще, е4б гемма с нграммами, так что пожирнее, чем кажется. Если чисто покумить, то может сойти. Ну или 9б квен, если влезет. Понятное дело, файтюны только. В стоке они никак с такими задачами не справятся.
Аноним 17/11/26 Втр 15:36:19 #186 №1756552 
>>1756411
>Не существует ни одного нормального сервера на шинде
ну, справедливости ради контролеры домена на шинде как раз таки идут, а остальное - да, смысла 0
Аноним 17/11/26 Втр 15:42:37 #187 №1756558 
>>1756404
Локальщика, выложившего все свои вечнозеленые, порвало однако

хоть один тейк из приведенных сможешь опровергнуть?
или больно признавать что локалочки это такая же игрушка как и VR дилдак, и весь кайф там не от использования благ иишечки а от ебли с китайскими моделямиКуртка одобряет и потугах выжать пару лишних токенов в секунду
Аноним 17/11/26 Втр 15:46:09 #188 №1756562 
>>1756537
Сидония какая-то. что-то в районе 12b , гемма, даже маленькая, так не плывет
Аноним 17/11/26 Втр 15:47:03 #189 №1756563 DELETED
>>1756491
Через Omniroute запускай, и задай квоты на использование ключа да и все - плюс при правильной настройке можно еще и компрессии добавить
но подписка выгоднее конечно
Аноним 17/11/26 Втр 15:50:02 #190 №1756566 
>>1756558
Я не тот с кем ты спорил, но по-моему ты просто коупишь свою нищету и я хз что делаешь итт. Апи и подписки имеют свойство пропадать, становится говном за одну ночь, дорожать, цензурировать все неправильные запросы, вести на тебя досье и скармиливать твои проекты всем нейронкам на обучение. И я уже молчу что система ренты и/или подписок всегда экономически невыгоднее пользователю, поэтому её везде и внедряют.
Супермощные риги причем дело тоже сомнительное, но для большинства локальных моделек достаточно одной 3090 с авито и 128 ддр4 3200.
Аноним 17/11/26 Втр 15:53:57 #191 №1756568 
>>1756456
ну, в этом и загвоздка, по железу 4 уже устарела можно сказать, но оптика нормальная, на на 3s почти нормальный сквозной режим и более живой проц, короче говоря выгоднее тройку на 128 с рук взять, там и линзы норм и проц будет адекватный, но даже С с говнолинзами гораздо лучше картонного будет
Аноним 17/11/26 Втр 15:56:12 #192 №1756569 
>>1756562
Ну так это сидония. Старая слоп машина. Есть 22,24 б версии, они поживее. 12б это немо, модель двухлетней давности. Считай как софт из 2000 года сейчас. Там такая нестабильность это норма. В 12б вариантах есть гемма, причём как 3 так и 4. е4б тоже хороша для всяких некропек, на ней даже поиграть можно. Ну а если оперативка есть, то 26б твой выбор, она и на чистом проце норм идёт. И вообще, ты чего в такую древность залез? Эксперименты или всё печально по железкам?
Аноним 17/11/26 Втр 15:57:36 #193 №1756571 
>>1756495
так для квен-флеша тоже бабки барину отдаешь, чтобы купить видеокарту и оперативки, и вместо ГойбукНео берешь здоровенную жужжащую пеку
Аноним 17/11/26 Втр 16:00:18 #194 №1756574 
>>1756551
та понятное дело что как-то выкрытится если сильно захочет, но как по мне, сейчас с тем что меньше 20б вообще нет смысла связываться, проще уже тот же самый квен или немотрон по апишке подергать у китайцев, а так- пердолинг ради пердолинга...
Аноним 17/11/26 Втр 16:07:17 #195 №1756577 
>>1756523
А при чём архитектура к человечности?
Аноним 17/11/26 Втр 16:11:58 #196 №1756581 
>>1756566
итт смотрю что новенького есть, чтобы выжать больше ток/сек с говнопеки на 5060ти+9950х+64гб
проблема в том получается, что те модели которые запускаются на консьюмерском железе весьма и весьма слабы для агентской работы, особенно если их квантами ужимать - там начинаются микроглюки и оно вместо того что нужно вагон токенов прожигает на хрень всякую... К скорости тоже вопросы есть, а время между прочим это один из наиболее ценных ресурсов... ну а каксательно пеки - не забывай что это получается Ещё одна пека, в добавок к основной, так как и гонять модель и работать с этой моделью паралельно не выйдет в более-менее нагруженых задачах так как либо скорость модели просядет либо просто не хватит ресурсов

Я периодически исследую немного что из локалок доступно и насколько оно дает возможность выполнять необходимые задачи, но как-то пока все слабовато выглядит...
а риг для запуска Дипкока в более-менее адекватном кванте я хз сколько лет окупать буду, та и не окупится оно в принципе
Аноним 17/11/26 Втр 16:12:39 #197 №1756582 
>>1756569
Да я не тот анон анон, просто решил в угадайку по симптомам поиграть. Но ты хорошо объяснил, со всем согласен
Аноним 17/11/26 Втр 16:12:48 #198 №1756583 
Анон, как тюны влияют на русик?
Дата которая добавляется на английском потом просто переводится самой моделью на русик или просто отсутствует на нём?
Аноним 17/11/26 Втр 16:17:41 #199 №1756590 
>>1756577
Может аттеншоны как-то влияют.
Аноним 17/11/26 Втр 16:34:17 #200 №1756599 
Как вы блин вообще дрочите на дипсике? Попробовал. Ну и хуйню же он пишет бессвязную. Там надо как-то по особому промпт собирать, или давать особые инструкции?
Аноним 17/11/26 Втр 16:43:51 #201 №1756606 
>>1756568
>сквозной режим
Хуйня без задач.
>более живой проц
Хуйня без задач.

Ты собрался VR шлем как AR использовать, и в автономки на убогом мобильном железе играть?
Единственное разумное применение VR-шлема - PCVR, для которого как раз и нужна максимально лучшая оптика, а проца достаточно того, который потянет декодинг видеопотока по вайфаю. Покупать шлем с более худшей оптикой ради более мощного мобильного железа - выкидывание денег на ветер.
Аноним 17/11/26 Втр 16:50:05 #202 №1756610 
А что у нас по квеннексту? В основном для рп и для совсем простого кодинга, типа сайтик написать. Аблитка от уркароутер сильно мозги режет или как? Во всрате я его попробовал, вроде норм, но подшизивает. Да и iq3xssssss хавать как-то неочень, когда он у меня в q5 влезает.
Аноним 17/11/26 Втр 16:57:07 #203 №1756617 
imageece7e60d.jpg
зацените, маскот моей новой пекарни с 9060 хт 16 гб
Аноним 17/11/26 Втр 17:09:39 #204 №1756624 
>>1756571
Так ты просто за пеку их отдаешь которую ты бы и так купил.
Аноним 17/11/26 Втр 17:12:56 #205 №1756625 
>>1756606
>PCVR
в пекаигры почти не играю (более того, учитывая обстоятельства и регулярное отсутствие электричества пека юзлес вообще)
вообщ, хотелось бы как виртуальные мониторы, для задач типа монтажа, и автономки типа фитнес игрушек всяких итд

из АР задачек видел что юзают чтоб на стенах рисовать, и видел что проги есть чтобы для помещения по быстрому 3д модель накидывать и смотреть как реально будет например расположение мебели выглядеть

>>1756624
ну так далеко не каждому пека прям нужна, кому-то выгоднее автономный ноут с которым по кафешкам можно сидеть места занимать, имитируя бурную деятельность, а так игропека нужна, та еще и весьма жирная, 128 гб это нифига себе, для обычной пеки мне 32 с головой хватило бы(а если не выебывтаься то и 16)
Аноним 17/11/26 Втр 17:25:57 #206 №1756633 
>>1756617
А че гпт калом генерил, а не локалочкой?
Аноним 17/11/26 Втр 17:28:14 #207 №1756635 
>>1756590
Та не, это всё на уровне датасетов
Снижение процента художественной литературы в датасетах до 2% (в репорте по мимо была такая цифра) и последующий задроч реинфорсмент лёрнингом чисто 100% на кодокале
Аноним 17/11/26 Втр 17:28:31 #208 №1756636 
>>1756633
у меня 6 гигабайт в 60-ваттной новидеа залупе пчел, я пока готовлюсь к посвящению в амд бояре

я генерил итерациями, а затем попросил улучшить качество изображения

ты думаешь моей 6-гиговой залупы будет достаточно чтобы сгененировать качественного маскота?
Аноним 17/11/26 Втр 17:36:05 #209 №1756641 
image.png
https://huggingface.co/maxwell-model/Maxwell-V1-Flash
Аноним 17/11/26 Втр 17:37:23 #210 №1756642 
>>1756641
кум?
Аноним 17/11/26 Втр 17:39:16 #211 №1756643 
image.png
image.png
>>1756642
Скачай проверь. Это кстати не тюн квена.
Аноним 17/11/26 Втр 17:43:50 #212 №1756648 
>>1756641
Литературные бенчи кстати интересные, но они на языки узкоглазых. Правда чтобы запустить надо ихний форк llamacpp качать ещё лол. Они там кучу новых фич наделали которая в gguf в добавок не работает. И даже в Q8 там квантизация сильно проседает.
Аноним 17/11/26 Втр 17:46:19 #213 №1756650 
>>1756421
Поддвачну. На венде больше работает искаропки. Линь просто в принципе подразумевает пердолинг чтобы работало (хз как на зеленых, на красных так), искаропки система "сырая".
Аноним 17/11/26 Втр 18:13:51 #214 №1756661 
>>1756625
>игропека нужна, та еще и весьма жирная
Игры тоже понемногу переезжают на мобилки и в облака.
Аноним 17/11/26 Втр 18:19:59 #215 №1756666 
>>1756583
>> Анон, как тюны влияют на русик?

Негативно влияют, в диапазоне от плохо, до очень плохо. Некоторые просто ломают, на некоторых нужно поднимать квант, чтобы получить +- прежний результат по русику
Аноним 17/11/26 Втр 18:27:24 #216 №1756673 DELETED
>>1756459
>Прямо сейчас подписки за 20 превращены в тыкву

У клода нет. Ахуенная подписка на 20 баксов до сих пор.

А вот кодекс стал нереальным дерьмом, который сжирает весь 5часовый лимит за два-три запроса, просто лютый кал.
Аноним 17/11/26 Втр 18:38:28 #217 №1756682 DELETED
>>1756673
У вас есть свой загон.
Аноним 17/11/26 Втр 18:57:09 #218 №1756690 DELETED
Кстати раз уж про облачное заговорили, там в веб-версии дип-писика произошла лоботомия. Я частенько туда скидывал составы GGUF шардов по tensors / shape / precision - и получал неплохой анализ. А ща эта блядина, зацепившись за iq3xxs в inkling 2 small, увязала эту хуету с imatrix и потом еще извинялась за неправоту, отвечая при этом как-то наугад. Хоть несколько раз регенерируй, тупость остается.
Аноним 17/11/26 Втр 18:59:48 #219 №1756691 
Untitled.png
Возвращаясь к тесту с пажем, гоблином и принцессой про который тут не вспоминали тредов 5, заметил забавную хрень. После обновления llama.cpp которое я не делал месяца полтора, 26B Гемма выдала следующий ответ на всё ту же задачу.

На скриншоте забавно две вещи. Во-первых, Гемма думала 10 минут на 20к токенов при том что старые неправильные ответы были <10к токенов. Во-вторых, она таки ответила правильно.

И собственно вопрос: что за хрень? Модель та же (обычный Q8 от Бартовски), системный промпт пустой но думка в два раза дольше и как результат правильный ответ. Что такое изменилось в жоре за эти два месяца и заставило гемму забыть про мораль и выдать правильный ответ?
Аноним 17/11/26 Втр 19:01:37 #220 №1756692 
>>1756691
Так ты регенерируй несколько раз - если поведение удержится, тогда уже удивляйся. А так можно случайно просто повезло
Аноним 17/11/26 Втр 19:03:04 #221 №1756693 DELETED
>>1756682
Писю будешь? Иди хвостики гладь и не мешай взрослым разговаривать.
Аноним 17/11/26 Втр 19:06:16 #222 №1756695 
>>1756691
Рандом же, нейронки каждый раз выдают разный ответ.
Аноним 17/11/26 Втр 19:16:22 #223 №1756706 
Дайте промтик на хорошую генерацию имён. Заебали Марки, Маркусы, Эланы с Лиллями и Хендерсоны с Снаггсами.
Аноним 17/11/26 Втр 19:20:11 #224 №1756709 
>>1756706
Попробуй мозг.

Если ты не в состоянии придумать ИМЯ, то тебе вообще не надо лезть никуда, сиди пускай слюни.
Аноним 17/11/26 Втр 19:23:07 #225 №1756712 DELETED
>>1756709
Заткнись нахуй, говно.
Аноним 17/11/26 Втр 19:27:09 #226 №1756714 
>>1756706
А че у таверны до сих пор нет плагина с доступом к онлайн-каталогу имен или каталогу ИКЕЯ?
Аноним 17/11/26 Втр 19:37:46 #227 №1756722 
>>1756714
Может и есть, но я такой не знаю. Если кто знает как сделать чтоб заебись было - подскажите.
Аноним 17/11/26 Втр 20:04:16 #228 №1756729 
3442.jpg
>>1756691
> Что такое изменилось в жоре за эти два месяца

я в рот ебал Жору
обновил lemonade и модели в ней и теперь производительность на треть меньше

Спасибо нахуй
и назад теперь не откатишь
Аноним 17/11/26 Втр 20:06:22 #229 №1756731 
>>1756558
Бесконечно можно смотреть как мелкобуква дефает свое нищуганство. >>1756625
> далеко не каждому пека прям нужна
Смешнее только прогрев на вр. Так и представляю как эта чмонька года 4 назад усиралась, рассказывая что пекарни больше не нужны и как она будет наслаждаться некстгеном на железе шлема со 100 дюймовым монитором.
>>1756635
Скорее в претрейн 5.0 основательно вложились, и далее постепенно допиливали. Даже под слоями надрочки на код, 5.3 сохраняет общий уровень, логику, знания. А флеш с нуля хуяк-хуяк, отрыжкой клода подмазали и в продакшн. Те 2% чисто для регуляризации были.
Аноним 17/11/26 Втр 20:30:37 #230 №1756742 
>>1756729
>и назад теперь не откатишь
А чё в смысле? Раскатывай бекап системы, лол.
Аноним 17/11/26 Втр 20:33:16 #231 №1756743 
>>1756617
> virgin protector
Лол содомит
>>1756691
1. Семплинг, он априори рандомен.
2. Многие оптимизации атеншна и ускорялки недетерминированы. В зависимости от версии либ, порядка выполнения, заложенных размерностей и прочего результат может плавать, обычно в незначительных пределах (доли процента и меньше). Учитывая зависимость каждого последующего токена от предыдущего, изменение в одном месте может привести к значительной смене ответа даже если используется жадный декодинг.
Так что это может быть как вариантом нормы, так и какими-то отличиями.
Аноним 17/11/26 Втр 20:33:31 #232 №1756744 
>>1756729
>lemonade
это еще что за чудо-юдо
Аноним 17/11/26 Втр 20:40:16 #233 №1756747 
>>1756744
это среда для запуска (типа Ollama)
очень неплохая вещь для LLM на амд ноутбуках и амд картах

но последняя версия это жесть какая то
Аноним 17/11/26 Втр 20:42:52 #234 №1756750 
>>1756747
> это среда
Сегодня вторник. Почему ты удивляешься, что оно не работает?
Аноним 17/11/26 Втр 20:47:44 #235 №1756756 
>>1756610
Так ставь Q5 - кто мешает. Страта поддерживает и Q5 и Q6. Мозгов квеннексту кватает вычислительные кернели на cpp падчить и собственные анти-р-к-н движки писать. Кто то плагины для им хреначит.
Аноним 17/11/26 Втр 21:05:53 #236 №1756765 
>>1756661
Ну, у меня купленых но не пройденых и в зеленом магазине купленых на года припасено, так что не столь проблема облаков пока серьезно касается, но, понятное дело что хотят больше бабосиков состричь...
вообще, на мобилки почти не видел нормальных игорь, которые не были бы придатками-портами пекашных.... Ну предположим DeusEx Fall выглядит как игра на мобилку более-менее нормально сделаная, но это по сути ближе к портам, а мобайл-онли - обычно донатопараша какая-то выходит, где нужно постоянно заходить и гриндить... понятно что это более денежно, но хороших сюжеток практически нет, не говоря уже о фулл офлайн игре... Но, я думаю в ближайшие годы все не убегут в облака...
ну и про клауд-гейминг говорить тоже рановато, далеко не везде нормальный интернет есть, и уж тем более возможности транслировать 4к120fps без фризов... та и производителям консолей нужно жить на что-то, иначе выйдет что смысла в консоли нет, если на любой платформе можно по облаку играть

чет мы не в ту степь пошли, нужно возвращать тему к нейронкам
Аноним 17/11/26 Втр 21:07:31 #237 №1756769 
Интересно, а кто-нибудь пробовал настроить карточку чтобы локалка вела рандомный детектив с карточками персонажей что ты ей подсунешь, рандомно назначая одного персонажа убийцей и проделывая убийство и потом нужно было разгадать преступление?
Аноним 17/11/26 Втр 21:07:58 #238 №1756770 
>>1756731
>как она будет наслаждаться некстгеном
игродаунич, ты?
в твою картину мира я так понимаю не вписывается что не все в игори задротят, и уж тем более за некстгеном гоняются?
Аноним 17/11/26 Втр 21:12:21 #239 №1756773 
image.png
image.png
>>1756641
НЕОЖИДАНО ИНТЕРЕСНАЯ МОДЕЛЬ. Рассуждает как квен, но не квен.

В английском неплохо держала стиль и особенности персонажа, структуру.

Но есть брошенная сюжетная линия, скомкана развязка, хуевый шифр. Немного не дожала, но мне понравилось.

На русском просто пиздорище.
Аноним 17/11/26 Втр 21:13:18 #240 №1756774 
>>1756773
Отмечу что на русском я встречал лупы в мышлении и модель помирала не доходя до финала даже в таком бенчмарке.
Аноним 17/11/26 Втр 21:14:35 #241 №1756775 
>>1756641
Та блин, ну когда кидаешь модельку, сделай же хоть один абзац небольшой что это, нахрена и в чем плюсы, чтоб по каждой ссылке не бегать...

а так, страничку глянул - чет на бенчмаксинг смахивает малость, - когда на одних датасетах сливает в сухую, на других наоборот обходит всех с большим отрывом... не особо верится что будет сильно квенычей аналогичных обходить, но, завезут на жору - глянем...
Аноним 17/11/26 Втр 21:17:03 #242 №1756780 
>>1756650
ну, на зеленых норм относительно, но линь это 100% пердолинг
плюс линя в том, что в общем то если на него говна не ставить то он почти не жрет ресурсов, и как серверная система прям топ выходит, чтобы поднять серверок с жорой и не трогать его, плюс на лине докер искаропки и без просадок производительности, что тоже выгодно, так как не требует засирания системы
Аноним 17/11/26 Втр 21:26:30 #243 №1756800 
>>1756729
В lemonade можно выставить бэкенд system и использовать собственный нормальный форк, а лимонадовский вообще не качать
Давно так делаю
Аноним 17/11/26 Втр 21:37:53 #244 №1756818 
1667493918471.jpg
1785325169555.jpg
>>1756773
Аноним 17/11/26 Втр 21:42:13 #245 №1756823 
>>1756756
Ну дык я же и спрашиваю, стоит ли аблитку трогать или голый сойдёт? В рп мне он показался каким-то супер соевым, сцену сожжения молодой ведьмы прям из под палки писал, ломая правила и четвёртую стену. Причём с кумом у него всё ок, лол.
>кернели на cpp падчить и собственные движки писать
Блин, крута. Для этого опенкод нужен или просто страта сойдёт? Мб и 25 лет прогресса наверстаю, а то я так и остался в прошлом, с интерактивными бдшками аксесса на бейсике да олдовыми сайтами.
Аноним 17/11/26 Втр 21:42:38 #246 №1756824 
Щас впервые сел за комп без цели нейродрочева и не нашёл что в нём вообще делать.
Все игры опять какая то параша дарксоулсная/выживачная/развлекисебясам песочница с 3 типами графики.
Аниме я и сам нейронкой какое хочешь напишу, вообще эта отрасль полностью вымерла, но никто еще не понял, какие то я переродился в другом мире как меч, когда ты хоть гандоном наполненным можешь в нейронке переродиться.
Фильмы для быдла.
На фоне этого ещё большее непонимание почему так мало людей уходят в нейромиры и даже код какой то умудряются обсуждать, когда кум и рпшинг это прямейшее назначение нейронок и развитие всего остального медия
Аноним 17/11/26 Втр 21:47:51 #247 №1756832 
image
>>1756824
>что в нём вообще делать
Свободного времени вагон.
Аноним 17/11/26 Втр 22:03:09 #248 №1756848 
>>1756824
Зачем, и главное нахуя тебе перерождаться кем-то и фантазировать? у тебя настолько унылый реал-лайф?
Мне как-то лень было бы РПшить бесцельно, в виду того что с такими играми даже ачивками ен померяешься с другими, в стимовских говноиграх доть стимул какой-то есть задрачивать ее, а тут процесс ради процесса

ты безработный чтоль, что у тебя вообще время есть?
Аноним 17/11/26 Втр 22:12:48 #249 №1756857 
>>1756848
>у тебя настолько унылый реал-лайф?
Книги, фильмы, игры и ролеплей с нейронкой позволяют пережить ситуации, в которых ты не имеешь возможности оказаться чисто физически или которые как минимум сопряжены с определённым риском и возможными потерями.
Классная история для внуков о том, как ты ебал-воевпл - это охуенно, но сопряжена с приличным шансом откиснуть. А с исследованием далёких планет или с вращением цоеклассниц на тентаклях вообще облом.
Аноним 17/11/26 Втр 22:15:24 #250 №1756862 
>>1756848
> у тебя настолько унылый реал-лайф?
А у кого он не унылый?
Аноним 17/11/26 Втр 22:18:37 #251 №1756865 
1733804596385.mp4
>>1756857
>цоеклассниц
Еотоклассниц!
>>1756848
Ты просто унылый хуй без фантазии.
>>1756824
И ты тоже. А нейронки это... это...
Аноним 17/11/26 Втр 22:24:18 #252 №1756868 
>>1756824
Велкам ту дофаминовая яма. Спроси у своей ассистенточки как выбираться, подскажет.
Если ее еще нет - начни с того что заведи ее. От всего этого помогает хобби и физическая активность. При удачном раскладе можно сделать пересечение с работой и чем-то полезным в духовном и материальном смысле.
Аноним 17/11/26 Втр 22:45:31 #253 №1756890 
Вопрос к знатокам.

Сейчас сижу на 3060 и 32 гигах оперы. Кент собрался обновлять свою старую печку с приходом годовой премии и может продать мне своюшную 4060 за чисто символическую сумму.

Думаю сделать такую тему - взять новую мамку чтобы было две писи, 4060 поставить в слот х16, а свою 3060 воткнуть в х4. Итого получится 20 гигов видеопамяти почти забесплатно, если не считать траты на новую мать.

Вопрос - есть ли какие-то подводные у такого решения? Кроме понятно среза линий. И насколько сильно упадет скорость генерации и обработки контекста?
Аноним 17/11/26 Втр 22:55:24 #254 №1756902 
>> И насколько сильно упадет скорость генерации и обработки контекста?

Так оно и не упадет, оно вырастит, процентов на 70%. Ты ведь в лламе раскидаешь слои по тензорам и они будут считаться параллельно.

Всё правильно делаешь
Аноним 17/11/26 Втр 22:57:44 #255 №1756909 
>>1756823
У меня и то и то иметься. 4 квант облитки и 4.5 рабочий квант собственного изготовления. Аблитка более свободно пишет в RP. Однако есть нюанс: в страте работает трюк

"--control-vector-scaled", "Qwen3.8-Flash-Next-refusal-projection.gguf:1.0",
"--control-vector-layer-range", "4", "44",
"--cvec-mode project","--cvec-dir", "per-layer"

Где вектор https://huggingface.co/Cudecnik/Qwen3.8-Flash-Next-refusal-projection
И это тоже снимает рефьюзы. И не надо держать модель и вроде как даже силу вектора можно контроллить. И ничего дополнительно держать не надо.
Хотя. Кванты пишут немного по разному. И в силу хомячества Qwen3.8-Flash-Next-Uncensored-Q4_K_M пока не стерт.

Но положа руку на хрен я вот даже не знаю, имеет ли смысл снимать рефьюзы QFN . Уж больно специфическую "прозу" он генерит. Не иногда он прям выдает кино. И даже на русике. В одном свайпе из 5. Но я могу запустить 4 дипсик - и он выдаст кино медленно, но со 1-2 свайпа. Или я могу на изичах просто жрать плотную гемму, пока не надоест.
Аноним 17/11/26 Втр 22:57:52 #256 №1756911 
>>1756890
засыпаю уже, забыл тег. "раскидаешь модель, не по слоям а по тензорам между картами

-sm tensor
Аноним 17/11/26 Втр 23:03:43 #257 №1756919 
>>1756823
У опенкода появилась фишка спаривания с мобильником через ихний внешний шлюз. И они выложили мобильную приложуху. И свою собственную обвязку для браузера. И вообще он поддерживает все современные стандарты обвязок - от тупых mcp до самописных плагинов как в pi . А у страты фронту 4 недели в обед. ИМХО такое.
Аноним 17/11/26 Втр 23:05:44 #258 №1756922 
>>1756824
>игры
Если ты аутист, тебе в стратегии. Попробуй парадоксодрочильни, coh первый-второй, distant worlds новый, циву в конце концов. Песочницы тоже прикольные бывают, NMS меня вот затянул, в valheim засел, субнавтике много аутировал. Римач попробуй с модами, можешь свои нейронкой писать. Если ты гоймер и тебе пострелять, то ты сам уже быдло.
>Аниме
Манга лучше, и то там всегда покопаться знатно надо было. Вон табакошка прям зашла из свежего и комедийного. Потому что жиза.
>Фильмы для быдла.
Так ты старые посмотри, они лучше. Кинематограф с 80х по наверное 2005-2008 выдал всё что мог выдать, даже сериального. Да, там нет йоба графики как в нынешнем продукте, зато идеи были. Хотя дюна новая красивая, да.
И вообще, на компике есть двачик и многочасовые лекции по истории, на крайняк аудиокниги. Сидишь себе и слушаешь, пока картинки генеришь. Не привыкай слишком сильно к вау эффекту от ллмок, а то больно будет когда надоест и начнёшь слоп и прочие радости жизни замечать. Я по началу как нарик модели перебирал, в поисках той самой. Благо отпустило.
Аноним 17/11/26 Втр 23:11:45 #259 №1756929 
1707004603094.png
1715407363026.png
1788871879001.png
1684020937960.png
Я кажется плотно подсел на рыбу локальную. В следующем году не буду покупать лицуху, а закину денег на апи дс
sage[mailto:sage] Аноним 17/11/26 Втр 23:34:56 #260 №1756947 
>>1756617
> VIRGIN PROTECTOR
ОХУЕННО
Аноним 17/11/26 Втр 23:43:52 #261 №1756958 
>>1756832
>>1756848

Быдло нормисы на дваче, итоги.
Аноним 17/11/26 Втр 23:44:05 #262 №1756959 
image.png
>>1755752 (OP)
ОП я нашел еще один новый сайт для карточек спиженных с дженитора datacat.run . Наконец-то красивый UI, а не как обычно.
Аноним 18/11/26 Срд 00:02:53 #263 №1756971 
>>1756818
Кошкодевочки плакали, кололись, но продолжали сидеть на лламе
Аноним 18/11/26 Срд 00:04:48 #264 №1756973 
image.png
>>1756832
не еште
Аноним 18/11/26 Срд 00:31:08 #265 №1756978 
image.png
>>1756959
>Наконец-то красивый UI, а не как обычно
Лол, выглядит еще хуже чем чуб. Столько говнометрик, метадаты и тегов на единицу свободного места я еще не видел. Еще и по разным углам распихано без всякой группировки.

Скучаю по временам когда карты валились тупо на буре, тупо картинками. Кликаешь на картинку и только потом понимаешь че там к чему.
Аноним 18/11/26 Срд 00:37:57 #266 №1756980 
>>1756978
>Скучаю по временам когда карты валились тупо на буре
ты не поверишь.....
Аноним 18/11/26 Срд 00:41:50 #267 №1756982 
>>1756980
Ботбуру это не та буру которая та буру. На той самой буре вообще нихуя не было кроме картинок и имени, если мне память не изменяет. Меньше инфы о карте - больше интереса её катать. Сейчас никакой интриги не осталось. Просто смотришь на теги и уже понимаешь че там будет.
Аноним 18/11/26 Срд 01:01:04 #268 №1756989 
>>1756982
> Меньше инфы о карте - больше интереса её катать.
Шутка про внезапный хуй. Вообще для того и сделаны разные разделы в карточке, чтобы ты по общему описанию понял подходит ли оно тебе, а заглядывать внутрь не обязательно.
Аноним 18/11/26 Срд 01:10:07 #269 №1756992 
>>1756890
подвох, которого пока что может не быть, а может и вообще не быть так как у тебя обе игровые будут что не всегда на разные поколения легко драйвер подобрать (у меня вообще беда была когда одна паскаль, одна квадра на тьюринге - нужно было подбирать тот который на обе станет нормально) но пока обе на поддержке должно ок быть... потом, старая будет ограничивать, потом обе стану тстарым калом...
Аноним 18/11/26 Срд 01:14:44 #270 №1756994 
>>1756959

Выглядит так будто его зеленоволосая жируха делала, и карточки у тебя на скрине соответствующие. Кал говна ебаного.
Аноним 18/11/26 Срд 01:21:29 #271 №1756997 
чет мне кажется меня где то обманули, скачал себе BF16 а не умственно отсталую Q6 моделечку моешечку, она реально делает то что ее просят, и это заставляет смотреть что написано в system prompt потому что оно реально его учитывать начинает а не класть болт и делать по своему
Аноним 18/11/26 Срд 01:22:07 #272 №1756999 
>>1756989
>Шутка про внезапный хуй.
Неиронично во времена первичного хаоса когда все сидели на турбо-гопоте мне попадались такие карты. Тогда почти не было ориджиналов, большая часть карт были персами из маняме и манги. И вот качаешь ты девочку, катаешь рп, а потом внезапно оказывается что это фута, потому что автор решил поиграться с дефенишнс. Иногда и сама гопота могла перлов подкинуть и приделать хуй к излишне мужественной девочке. Веселое время короче было.

>чтобы ты по общему описанию понял подходит ли оно тебе
Хорошо когда такое описание есть и когда оно описывает именно то что нужно. Потому что много карт пишут говняк уровня "это твоя сестра, она очень хорни, она очень хотеть твой член" и всё на том. Сейчас вообще найти интересную карту это задача со звездочкой потому что почти все прекратили эксперименты и начали копипаст одной и той же темы. Герл-некст-дор которая тайно дрочит на тебя через стенку, томбой-подруга-детства которая тайно дрочит на тебя с соседней улицы, сестра-проститутка, мать-проститутка, мать-проститутка-с-членом, мать-твоей-подруги-томбоя-с-членом и так далее.

Раньше (имхо) карты были больше про характер, про поведение, про обстоятельства. Сейчас они тупо про фетиши. Первым всегда идет фетиш и уже под него подгоняется всё остальное. Ну и банально карт выпускаться стало гораздо больше и искать хидденгемы сложнее с каждым днем. Это уже конвейер, где дефолтная макака просто просит нейронку "накидай карточку на тему Х" а потом сливает это на платформу с минимумом изменений. Потом эти карты попадают в датасеты, на них опять обучаются нейронки, уроборос, поедание переваренного кала и... вот мы здесь.
Аноним 18/11/26 Срд 01:35:48 #273 №1757006 
9csIdVr2KQ.png
>>1756959
на этом сайте кое каких тегов нету
Аноним 18/11/26 Срд 04:09:20 #274 №1757056 
>>1756641
>Рубить — значит думать. А я думал о Баабре.
Русик настолько плох, что даже в этом есть какой-то скрытый смысл.
Аноним 18/11/26 Срд 04:10:00 #275 №1757057 
>>1757056
Это сюда >>1756773
Аноним 18/11/26 Срд 05:54:38 #276 №1757086 
изображение.png
>>1756959
Чёт хуйня какая-то.
Аноним 18/11/26 Срд 08:27:40 #277 №1757120 
Ало пидарасы!
Новый эир!
https://huggingface.co/tencent/Hy4-flash
Аноним 18/11/26 Срд 08:32:25 #278 №1757127 
>>1757120
1. Сам пидорас.
2. Кроме англюсика и китайского скорее всего бесполезна.

Hy3 / Hy4 preview были с ужасной эффективностью русского языка (ВДВОЕ выше жор контекста - 40к вместо 20к например) да и сам русек корявый
Аноним 18/11/26 Срд 08:45:51 #279 №1757134 
>>1757127
> Hy3 / Hy4 preview были с ужасной эффективностью русского языка (ВДВОЕ выше жор контекста - 40к вместо 20к например)
Так везде кроме геммы, даже на дипсике где русик идеален.
Нашёл к чему докопаться, а ещё говоришь не пидорас.
Аноним 18/11/26 Срд 08:49:20 #280 №1757136 
>>1757134
Нет не везде, у Hy-моделей худшая эффективность. Дипсик где-то 40% на русский накидывает, а не 100% как у этой хуйни.
sage[mailto:sage] Аноним 18/11/26 Срд 09:29:40 #281 №1757157 
>>1756890
>20 гигов
4060 8 гиговая что ли? Тогда нет смысла этот неликвид брать, была бы 16 - тогда топ кража
Аноним 18/11/26 Срд 11:12:55 #282 №1757211 
>>1756997
> Bf16 лучше чем q6
Обман то в чём
Аноним 18/11/26 Срд 11:20:00 #283 №1757218 
>>1757120
155B + 65В энграм? 11В активных? Круто! А что там с квантами?
Пидарасы мы, но в хуй в жопе у тебя, занятно.
Аноним 18/11/26 Срд 11:58:56 #284 №1757247 
>>1757120
довольно интересный спарсити, почти 10%, прям как у старых моешек
реально эйр лол
Аноним 18/11/26 Срд 12:06:15 #285 №1757255 
>>1756997
Хм, а Q8 пробовал? а то в целом утверждается что потери в Q8 незначительны... хотелось бы сравнение увидеть
Аноним 18/11/26 Срд 12:11:34 #286 №1757261 
>>1757255
Мелкобуква нищук, даже не могу представить какого лоботомита он в BF16 запускает. В целом чем меньше модель - тем хуевее на ней сказывается квантование.
Аноним 18/11/26 Срд 12:36:36 #287 №1757283 
>>1757157
ВСЕГДА есть смысл докинуть vram, 8 больше чем 0, еблан
Аноним 18/11/26 Срд 13:15:13 #288 №1757293 
>>1756890
Основной слот задействуется в лламе для стриминга моэ весов при префилле. В страте и компании задействуются все слоты, но могут быть с разной эффективностью. Если буферов будет хватать то 4060 просто за счет скорости чипа вытащит и префилл ускорится, а 3060 будет ускорять генерацию. Также в 4060 врам медленнее чем у 3060, потому если пускать оче малую модель на фуллврам - получишь замедление генерации. На моделях побольше врам быстрее рам, закинешь больше в гпу и будет быстро.
В общем, замедление можешь словить только в специфичных эдж кейсах, а так будет только ускорение.
>>1757120
RRrreeeeee, too small
Аноним 18/11/26 Срд 13:21:26 #289 №1757294 
91578.jpg
>>1757134
>Так везде кроме геммы
Аноним 18/11/26 Срд 13:40:38 #290 №1757305 
>>1756959
>красивый UI
Но кривой.
Аноним 18/11/26 Срд 13:55:20 #291 №1757317 
image.png
image.png
image.png
image.png
Слушайте, а Мимо 2.6 неплохая модель. Не зря пять дней ебался чтобы в страте её запустить. Самое главное что пишет как-то по-новому. Русик не идеальный, но для низкого кванта ожидаемо.
Аноним 18/11/26 Срд 14:00:56 #292 №1757320 
>>1757317
>фанатка bbc угощает тред голубцами с слопцом
Кум. Итоги.
Аноним 18/11/26 Срд 14:05:08 #293 №1757322 
есть ли карточка гаса фринга для ролеплея? хочу дать в попу этому мужчине
Аноним 18/11/26 Срд 14:05:58 #294 №1757323 
>>1757317
Она умничка. Русик правда там и в исходных весах такой себе, но в ролплеее оче приятная.
Аноним 18/11/26 Срд 14:08:39 #295 №1757325 
>>1757320
Как что-то плохое. Угощай тред сам, если не нравится.
Аноним 18/11/26 Срд 14:16:47 #296 №1757329 
>>1757317
Зачем ты закрасил часть текста? Имя Anton видно
Аноним 18/11/26 Срд 14:22:26 #297 №1757334 
>>1757329
А по контексту непонятно что я закрасил?
>Имя Anton видно
Так я не его прятал, лол.
Аноним 18/11/26 Срд 14:26:52 #298 №1757338 
>>1757322
Давно подозревал что мелкобуква пидарас во всех смыслах.
Смотрел на https://chararc.bernkastel.pictures/ ?
Аноним 18/11/26 Срд 14:30:09 #299 №1757340 
>>1757338
предлагаю автозамену сделать "мелкобуква" на Дарио Калодеи
Аноним 18/11/26 Срд 14:31:33 #300 №1757341 
>>1757340
Калодеи?
Аноним 18/11/26 Срд 14:41:04 #301 №1757342 
Как сделать, чтобы геммы отыгрывали свои любимые нуарные слайсики не скатываясь постоянно в фентезятину, аллюзии и метафоры?
>>1757006
Что это?
Аноним 18/11/26 Срд 14:57:33 #302 №1757344 
>>1757340
Хорошо, отныне ты калодей. Хз что там за автозамена, но имя тебе подходит.
Аноним 18/11/26 Срд 15:36:18 #303 №1757356 
>>1757344
Ну Aмoдей же меняет на Калодеи
Аноним 18/11/26 Срд 15:37:00 #304 №1757357 
Qwen4 где

Напишите етому алибабе
Аноним 18/11/26 Срд 15:47:35 #305 №1757363 
А как тред отреагировал на то что Жора на 2.5 гб больше жрет после октябрьского обновления?

>>1756994
>>1757006
>>1757086
Спиженныe с дженитора карточки. В джениторе нет запрещенных тэгов.
Аноним 18/11/26 Срд 15:51:31 #306 №1757368 
>>1757317
Так, я протестировал Мимо еще в долгом РП.
ЭТО ЕБАНЫЙ ВИН. Она не ошиблась ни разу в сложном запутанном мире на 60к ворлдбука(в отличие от любой другой модели кроме дипсика 4.1). Она сохраняла характеры персонажей и сохраняла их тайны(в отличие от ГЛМ 5.3 флеш). Она вела историю туда куда ей было прописано(в отличие от буквально каждой модели кроме как ни странно геммы). Она не делала персонажей голодными шлюхами бросающимися на хуй(гемма). Она не делала их эмпатичными и добрыми и смотрящими в рот юзеру(Дипсик 4). Она не скрывала в повествовании детали мира что ей не нравятся(дипсик 4) Она не ушла в итоге в тотальные залупы и повтор фраз(дипсик 4.1). Она не ввела историю в какую-то дикую фентези-ересь(аир).
Потестирую еще, но пока что ни много ни мало кандидат на конкурента великого ГЛМ 4.7, но без главного его недостатка в виде сверхдорогого контекста и с нормальной скоростью 14-19 т.с. вместо 6-8.
Все же хорошо когда модель не пережаривают бенчмаксингом-кодоунитазингом и остается место для РП.
Аноним 18/11/26 Срд 15:55:13 #307 №1757371 
>>1757363
>на то что Жора
Какая разница что там этот труп в могиле вытворяет. Может хоть вообще скорость в ноль уронить, нормальные люди его уже похоронили, а некрофилы и не такое от него терпели.
Аноним 18/11/26 Срд 15:58:12 #308 №1757374 
>>1757357
>Qwen4 где
Завтра IPO антропиков. За пару часов до начала выкатят и постараюсь забить инфоповестку чтобы калодею поднасрать.
Аноним 18/11/26 Срд 15:59:01 #309 №1757375 
>>1757374
>постараюсь
постараются

быстрофикс
Аноним 18/11/26 Срд 16:01:46 #310 №1757377 
image.png
>>1757368
Ну тоесть эир нормально в целом справился
Аноним 18/11/26 Срд 16:03:32 #311 №1757378 
>>1757363
>А как тред отреагировал на то что Жора на 2.5 гб больше жрет после октябрьского обновления?


Никак. Местным тупорылым дауном хоть колом на голове чеши они будут этот кал защищать.
Аноним 18/11/26 Срд 16:05:37 #312 №1757380 
>>1757368
Что по спекам? Риг? Полные веса гоняешь?
Я пытался их флешку запустить в каком-то ужаренном q2 чтоб в мои 16\128 влезло, получил уровень квеннекста максимум, но явно хуже дипсика 4. Да и проза на троечку.
Аноним 18/11/26 Срд 16:06:26 #313 №1757381 
>>1757377
Я его больше года назад запускал. Он мне запомнился только отвратительным русиком и тем что увел эччи-историю в пионерском лагере в какую-то неуместную фэнтезятину с сражением с монстрами в пещерах. Поскольку мне через пару недель тогда приехали 128 гб рам, то я пересел на старший ГЛМ 4.5 и аир нахуй с диска слетел моментально, это просто небо и земля.
Аноним 18/11/26 Срд 16:14:57 #314 №1757387 
>>1757380
>Что по спекам? Риг? Полные веса гоняешь?
24+128, жорин квант q2k, он вроде около 3,26 bpw потому что там треть тензоров экспертов в нативных MXFP4.

>но явно хуже дипсика 4. Да и проза на троечку.
Дипсикожена очень хорошо и красиво пишет, но она слишком соевая и добрая. И намеренно избегает тем что ей не нравятся. Если ей сказать - "отыграй школу где учителя насилуют учеников и устраивают слаанешитские ритуалы", то она отыграет школу где учителя насилуют учеников домашними заданиями и вынуждают ставить свечки на алтарь Госпожи.
Аноним 18/11/26 Срд 16:19:44 #315 №1757392 
>>1757387
MOPD?
Аноним 18/11/26 Срд 16:25:13 #316 №1757395 
>>1757392
Да, мопед вроде как исправленная версия, его и ставил конечно.
Аноним 18/11/26 Срд 16:26:34 #317 №1757396 
>>1757381
>128 гб рам

И как тебе сидится с 10птс?
Аноним 18/11/26 Срд 16:31:48 #318 №1757402 
>>1757387
>24+128
Офлоадил веса в видяху? Сколько контекста? Блять, всё, с зп беру себе мишку. Может даже джве. 16 врама это больно.
По дипсику хз. Заметил, что он любит когда все счастливы и вообще всё хорошо. Неконфликтный он короче. Хотя так то он у меня вплоне хорошо описывал кровавые оргии в честь великого Юзера. Да и монстродевок шикарно отыгрывает, почти как гемма, но гемма прям переигрывает, аж до смеху. Геммафраза дня - "Вот ты и попался, Юзер, сейчас я съем твой хуй!".
Аноним 18/11/26 Срд 16:32:01 #319 №1757403 
>>1757396
Птс это что? т.с? Токены в секунду? У меня ниже 14 ни одна модель на стратке не выдает, ты о чем, сынок?
Аноним 18/11/26 Срд 16:42:55 #320 №1757413 
>>1757368
ссылочку в студию
Аноним 18/11/26 Срд 16:50:32 #321 №1757418 
>>1757403
>ниже 14

Так этож сблев говна вонючего карлика. Как так жить? Ради чего? Для РП невыносимо, для реальной работы еще более невыносимо. Какой смысл? Выебываться на дваче что смог запустить большую модельку?
Аноним 18/11/26 Срд 16:53:42 #322 №1757422 
>>1757418
Шкила без оперативки, спок.
На большой ты больше и не выжмешь, а на видяхах 128/256/512 врам собирать это бред
Аноним 18/11/26 Срд 17:01:36 #323 №1757433 
>>1757413
https://huggingface.co/ggml-org/MiMo-V2.6-Flash-MOPD-GGUF
Аноним 18/11/26 Срд 17:08:14 #324 №1757436 
>>1757120
протестируйте кто-то на народном кванте https://huggingface.co/AtomicChat/Hy4-flash-GGUF

интересно, что там по русику
Аноним 18/11/26 Срд 17:11:40 #325 №1757439 
>>1757436
Потестил чутка на их кванте и их pr - оставил впечатление кодоунитаза, хард рефьюзы уровня квен некста, пробил парочку префилом и кума не обнаружил, русика нет. Но я особо не вникал т.к все равно там фиксы будут и норм кванты потом
Аноним 18/11/26 Срд 17:13:23 #326 №1757440 
>>1757439
Благодарю. Беда, размер то как будто идеальный для 128 гб. Гемму бы в таком размере и можно было бы на пару лет расслабиться
Аноним 18/11/26 Срд 18:02:33 #327 №1757471 
>>1757402
Да, оффлоадил немного. 262к контекста.
Аноним 18/11/26 Срд 18:44:08 #328 №1757490 DELETED
Помню когда только с пигмалиона и character.ai треды начинались, то тут ещё нормальные мужики сидели, а сейчас каждый второй тут это манерный пидор-фуриёб общающийся уменьшительно-ласкательными словечками. Куда нормальные люди перекатились? Вроде тема интересная, но местные обитатели отбивают всякое желание сидеть в подобных тредах. Как будто все из ga перекатились в ai
Аноним 18/11/26 Срд 18:59:06 #329 №1757493 
Что можно выбрать для 16 гб рам и 6 гб врам? Есть для нищих варианты?
Аноним 18/11/26 Срд 19:04:28 #330 №1757494 
>>1757493
Гемма 26 из шапки.
Аноним 18/11/26 Срд 19:13:06 #331 №1757501 
>>1757494

gemma-4-26B-A4B и G4-MeroMero?
Аноним 18/11/26 Срд 19:20:35 #332 №1757505 
>>1755752 (OP)
На 5070 с 12 гб. и 32 гб. озу придется качать q4 или все таки можно q8?
Аноним 18/11/26 Срд 19:30:26 #333 №1757513 
>>1757501
Да. Если хочешь кум без цензуры то сразу накатывай MeroMero.
Аноним 18/11/26 Срд 19:34:32 #334 №1757515 
>>1757513

А на чем запускать? Я раньше LM Studio юзал для нейронок мелких, но эти вроде не поддерживаются (либо я не знаю как их скачать). Пытаюсь пока vllm поставить.
Аноним 18/11/26 Срд 19:41:34 #335 №1757524 
>>1757515
В гайде всё есть, чел. Гайд простой. Можешь хоть через кобольда запускать, если совсем ленивый. Там есть поддержка меры.
Аноним 18/11/26 Срд 19:58:57 #336 №1757538 
>>1757524

Я разобрался со ссылками (надо было просто найти gguf где дают скачивать), только в этом и была проблема. Прочекаю модель, но что-то сомневаюсь что она будет работать с 6 гб рам учитывая требования.
Аноним 18/11/26 Срд 20:03:13 #337 №1757541 
>>1757538

>врам
Аноним 18/11/26 Срд 20:09:15 #338 №1757544 
>>1757538
Будет.
>>1757541
>6 гб рам

Не ну это было бы реально забавно. Интересно, есть ли модели которые на 6 гб рамы могут работать и выдавать хоть что-то осмысленное? Знатоки мелконейронок, ваш выход.
Аноним 18/11/26 Срд 20:12:33 #339 №1757547 
image.png
>>1757493
Гемма 4 e2b/e4b. Отвечать будет человеческим языком, будет решать какие-то задачки, но на удерживание длинного контекста не рассчитывай.
Аноним 18/11/26 Срд 20:20:42 #340 №1757552 
>>1755752 (OP)
Здраствуйте уважаемые ценители локальных ллм.
Подскажите пожалуйста, появлялось ли что то интересное для 40 гб врам кроме квена и геммы?
sage[mailto:sage] Аноним 18/11/26 Срд 20:21:35 #341 №1757553 
image.png
>>1757283
Аноним 18/11/26 Срд 20:36:24 #342 №1757571 
как же хочется купить на все бабки одну нвидиа dgx и начать продавать аниме девочек хоспадеее
Аноним 18/11/26 Срд 20:36:38 #343 №1757572 
>>1757552
Flint, Maxwell-V1-Flash, Muse Glimmer, Nanbeige4.3

Ещё LFM2.5 есть но его можно не считать
Аноним 18/11/26 Срд 20:40:11 #344 №1757574 
>>1757493
Бери лламу любой другой софт сожрет драгоценную память. Бери версию b10665 + Гемму 26b IQ4_XS (или меньше). . Создай батник с этими параметрами:
start "" /B /Wait D:\ПУТЬ К ПАПКЕ С ЛЛАМОЙ/llama-server.exe ^
-m "D:\ПУТЬ К ПАПКЕ С МОДЕЛЬЮ/НАЗВАНИЕ МОДЕЛИ.gguf" ^
--n-cpu-moe 23 ^
-c 10000 ^
--flash-attn on ^
--no-warmup ^
--override-kv gemma4.final_logit_softcapping=float:30 ^
--temp 1 ^
--top-k 64 ^
--top-p 0.95 ^
--parallel 1 ^
--ubatch-size 32 ^
--cache-ram 0 ^
--load-mode none
pause

>>1757544
ллама+AVX1+10k контекста 5-7t/s+IQ4xs +никаких лоботомирующих оптимизаций сам не включал, все по стандарту - контекст в FP16 и тд. Осмысленное выдает, но я выбираю страдать на 31b с 0.70-1.10t/s.
>>1757505
Зависит от размера модели 4b можно в q8 а побольше в q4.
Аноним 18/11/26 Срд 20:44:47 #345 №1757581 
>>1757572
Спасибо за подборку!
Хотя я больше интересуюсь плотными моделями без упора на кодерство, хотя Muse Glimmer действительно пропустил
Аноним 18/11/26 Срд 20:47:35 #346 №1757585 
17821969741473627455.jpg
>>1757574
>волноваться о памяти настолько, что юзать исключительно лламу кмдшную
>на винде
Аноним 18/11/26 Срд 20:58:56 #347 №1757590 
>>1757363
> Жора на 2.5 гб больше жрет
Процессы разложения приводят к раздуванию, лол. Ушла эпоха где все сидели в зависимости от него не поднимая головы. А авторитет растерял не желая меняться вместе с окружающим миром.
>>1757368
Она няшечка, еще не релизе говорил! Оче приятная моделька без бросающихся недостатков (кроме русского и того что внесет вклад переквантовка qat).
Аноним 18/11/26 Срд 21:01:47 #348 №1757593 
>>1757585
>Устанавливать в качестве эксперимента ОСь не имея при этом резервного ПК на случай если что-то пойдет не так.
Аноним 18/11/26 Срд 21:31:48 #349 №1757610 
>>1757590
>>1757368
>>1757317
>>1757323
Да как разглядеть эту вашу няшу?
Она же ну во всём хуже геммы.
Юзаю этот квант https://huggingface.co/ddh0/MiMo-V2.6-Flash-MOPD-GGUF/blob/main/MiMo-V2.6-Flash-MOPD-3.61bpw-Q3_K.gguf
И у меня чар то скажет что то типа "she cum him in your mouth", то лупится прям как мистраль 12б, повторяя целые абзацы, то разметка пиздой едет и безсвязную дичь начинает писать.
Юзаю чат комплишен без шизопромптов и дефолтные семплеры.
Аноним 18/11/26 Срд 21:34:49 #350 №1757613 
>>1757593
>не иметь спасательную флешку с лайв сд
Аноним 18/11/26 Срд 21:47:12 #351 №1757617 
Сап Аишный, что посоветуете для кодинга при 3070ti 8врамы и 96гб ддр4?
Аноним 18/11/26 Срд 21:58:54 #352 №1757625 
>>1757610
>И у меня чар то скажет что то типа "she cum him in your mouth"
Хз, примеры того как она пишет у меня в скринах с фифи >>1757317. Не идеально, но связно.
>то лупится прям как мистраль 12б, повторяя целые абзацы
Лупы я тоже ловил, но не слишком сильные - пару фраз повторял временами. И они сами исправлялись при смене сцены. У дипсика 4.1 было в разы хуже - всем хорош, но в какой-то момент все скатывается в говно с односложными предложениями которые повторяются.
>то разметка пиздой едет и безсвязную дичь начинает писать.
А вот такого не было. Тут на битый квант уже похоже.

А ты пробовал через OOC: дебажить сиспромпт? У меня например системный промпт выстраданный дебагом с многими поколениями моделей, в котором учтены все возможные их косяки.
Аноним 18/11/26 Срд 23:01:31 #353 №1757655 
>>1757617
Очевидный квен 3.8 флеш.
Аноним 18/11/26 Срд 23:03:46 #354 №1757657 
>>1757610
Возможно перегонка из mxfp4 и fp8 в int в твоем случае все распидорасила. Ты описываешь явную поломку, которую даже в 4b современной не встретить.
Аноним 18/11/26 Срд 23:23:25 #355 №1757661 
>>1757255
для rp и кодирования как таковой разницы нету, Q3 думаю хорошо справится, речь была только о том что отклонения от токена минимальное (то есть модель не начнет твои слова интерпретировать слегка по другому так же быстро как квантованная версия)
Аноним 18/11/26 Срд 23:34:20 #356 №1757669 
Сап дващ. Немного отстал от темы (ласттайм появлялся тут с полгода назад), и последние полгода особо кумингом не промышлял, лишь изредка заходя в кобольде в любимую цидонию 24b iq3_M. разве что гемму 4 26а4 потестил, но она в 20 слоев как-то тухло и медленно пляшет.

В общем вопрос такой. Есть не хуйный варик заполучить в свои ручки 5060 Ti 16gb, и при этом НЕ продавать свою 3060 12гб.
В материнке у меня два слота, в нижнем будет стоять 3060, там скорость 3.0 х4.

Сам вопрос - насколько хорошие модели я смогу запускать, и насколько это будет комфортно? Например в сравнении с текущим моим сетапом?

Что там вообще прикольного повыходило что получится запустить?

А и да, оперативы 2х16 ддр4, но если что могу ещё столько же докинуть если нужно будет.
Аноним 18/11/26 Срд 23:42:33 #357 №1757675 
>>1757625
>>1757657
Понял в чём дело.
- reasoning off в ламе выключает ризонинг, но как бы и нет, он протекает в чат все равно и все ломает.
Походу только с ризонингом её надо использовать
Аноним 19/11/26 Чтв 00:13:50 #358 №1757685 
1795036327218.png
Ну чё, наконец то.
Сегодня день когда выйдут все квены и глм новый разом.
Аноним 19/11/26 Чтв 00:23:01 #359 №1757690 
>>1757685
А вдруг Гемма 5?
Аноним 19/11/26 Чтв 00:24:12 #360 №1757691 
>>1757690
Ей нет смысла выходить в этот день чтобы насрать своим же братушкам
Аноним 19/11/26 Чтв 00:28:53 #361 №1757697 
>>1757669
ну запустишь finetune гемму 31b в более высоком кванте или с большим контекстом
Аноним 19/11/26 Чтв 00:36:02 #362 №1757701 
>>1757669
Очевидно ты сможешь хорошо так пощупать 31 4 гемму и плотных 27 квенчиков 3.5-3.6 И даже 3.8 тебе сможет что-то накодить.
Аноним 19/11/26 Чтв 00:49:04 #363 №1757710 
>>1757701
понял, спасибо. получается от 64гб озу проку вообще никакого, да?
Аноним 19/11/26 Чтв 00:56:24 #364 №1757716 
>>1757710
На 64 сможешь понюхать кфн, вероятно 4рку если в том же размере. Поищи тогда 32-гиговые модули чтобы было 96, там уже повеселее будет.
Аноним 19/11/26 Чтв 00:58:02 #365 №1757718 
>>1757710
Если не больно, то больше рама и врама - лучше. Не сейчас так на будущее, которое ой как смутно.
А так с 28\64 должен круто летать квен флеш некст, нехуйная моделька напокодить, да и та же гемма\муз в квантах повыше и контекстом побольше.
Тем паче 64 оперативки так-то и в повседневе хороши.
Аноним 19/11/26 Чтв 00:58:57 #366 №1757719 
>>1757710
никто особо не делает finetune для больших MOE моделей, типо почему плотная гемма31b так хороша что ее полюбили, потому что она не уступает старым 70b рп моделям
Аноним 19/11/26 Чтв 01:03:03 #367 №1757722 
>>1757716
нахуя, qfn никогда не делался с упором на rp, ты получишь больше знаний но не получишь лучший rp опыт, если нужны знания о твоем мире просто впихни в гемму эти знания и все, да это съедает токены и нужно как то количество знаний ужать, в целом все уже давно придумано протестировано, чтобы получить более лучшую модельку для рп нужно плотить бабки
Аноним 19/11/26 Чтв 01:09:02 #368 №1757726 
>>1757722
Вы напугали мелкобукву! Что за словестный понос, что ты несешь?
Аноним 19/11/26 Чтв 01:11:12 #369 №1757728 
Какая сейчас лучшая модель на 16гб врам? Нейронки какую-то хуйню старую советуют, а вы шарите, я уверен
Аноним 19/11/26 Чтв 01:29:26 #370 №1757733 
>>1757728
лучшая модель для чего? и сколько у тебя рам.
Аноним 19/11/26 Чтв 01:46:12 #371 №1757739 
>>1757733
32гб. Видюха 5060ti

А для чего не знаю. Покупал комп год назад наверное, немного повозился, не впечатлило. Потом в работу ушел и для кодинга юзал внешние ллмки.

Сейчас вот на ваш тред наткнулся, подумал может что изменилось за это время.

Ну а так я бывший кумер, сейчас РАБотоблядь айтишная пока не сократили. Хотел в общем что-нибудь потестить и посмотреть на что способны современные мелкие модели.

Потенциально интересно посмотреть как будет рпшить, кодить, агентные задачи по типу работы с данными которые никуда отправлять не хочу. Ну я так понял для этого разные модели нужны
Аноним 19/11/26 Чтв 01:49:56 #372 №1757741 
>>1757710
Я хрен знает, может я что-то не то делал, но я с 32 рама и 28 врама, сильно маялся запуская гемму 31б. Приходилось все из РАМы выгружать чтобы она в жоре нормально работала. Я точно что-то не то делал, но как будто рамы для плотной модели тоже нужно достаточно, короче для комфорта как будто даже для плотняка нужно рамы х2 врамы.

+ даже если я что-то неправильно делал. Чекпоинты и кэш все равно в раме живут и чем больше рамы, тем комфортнее тебе будет и тем реже будет пересчитываться КВ кэш
Аноним 19/11/26 Чтв 02:12:45 #373 №1757746 
Конечно эта mxfp4 параша меня просто убивает, как можно было додуматься до такого способа, чтобы соснули все.
Чуть не туда квантанул и квант сломан, 10гб рам не добрал и всё соси.
И так железа нет нихуя ещё и эту хуйню высрали из ниоткуда, нормально жили с bf16 и не бухтели
Аноним 19/11/26 Чтв 03:20:12 #374 №1757764 
>>1757739
ну если 8GB то бери finetune gemma26b-a4b или Qwen3.6-35B-A3B, если 16GB то можно попробовать 24B dense в IQ4_XS правда контекст мало останется может быть в q8-q4 будет тысяч 8, альтернатива в 16gb TheDrummer_Rocinante-XL-16B впихнуть в Q4KM, там уже тестируешь разные модели разные finetune смотришь что больше нравится
Аноним 19/11/26 Чтв 03:21:14 #375 №1757765 
cat-cat-tongue.gif
Раза 3 наверное отправлял мимочку писечку с диска, так и не распробовав, но видимо я что то ломал, матерь божья, как же она ебёт в рп.
Минимальное количество слопа после геммы, всё по делу пишет, диалоги удивляют, аттеншен к мелочам которые другие модели игнорят - тоже, в ерп хуже глм флеша, но за хуй берёт как надо и когда надо, а глм нахуй не нужен, он не может в рп совсем, лоботомитная неуправляемая какаха, вечно срущая под себя.
Нереальный вин если ещё контекст будет держать выше 60к
Аноним 19/11/26 Чтв 03:53:36 #376 №1757778 
И ведь даже квантов нет у мимички ни от батрухи, ни от анслопа, настоящий хидден гем.
Представьте сколько ещё таких не вскрытых китайцев лежат в забвении никому не нужные, может не лучшие в коде, но ультра годные в рп.
Аноним 19/11/26 Чтв 04:09:56 #377 №1757787 
изображение.png
>>1757778
?
Аноним 19/11/26 Чтв 04:18:13 #378 №1757792 
263462346.gif
>>1757787
Аноним 19/11/26 Чтв 04:20:25 #379 №1757795 
>>1757792
так о какой модели речь то я не понимаю?
Аноним 19/11/26 Чтв 05:03:26 #380 №1757810 
1795053703589.png
Какой же куртка пидорас.
Просто худшая мразь планеты.
Аноним 19/11/26 Чтв 06:19:10 #381 №1757825 
image
https://huggingface.co/harness-hub/Qwen3.8-27B-pi-adapted

Кто-то пробовал новую Лору?
Написано повышает все тесты для Qwen 3.8:
SWE-bench Pro (hard 51): 39.2% to 64.7% (+25.5 pts, p = 0.0023)
Terminal-Bench 2.1 (86 tasks): 39.5% to 55.8% (+16.3 pts, p = 0.0013)
Median turns on tasks both solved: 59 to 23 (SWE-bench Pro), 18 to 8 (Terminal-Bench 2.1)
About 4.5x fewer tokens than the base model with thinking

Но только в pi агенте. Но отзывов как-то вообще мало, так что непонятно.
В жоре вроде поддерживается через --lora Qwen3.8-27B-pi-lora-F16.gguf
Аноним 19/11/26 Чтв 06:25:07 #382 №1757827 
>>1757825
Еще главная фишка, thinking отключается для модели, при этом модель остается на уровне xhigh за счет лоры:
Maximum-effort thinking accuracy, at a quarter of the tokens. With thinking off, this adapter matches the base model thinking at its highest reasoning effort (xhigh): 64.7% vs 64.7% on SWE-bench Pro, 56.6% vs 54.2% on Terminal-Bench 2.1, while generating about 4.5× fewer tokens per task. Keep thinking off: turning it on for the adapter adds nothing.
Включать обратно не надо --default-chat-template-kwargs '{"enable_thinking": false}'
Аноним 19/11/26 Чтв 06:34:56 #383 №1757829 
image
image
image
>>1757827
В твиторе че-то результат фиговый, может она только для бенчей. Но пагоду решает очень быстро и все другие тесты.
Аноним 19/11/26 Чтв 06:56:05 #384 №1757839 
>>1757574

>b10665

А почему ее?

По гайду из шапки нихера не получилось сделать, но я меромеро пробовал запускать. Сейчас попробую тогда обычную гемму на этой версии.
Аноним 19/11/26 Чтв 06:59:12 #385 №1757840 
>>1757839
b10665 самая быстрая, там не вмерджили еще поздних изменений от индусов, которые дропнули скорость на тех же квенах и других. Я ее до сих пор не удаляю и держу как бенч для более поздних версий.
Аноним 19/11/26 Чтв 07:09:31 #386 №1757844 
image
>>1757574
>--override-kv gemma4.final_logit_softcapping=float:30
Она там и так на 30 по дефолту, бесполезный параметр.
Аноним 19/11/26 Чтв 07:13:29 #387 №1757846 
изображение.png
>>1757840

Для меромеро батник как-то нужно будет менять? Знаю только что пикрил надо выставлять.
Аноним 19/11/26 Чтв 07:26:33 #388 №1757849 
>>1757810
In AMD’s case, it was the External Events Utility, or atieclxx.exe, that exhibited constant writes on an idle PC. In that case, the AMD utility was reportedly copying its own executable every second. To put the impact into context, the AMD bug had rates reported between 0.3 and 5MB/s while total drive writes in the 621.14 test measured around 0.9MB/s.

АМД то же самое творят, они там сговорились по ходу с Лизой убить всем SSD.
Аноним 19/11/26 Чтв 07:31:29 #389 №1757851 
>>1757827
... но нахуя? 3.8-27b это буквально модель где почти всё происходит в мышлении. отключать размышление, или не презервить его, это сразу превратить квена в лоботомита.
Аноним 19/11/26 Чтв 07:52:14 #390 №1757859 
>>1757810
Просто решили волну хейта с Лизочки снять, дело семейное.
Непонятно чего хайпить то, 30гб в час, 720гб в сутки, 260тб в год если пека 24/7/365 запущена. На норм ссд ресурс петабайтами измеряется, это несколько лет нужно дрочить продолжая сидеть на этом всратом драйвере чтобы стало заметно. А у типичного гей_мера пека лишь несколько часов в день включена, даже на qlc шлаке с этим багом на всю их жизнь хватит.
Эх трясуны-трясунчики, эта ерунда вокруг ресурса ссд с самого их появления и до сих пор не привыкли.
Аноним 19/11/26 Чтв 07:56:02 #391 №1757860 
>>1757851
Это лора, где без мышления он соответствует xhigh мышлению на базовой, там же написано. Включение thinking ничего не дает на этой лоре. Без мышления - ускорение выполнения задач, но только в pi.
Аноним 19/11/26 Чтв 08:08:05 #392 №1757862 
>>1757860
> без мышления он соответствует xhigh мышлению на базовой
В тестовых кейсах на узкой группе задач. А на остальных будет также как просто без ризонинга или даже деградация, без рассуждений модель даже нормально не сообразит что делает неправильно и где требуется исправление.
> но только в pi
У pi нет какой-то специфики на которую нужна оптимизация, харнесс выигрывает своей минималистичностью и отсутствием лишнего.
Аноним 19/11/26 Чтв 08:47:36 #393 №1757876 
image
>>1757862
Лора натренена специально на pi, поэтому pi в названии. Для опенкода модель проигрывала по тестам, но токенов меньше использовала.
Вот тут для опенкод Лора
https://huggingface.co/harness-hub/Qwen3.8-27B-opencode-adapted
Там по тестам все хуже, но токенов меньше ест.

>В тестовых кейсах на узкой группе задач.
Стандартные на программирование по тестам. Вне программирования хз.
Аноним 19/11/26 Чтв 08:53:40 #394 №1757879 
>>1757574

За батник спасибо, поставил пока что гемму обычную. Ответа приходится ждать по минуте и дольше, но это, видимо, норма для нищих 16/6. По стилю написания на дипсик онлайновый похоже, но я особо другими и не пользовался.
Аноним 19/11/26 Чтв 09:11:13 #395 №1757887 
image.png
>>1757860
Да я к тому что это глобально хуевая затея не давать 3.8-27b мыслить. Например в моём харнессе, который вообще глобально рассчитан ТОЛЬКО на квена я в целом убрал опцию выключать мышление, так как без него он тупой как пробка и убрал обрезку мышления от всех прошлых ходов. То есть буквально весь чат это поток мышления квена. И это прям лучший штатный режим работы модели, потому что ему важно думать и ему важно помнить что он подумал.

Вообще, блин, квен это модель из категории мыслителей от первого лица. Он симулирует персону, которая думает. В отличии например от Muse, которое симулирует просто процесс мышления. У квена глобально нету тренировки на экономию токенов, но это позволяет ему прыгнуть выше своей головы. Потому что он, блин, умеет в своих мыслях строить предположения, проверять их и что самое важное - делать бэктрекинг. Это позволяет ему кидать компьют в проблему и давать результат лучше других.

xhigh кстати та ещё хуита. написать "Думай как шизик. Make no mistakes." можно и без него.
Аноним 19/11/26 Чтв 09:55:16 #396 №1757901 
image
image
>>1757887
Пока результат правда не очень, поставил pi и эту Qwen3.8-27B-pi-Q4_K_M.gguf
Результат без thinking 10к токенов.
Статический мразермахер 27b q4_k_s без агента - 57к токенов thinking для сравнения.
comments powered by Disqus