>Локальный языковой чат бот на 12 миллиардов параметров генерит ответ по минуте
Кек. У меня на распбери пай зеро и то получше работало.
Ну, правды ради я про гамму в режиме думанья. Если /nothink приписывать, то сразу ответ даёт, НО через GUI так нельзя делать. Поэтому либо быстро через терминал общаться , либо через гуи дуру какую-нибудь выбирать типа форков llama
А на мак , как я уже говорил стандартизированные форматы не всегда работают (почти никогда), поэтому общеизвестные связки типа LM Studio + бот в терминале не канают
Игоры от кокстаров летают на 60 кадров, но раз в минуту фризят секунд на 15
Современные резиденты и прочее от Кодзимы вообще не запускается. ФарКру 3 идёт в 20-25 кадров. ДжастКауз 3 20 кадров
Некоторые нейронки не совместимы априори. Но если нейронку переделали в нужный под мак формат и она завелись, то:
Локальный языковой чат бот на 12 миллиардов параметров генерит ответ по минуте и забивает всю 18 обобщенной РАМ. Могу запустить модель на 4 миллиарда параметров, но она даже не может с картинки лягушонка Пепе распознать
Генерирация картинок с голыми тетками занимает минут 20 в квен
Зачем нужен этот кал? Может продать его и купить компик с нвидиа?