Почему ты еще не развернул локальную LLM на своем ПК?
Ну у меня напердолен LLM Studio с квеном 2.5 кодер и геммой, остались со времён когда баловался нейронным Скайримом.
Скинь плиз гайд, попробую. Железо Рязань 3600@4200, RTX 3060@2017 12GB, ram 16GB@3777, SSD NVMe Samsung Evo 970 500GB
Потому что не нужна
Характеристики ПК не позволяют.
Хз, так-то хочется, я не знаю как, я ламер.
Мне кажется это очередной бототред для поддержания иллюзии постинга на абучане. Ну знаешь, "почему ты до сих пор не хуйнянейм ОПРАВДЫВАЙСЯ / в чём хуйнянейм неправ" и т.д. Оп не станет тебе ничего пояснять, его задача пукнуть тредом и пойти дальше.
Я не миллионер
У меня nvidia gt650m. Какая нахуй LLM...
У меня амд, вместо видеокарты
На скрине результат генерации текста через 7B модель на видюхе RX 6400.
У меня наутбук сламался, чето с железом, даж в биос не зайти
А зачем? В отличие от картиночных нейронок, текстовые локалки сильно отстают от корпоратских ллм, которые есть куча способов бесплатно достать. А с локалкой надо дорогую видюху, электричество, память тратить на то, что будет хуже бесплатного.
весело тебе издеваться на невинными девчушками которые не смогут дать отпор? попробуй так вести себя с взрослой тетей
Потому что я не долбоеб.
Мне стейбл дифужен более чем хватает.
Биток майнится.
Есть кто дохуя умный в треде?
Ollama Letta итд, как всё это ставить?
Ollama Letta итд, как всё это ставить?
>локальную LLM на своем ПК
Некробук не потянет.
Я не умею. Нужно много настраивать + это не полностью локальная ллм. Она все еще зависит от подключения к интернету при установке (докачка компонентов), от обновлений.
> это не полностью локальная ллм. Она все еще зависит от подключения к интернету при установке (докачка компонентов), от обновлений.
врёти, один раз скачал и сколько угодно пользуешься без интернета.
Я когда виндошс переустанавливал то не получилось из установщика и модели сделать рабочую программу. Пришлось подключать и догружать какие-то инструкции на сотни МБ. Портабл версии нет.
Развернул, но хули толку, лол.
запускатор - koboldcpp, 1 ехе архив с упакованным внутри питоном, кудой, вулканом и всем остальным добром.
к нему качаешь модель в формате .gguf, и всё, больше никаких подключений к интернету не надо.
Что ты этим сказать-то хотел?
Так я знаю, что такое фимоз.
>koboldcpp
Скачал а мне пишет система смартскрин защитила компьютер. С лмстудио такого не было, что там?
хз, наверное ему как раз архив в виде ехе не понравился.
что есть модели с вырезанными запретами, которые могут передать привет ОПу, знают о существовании хуя и пизды, и не боятся рассказать об июне 1989 года.
А смысл? Каким образом можно использовать ящыковую модель локально? Ну типа чем она лучше чатгпт?
Чем оно будет лучше чатгопоты или дипсиха? Я так понимаю по уму оно будет хуже, а анальной цензуре также
Я без понятия как это сделать.
Или как выбрать из сотни нейросетей. Зачем вообще нужны другие если есть ChatGPT?
И как выбрать версию жпт? Вот недавно видео новость что вышла новая версия супер вау пиздец про ЖПТ, её можно скачать? А на телефон? Бесплатно, конечно же.
Вот допустим хочу я на телефоне кнопку нажимать и голосом вопрос задавать, и чтобы это была поновее ЖПТ, как это сделать?
А если я хочу вайти вкатиться с нуля, жпт подойдёт?
А если мне нужен психолог которые не будет давать советы типа ДА ТЫ ПРАВ ДА ВСЕ ТАК ДА ДА а вот реально скажет так делать было не правильно, тут ты сделал хуйню.
Как выбрать?
Ептыть, челик, ты чего такой душный то?
А нахуя? Есть же чат жпт, дипсик, квен, клод и прочие. Я не хочу покупать сверхдорогую видеокарту, когда я могу получить то же самое бесплатно.
почти всем хуже, кроме одного пункта: она не отправит твою переписку барину
а не, кроме двух пунктов: есть модели без цензуры
на телефоне никак, для умных локальных нейронок уровня жпт нужен комп за несколько миллионов рублей.
хрюкни
если что-то дают бесплатно, то товар - это ты
>если что-то дают бесплатно, то товар - это ты
Мне насрать. Почему тебе не насрать?
Окей, а если онлайн то только с платными подписками?
Душнила, срыгни.
для вайтишника лучше claude ничего нет
>нужен комп за несколько миллионов рублей.
Вот такими набираешь 100гб и можно gtp-oss 120b
Ты про написание кода? Я имел ввиду вкат, обучение основам, менторство и ответы на тупые вопросы с разжевыванием
Гайд бы лучше написал. Я уже 2 часа ебусь с гопотой и нихуя не получается
> > для умных локальных нейронок уровня жпт
уровень текущего жпт это примерно Kimi K2 или дикпик, а не тот 120б "на те боже що нам негоже"
ну самые основы и gpt-oss 120b расскажет, для уже вкатившегося вайтишника нужны модели в разы больше.
Чем клод лучше чатгопоты кто-то может сказать?
Очень хотел бы себе виртуального помощника по типу нейро самы, но в душе не знаю как это сделать. Я очень далек от программирования и для меня это сродни магии
Попроси чатгпт сделать ну чего ты как этот
зачем мне разворачивать локальную лмм с устаревшими данными и ограниченным функционалом, если я могу позволить себе потратить 200 баксов в месяц на прошку чата гпт?
Я не он, уже 2 часа ебусь. Что-то слепили, но такая хуйня...
программированием
>В гемини можно ролеплеить в любом формате, развлекаться на острове Эпштейна, ебать и убивать лолей аки Трамп
>почему вы ещё не "крайney край пениса" локально?!
Bruh
>почему вы ещё не "крайney край пениса" локально?!
Bruh
Чат гопота также программирует, есть что-то убедительное что гопота не может? если мы говорим про платные планы
> gpt-oss 120b
Какая модель сейчас стоит у бесплатной веб-версии? Она лучше или хуже чем та что ты указал?
Дорого. Надо ждать завершения кризиса с электроникой, когда производители определятся, надо ли строить заводы или это был хайп. К тому же нет подходящего железа. Для таких систем, более подходящим был бы вариант APU с мощной встройкой. Потому, что в такой пк можно напихать много памяти. А пока самый топ встроек - что-то вроде RTX3060/ RX7600.
