сук заголовокъ слетел
и кринжатину в 4 пик добавил, теперь это твой позор на месяца два, пока тред не смоет
А я чот вскекнул не моё
Так, это всё очень весело, смешнявка 4 пиком, проебанный заголовок, но вопрос в другом: что сегодня обучаем? Планирую сегодня вкинуть шекелей на васт эй ай
Нужна какая-нибудь задача уровня интермедиэйт и выше, т.е. не дженерик 2д аниме баба, с этим ясен хуй лора справится, вот какой-нибудь хитровыебаный стиль или концепт подошел бы (только чтоб не надо было год датасет собирать)
Нужна какая-нибудь задача уровня интермедиэйт и выше, т.е. не дженерик 2д аниме баба, с этим ясен хуй лора справится, вот какой-нибудь хитровыебаный стиль или концепт подошел бы (только чтоб не надо было год датасет собирать)
Кандинского натренируй.
В ссылках не нашел, спрошу так, лору можно натренить только на одежду? Чтобы я мог менять в промпте деталей о персонаже, о стиле рисовки, но чтобы одежда всегда была одна конкретная?
Бля, а еще идеи есть? Ну тип для нейронки несложно выдавать абстракцию, плюс хз как такое тегать
Красиво, спасибо. Записал
Натренировать можно что угодно, всё зависит от датасета и файлов описаний в нём
Силовая броня из Fallout. Типа T-45, T-51 или T-60, но только не броня Анклава.
Ещё в сентябре пытался генерить постапокалиптические арты на копромодели 1.4, и оказалось что она практически ничего про неё не знает.
Сделай стиль рюкиши из оригинальных цикад. На данбору тег ryuukishi_(style) есть
Пилить видос как с нуля собираю датасет, тегаю, вычищаю его, обучаю и тестирую? Или никому не надо?
Хорошая идея
Это задача для SD 2.1 кмк, если не лень будет попробую
Хорошая идея
Это задача для SD 2.1 кмк, если не лень будет попробую
>Красиво, спасибо. Записал
конченый. жаль что такое законно, это кощунство.
>Пилить видос как с нуля собираю датасет, тегаю, вычищаю его, обучаю и тестирую? Или никому не надо?
Давай, аноны будут рады.
Ретроград, опять выходишь на связь?
Щас, маман попросила в магаз сбегать кек
Ты берешь оригинальный стиль человека, который он сам придумал и который сформировался в том числе ввиду уникальности его нервной системы и всего прочего и воруешь его. это мразотство.
Ну вот, перекатили и опять шиза ветром надуло. Надо было до тысячного сидеть как раньше. Игнорируйте его.
Бля, жир, ты заебал. Хули ты забыл на этой доске? Тут нет ничего своего, это доска про копирование чужих идей, стилей и т.п. Ты пидор заебал троллить тут.
>это доска про копирование чужих идей, стилей
А зачем тебе оно надо?
> Пилить видос как с нуля собираю датасет, тегаю, вычищаю его, обучаю и тестирую? Или никому не надо?
Давай, а то по датасетам тут больше вопросов, чем по установке и параметрам скрипта
>Красиво, спасибо. Записал
Не забудь скинуть в тред, если что то выйдет, мне тоже этот стиль понравился.
Да, видос нужен. Плюс скинь свой файл скрипта и напиши версию мокрописи.
Хочется.
> Тренируй больше разных лор, если сталкиваешься с проблемой, то ищи варианты решения
Так и делаю
> hair ornament, без hairclip (а hairclip емнип всегда идет с hair ornament), то с высокой вероятностью оно подсосет то что было натренено в лоре
Подсосёт именно в этот тег, заменяя его веса новыми, как я понял. Оно и правда через теггер всегда вместе выдавало эти два тега, но почему у кого нибудь вообще может возникнуть желание использовать их по отдельности, если на картинке оба тега подходят?
> Да, но не вылезая за теги данбуры, а то получится новый тег, который ты будешь обучать с нуля скорее всего. Просто тут сейм херня что и при промтинге, есть созависимые теги, или же теги, которые используются от контекста, типо разницы между тем же pussy и cleft of venus. Такие группы тегов типа hair ornament + flower hair ornament частенько встречаются, там еще и hairclip может с ними быть, или например crying + crying with eyes open. Кароч это уже непосредственно тема теггинга данбуру артов, лол.
Понял, из опыта можешь сказать что лучше, описывать подробно группой тегов или стоит оставить один простой, чтобы в него и насосало все изменения при тренинге?
Кстати, нужно ли всё-таки проставлять теги по типу full body, cowboy shot, close-up, или не стоит?
> Оба в этой лоре есть
Не, я сам эту натренил, это не твоя лора, но с твоими параметрами, чуть изменёнными.
> А как вызывал? Если по xiao то это уже считай новый тег, который с нуля обучался
Да, так и вызывал 1boy, xiao. Вот с уточнением геншина уже куда лучше всё на пикриле1, пик2 попробовал без лоры.
> Однако в моем понимании все просто - надо убрать все лишнее из пикч для тренировки, а все остальное что там осталось - плотно затегать не создавая новые сущности. Хуй знает как высрать это из моего мозга, наверное можно сказать что подробное тегирование сродни дифференциации. Я уже хочу спать и хз как вменяемо объяснить.
Не шизу получается, а заранее ответ на мой вопрос выше.
> Я в основном пользуюсь костылем от кои, а не нативной херней от ватоматика, когда ставишь, то в хуплоте появляется пик 4, это намного удобнее имхо.
Я уже нашёл, просто версия старая аддишионал нетворков была.
> больше пикч было бы хорошо
Вот тут бы пояснение не помешало, чего добавить. Читал как анон выше советовал добавлять в датасет разные ракурсы, там клоуз-апы, ковбой шоты, фулл боди, фром бехайнд. В разной одежде, с разными фонами, в разных позах. Ты для своих лор как обычно собираешь датасет?
Красиво, тоже записал в todo
Воровать чужое хочется над чем человек долго старался?
Еблю в соски.
Да, хочу картиночки в его стиле, вопросы? Мне ещё фкейщик понравился, собираю на его стиль датасет, чекаю тред в па постоянно.
Ну вот зайдешь в /pa/, а там 3дбляди какие-то, кривульки, скетчи, нихуя интересного, а вот на его работы посмотришь, так сразу мастерпис видишь.
Я другой анон, но обучения ради запилил лору на твоём датасете, тк лень собирать свой. Вот результаты, если надо могу скинуть лору.
Делаю псевдогайд но придется мотать, обрезать лень, тут проблемы с арендой гпу
> Подсосёт именно в этот тег
Ну типа
> заменяя его веса новыми
Не могу ни подтвердить, ни опровергнуть это
> но почему у кого нибудь вообще может возникнуть желание использовать их по отдельности
У меня теггеры часто обсираются мне в штаны, поэтому приходится чекать за ними и ручками проставлять, идти на данбуру, искать похожие ракурсы итд и тащить оттуда подходящие теги.
> из опыта можешь сказать что лучше, описывать подробно группой тегов или стоит оставить один простой, чтобы в него и насосало все изменения при тренинге?
Я таким исследованием не особо занимался, но по наблюдениям имхо лучше проставлять все. У меня иногда бывает что нужное не вызывается или плохо вызывается по одному тегу, тогда ставлю второй и экспериментирую. Правда в таком случае уже могут идти вопросы к качеству тренировки или датасета. По сути если у тебя одновременно два тега на объект в описании, то и тренятся они вместе, ты можешь вызывать нужное двумя токенами, правда разница между ними будет зависеть от начальных весов модели для них, ну и собсна еще от того насколько лора перекрывает модель.
> Кстати, нужно ли всё-таки проставлять теги по типу full body, cowboy shot, close-up, или не стоит?
Офк нужно, это же основные теги композиции считай, с ними то и в промте работа частая получается, хотя вместо того же фулбади можно костыльно получить похожий эффект, прописав в промте обувь.
> я сам эту натренил
Поне
> Не шизу получается, а заранее ответ на мой вопрос выше.
Не поне
> Читал как анон выше советовал добавлять в датасет разные ракурсы, там клоуз-апы, ковбой шоты, фулл боди, фром бехайнд. В разной одежде, с разными фонами, в разных позах
Если для сяо, то это был я. Ну это правильно собсна. Представь например что тебе нужно сделать 3д модель объекта из фоток, тебе для этого нужно обфоткать его с разных сторон, со сдвигом в 30 градусов по осям, при камере, привязанной к объекту, например. Сделать этакую сферу. Только тут еще нужно "сфоткать" объект вблизи, что бы нейронка поняля детали на клоз апе, и вдали, типа вайд шот или фулл бади. Три сферы считай, примерно так наверное и будет выглядеть идеальный на самом деле хуй знает датасет, Для человека еще нужны разные позы, что бы ненароком не приклеить натрененную лору к какой-нибудь Т-позе.
> Ты для своих лор как обычно собираешь датасет?
Начальный датасет я собираю от фонаря честно говоря, штук 25 пикч какой-нибудь херни, которая понравилась и которая мб теоретически подойдет, треню, щупаю результаты, потом корректирую или меняю датасет но чаще просто забрасываю лору, лол
Для черновых вариантов не очень хочется ебаться так сказать.
Аморально, тебе так не кажется?
Зачем шиза кормите?
Воровать стили авторов надо усиленно, через это воровство другие аноны узнают об этом авторе и заценят его работы, грубо говоря, вы своим воровством пропиарете автора, от чего выиграете и вы и автор.
Воровать стили авторов надо усиленно, через это воровство другие аноны узнают об этом авторе и заценят его работы, грубо говоря, вы своим воровством пропиарете автора, от чего выиграете и вы и автор.
Я под каждым постом на пиксиве с ворованным стилем оставляю ссылку на пиксив автора. Ну и на дваче тоже сообщаю, если кому это интересным становится.
Добра тебе.
Ты подписывать автора у которого своровать собрался прям а картинке? Не думаю. Ты просто ставишь художника в положение в котором он вынужден ДЕЛИТЬСЯ. Хотя его и не спрашивают. Но выходит что делится он со всякими додиками, ведь они такие неумелые,обделенные,юродивые, с ними надо делиться своими трудами, чтобы и они так смогли.
>Мне ещё фкейщик понравился
Fkey? Он очень классный. Еще давно пытался добавлять теги с ним, но сетка не знает. Будет круто, если выйдет натренить его стиль.
А если я руками нарисую в чьем-то стиле, это тоже будет воровство? Пиздец жирнота.
>ДЕЛИТЬСЯ
Да, большинство художников не хотят развивать искусство, они хотят нахапать под себя, нагрести и сидеть на этой куче деградировать. Как же хорошо визжит мусор с патреона, который говно гнал и получал за это бабло после появления нейросетей, ведь этот мусор развивать ничего не хочет, он хочет только зарабатывать.
Нет, это другое, вы не понимаете
>Принято
Благодарю.
Когда пытаешься сделать нужный образ одним только описанием, выходит так себе... Но с кастомной лорой этот промпт сделает норм.
>Fkey
https://www.pixiv.net/en/users/89402567
Нет, я про этого пчела с нуботреда. Фкейщик - его кликуха в нуботреде /pa/.
Нейросети с воровством стиля конечно то еще развивательство. Мощный вклад. Художники и без ваз разберутся как развивать данную сферу.
Он получается подражатель fkey, поэтому так его называют? Не понимаю, но его стиль выглядит немного другим.
Ты можешь мне прояснить? Ты же с /pa/, знаешь ведь всех конфоблядей там?
Ворую только у классиков. Думаю что им всё равно.
Это ты порвался, дебил бля? Репортнул твой пост в ответ, чмо.
можете скинуть человеческий гайд по колабу для лоры?
Главное - демократизация. Чтоб для каждого была своя ниша: и для тех кто готов платить, и для тех кому платят, и для тех кому нужно получать рисунки бесплатно (для меня).
Кто-нибудь итт или на форче, может сделать максимально упрощенный колаб скрипт для лоры? Чтоб там были проставлены самые оптимальные (универсальные, эффективные) параметры, чисто чтоб скинуть туда файлы и трейнить одним кликом.
> Не поне
Да я просто пост не дочитал до конца, начал реплай строчить, потом увидел что ты придерживаешься детального описания датасета и вопрос вообщем-то отпал, но искать его в простыне текста не стал, чтобы удалить.
> Если для сяо, то это был я.
Не, я про анона который исследованиями делился в прошлым треде говорю.
Ну насчёт аниме тяночек я вообщем то понял, а что насчёт стилей? Это типо тренировка тега с нуля будет, даже если там есть персонажи в датасете, тут ведь полюбому есть свои тонкости, самое очевидное что приходит на ум, это то что такое тренить нужно дольше?
А с реализмом как быть? В гайде написано, что лучше придерживаться сд стиля промптов и первого клипа. Как сд стиль будет перезаписывать это - a portarait of a girl standing in the middle of the street я вообще мало себе представляю, учитывая специфику тренировки данбору тегов.
Можешь заюзать гуи с дефолтным файлом настроек, который надо будет создать. Ну а параметры спроси у 1060, или предыдущий тред перечитай
Хитровыебаный стиль можно сделать и без лоры.
В GUI лора ваще не ставится, он какой-то багнутый когда запускаешь --share. Или апдейтом сломали, хз.
Я читаю в дискорде англо сервер художников, орагнизовавших сопротивление против ИИ.
Юзеры постят свои рисунки с бодипозитивными персонажами. Про нас говорят, типа, убить пидорасов! Засудить, и всё такое прочее.
Юзеры постят свои рисунки с бодипозитивными персонажами. Про нас говорят, типа, убить пидорасов! Засудить, и всё такое прочее.
нет
Извини, я жопой прочитал, думал просто скрипт Лоры и про гуи 1060 написал. Алсо --share не требует --api там?
>конченый
Как будто я человека убить собираюсь. Ты там совсем ку-ку?
ВСЁ ОХУЕННО ПОЛУЧАЕТСЯ
@
РЕШИЛ СДЕЛАТЬ ГАЙД
@
ГПУ НЕ АРЕНДУЕТСЯ
@
СЕТКА НЕ ОБУЧАЕТСЯ
@
РЕШИЛ СДЕЛАТЬ ГАЙД
@
ГПУ НЕ АРЕНДУЕТСЯ
@
СЕТКА НЕ ОБУЧАЕТСЯ
ну плис, а то я читаю шапочные гайды и охуеваю с формулировок
Пиздец, собрал нормальный датасет, почистил от мусора, обрезал
> loss>0.2
> loss>0.2
--share ето параметр запуска, когда юзаешь на Kaggle - чтоб разместить app на градио. Там еще нужно делать пароль, иначе непременно какой-нибудь чёрт отыщет брутфорсом и нагенерит тебе расчлененки.
Объяснишь про лосс, что это такое? Какие значения можно считать приемлемыми и почему может происходить подобное, как я понял неправильное отклонение в какую-то сторону?
Здрасьте приехали.
Лосс это значит, что чем больше, тем хуже.
Читай шапковые пики.
Лосс это различие между искусственно зашумленным тренировочным образцом и обесшумленным на один шаг с помощью unet тоже изображения с шумом, но большим. Чем больше значение - тем больше различие. Обучение это и есть уменьшение лосса, сеть учится деноизить изображение, ориентируясь на датасет. Сеть постоянно подстраивается под лосс и пытается скорректировать свой алгоритм, это называется градиент. По-хорошему лосс должен падать с течением обучения
Приемлимые хз, ну скажем 0.08-0.15
О прикол, делиберейт абеллу денжер без лор всяких нарисовал.
А технотред тут причем?
ну хотел лору пообучать
В том то и дело, там нету ни то что такого годного объяснения, а вообще хоть какого то. Поискал по loss в ссылках на гайды обучения, может не так искал
А, пики, хера се я слепой, лол, понял тебя, полез в ссылки не смотря на картинки
Спустя столько ответов не видно единственно верный, теряете дух авантюризма.
Лучше бы Реми Лакруа, а то рановато она свинтила из профессии.
Ох ебать, да она вернулась, оказывается. Вот это я проморгал конечно...
> а что насчёт стилей?
А они в среднем по больнице легче тренятся.
> Это типо тренировка тега с нуля будет
Зависит от того присутствует ли автор стиля на бурах или нет, насколько он популярен, и реагирует ли на него модель соответственно.
>это то что такое тренить нужно дольше?
Сложно сказать, но обычно стиль схватывается быстрее персонажа.
>тут ведь полюбому есть свои тонкости
Это наверное не у меня спрашивай, опыта тут маловато, да и я до сих пор не стартанул нормальную тренировку стиля нихея
> А с реализмом как быть?
Тут не знаю, я только пару версий кратоса из год оф вар на реалистик моделях пробовал тренировать, вышло очень всрато и я забросил.
Пока что словил перетрен с сильным прилипанием стиля, приколы с полями прилагаются. У него лучше
Надо поиграться с параметрами обучения.
Алсо, я забыл спросить, на какой модели тренить и что ты хочешь получить? Я так понимаю в стиле твоих пикрилов, но в одежде имари?
Алсо, возможно скоро отвалюсь спать
>
Сложно сказать, но обычно стиль схватывается быстрее персонажа.
у меня наоборот
3200 на перса шагов
6400 на стиль
Два месяца меджирую трейны и понял самое главное: главное найти понравившуюся тебе базу и юзать оттуда текстоэнкодер, то есть base_alpha. Это как минимум процентов 80 качественного мерджа под свои вкусы. Ну и чтобы модели были либо разными трейнами, либо юзали разные трейны если это миксы. Сами веса инпута и аутпута можно вообще по шахматке распологать, срединный блок в 0.5 по дефолту. Ну и клипфиксинг конечно бустит до 100 качественного микса. Делебирейт кстати как база кайфовый. Такие дела.
дайте ссылку на форчановский репо с лорами если есть плес
одно аниме пиздец просто
Вышло супер. Только челка не та, но можно фиксить уточнением в промпте. Залей куда-нибудь?
Тоже скинь, костюм здесь классно выходит
>на какой модели тренить и что ты хочешь получить? Я так понимаю в стиле твоих пикрилов, но в одежде имари?
Персонажа. Прическу и желательно, пропорции лица. Одежду лучше чтоб можно было выбирать любую или ее отсутствие.
Круто, а что за теги ты так чекаешь? В первых двух одежду вроде, а третье что-то неясное.
Есть три самые популярные модели:
Anything v3 и v4 - самый усредненный стиль,
Orangemix - детализированный полутрехмерный стиль, тягучие формы словно пластилин,
Counterfeit - многого сказать не могу, но выглядит как дженерик.
Судя по всему, Anything v3 оптимальный вариант для трейнинга лоры. WD и HD хуйня, Grapefruit и Poison параша, тринарт специфичен
Anything v3 и v4 - самый усредненный стиль,
Orangemix - детализированный полутрехмерный стиль, тягучие формы словно пластилин,
Counterfeit - многого сказать не могу, но выглядит как дженерик.
Судя по всему, Anything v3 оптимальный вариант для трейнинга лоры. WD и HD хуйня, Grapefruit и Poison параша, тринарт специфичен
Это думаю все таки сюда, короче заебавшись копаться в промтах я начал искать способ их удобно хранить.
Вариантов обнаружилось много, но наиболее удобным оказалось использование программы для написания сценариев, КИТ Сценарист.
Плюсы, бесплатно. Пропты хранятся на сорт оф стене, в виде карточек.
У карточек ясно читаемый заголовок описание, видно содержимое, можно структурировать и размечать разными цветами, размеры текста внутри карточки неограничен.
Вариантов обнаружилось много, но наиболее удобным оказалось использование программы для написания сценариев, КИТ Сценарист.
Плюсы, бесплатно. Пропты хранятся на сорт оф стене, в виде карточек.
У карточек ясно читаемый заголовок описание, видно содержимое, можно структурировать и размечать разными цветами, размеры текста внутри карточки неограничен.
Спасибо, накачу эту мокропиську. Раньше тупо делал в excel, а также применял вайлдкарды.
Продублирую вопросы сюда пожалуй.
Так а в чём вопрос
Почему на 512х512 такая производительность охуенная?
Если я в img2img планирую автоматик использовать, то имеет ли смысл тесты делать в img2img, а не в txt2img?
> Почему на 512х512 такая производительность охуенная?
Ну так тренили ж на таком разрешении
> Если я в img2img планирую автоматик использовать
Не понял предложения
>Ну так тренили ж на таком разрешении
Какая нахуй разница на чем тренили?
>Не понял предложения
Ты глупый?
> Какая нахуй разница на чем тренили?
Ну блять, есть же некоторая закономерность между тем, на каком разрешении сеть обучали и на каком разрешении максимальная производительность? М?
> Ты глупый?
Да, я глупый. Объясни пожалуйста как в img2img использовать автоматик, а то я только наоборот умею
>есть же некоторая закономерность
С чего бы ей быть? Если ты всю жизнь спал на старой ржавой советской кровати с пружинами, ты внезапно откажешься от какого-нибудь матраса с латексным наполнителем?
>только наоборот умею
Как часто в автоматике наоборот?
А у кого и что убавилось?
Рису что у художника убавится славы восхищения заработок зрители.
>славы восхищения зрители
Если он не может сделать лучше, чем я за 5 минут в генераторе, значит он этого не заслуживает.
>заработок
Я не продаю генерации.
какой колаб нормально колабит щас?
Ты сделай лучше без его рисунков, и посмотрим что заслужишь ты.
>Ты сделай лучше без его рисунков
Почему? Художники ведь не с закрытыми глазами учатся рисовать. Вполне себе пиздят друг у друга стили.
Ну не зря же стиль нельзя закопирайтить.
Только больной мозг до такого бы додумался.
>Вполне себе пиздят друг у друга стили.
Тоже не айс но человек хотябы пользуется своей нейросетью в голове и конкуренция происходит на биологическом уровне что чуть более справедливо. Если один художник другого обскакал чтож он более одарен генетически. Но обычно такое копирование стиля не поощряется и копирующий художник выглядит как дешевка да и понятно что делается такое в коммерческих целях, а для души он рисует в своем стиле.
>чуть более справедливо
Мир не справедлив.
Да, но с чего мне нужно к этому положительно или снисходительно относиться?
С этим нужно смириться. И не ставить себя в невыгодное положение ради несуществующей справедливости.
С чем еще смириться? Нет, я буду оскорблять всех наглецов что делают такое, и многие люди тоже.
Ты бы лучше с реальным неравенством боролся, а не в интернете за богатых патреонособак копротивлялся...
Они свои патреоны заслужили честным трудом.
Да как нормально тренить эту лору ебучую блять.
Сегодня пытался натренить стиль, писал видео в обсе два часа, нихуя не вышло за 7 попыток, стиль не подхватился. На этом моя карьера лораёба ВСЁ
>стиль это легко))
>легкие реквесты не предлагать))
>ща натреню за пару мин)
>БЛЯ, да как тренить эту лору, СУКА
Лицо?
>легкие реквесты не предлагать))
>ща натреню за пару мин)
>БЛЯ, да как тренить эту лору, СУКА
Лицо?
Душевнобольные хуйдодики и не до такого додумаются, они бы и трусы твои закопирайтили, лишь бы баблишко полцчать
> стиль это легко))
Пиздабол
> ща натреню за пару мин)
Пиздабол х2
> Лицо?
В порядке. Завтра сделаю её.
хопиум
Скорее копиум, у меня никогда так тяжело лора не давалась. Чтобы лосс стабильно был выше 0.2 на всех эпохах, это пиздец
Я даже не думал что такое теоретически возможно, ладно бы там каша какая-то невнятная была, хуй с ним, так лора просто сказала НЕТ Я НЕ БУДУ РИСОВАТЬ В ЭТОМ СТИЛЕ, и всё тебе нахуй
Как натренить лору на какую-нибудь позу персонажа?
Прочитай ветку диалога, мы там с аноном обсуждали разные способы вызова лор, просто 1boy xiao, 1boy xiao \(genshin impact\) и третий с кучей уточняющих тегов, ну и сравнение без лор ко всему этому делу ещё. Я тоже натренил по твоему датасету чтобы попробовать получить примерные результаты.
> Вышло супер. Только челка не та, но можно фиксить уточнением в промпте. Залей куда-нибудь?
https://dropmefiles.com/7OuVR
А, так ты другой анонч! Какие вы крутые.
Анончик, смотри как оно на pastelMix выглядит! Огонь! Пользуюсь 11й версией.
Ты по мальчикам? Какой же он милый на второй пикче
Норм, спасибо
1. Собрать датасет из одинаковых поз
2. Натренить
Simple as that
Поясните пожалуйста, за что отвечает "Copy config from" и там четыре варианта ответов. Что именно он копирует и что стоит выбирать при мердже с вычитанием и сложением?
Скорее всего yaml файл который лежит рядом с моделью. Вряд ли есть применение для мерджа sd 1.x моделей
Написать гайд по мерджу по весам для даунов под задачу "получение любого стиля с базой на релистик модели без ошибок и без потери качества рук/ебл/etc"?
ДА! В шапке есть ссылка на гайд. "Гайд по кручению весов моделей". Он пустой. Если готов взяться, редактируй. Пароль 2ch. Если боишься что угонят, меняй пароль. Тред будет тебе благодарен, родина тебя не забудет.
Гайдецкие нашел по Лоре на форче:
https://rentry.org/lora-training-science
https://rentry.org/beginners-lora-training-params
https://rentry.org/lora-tag-faq
https://rentry.org/LazyTrainingGuide
Нашел пару советов хороших, наверное я зря так боялся трогать network_alpha, типа что это "не тру". Это настройка ведь значительно замедляет обучение. Я бы до пре0.4.0 значений конечно не загибал (было раньше network_dim = network_alpha), но 12.5-50% от network_dim однозначно сегодня попробую.
Я иду за тобой, ебаный каджатони!
https://rentry.org/lora-training-science
https://rentry.org/beginners-lora-training-params
https://rentry.org/lora-tag-faq
https://rentry.org/LazyTrainingGuide
Нашел пару советов хороших, наверное я зря так боялся трогать network_alpha, типа что это "не тру". Это настройка ведь значительно замедляет обучение. Я бы до пре0.4.0 значений конечно не загибал (было раньше network_dim = network_alpha), но 12.5-50% от network_dim однозначно сегодня попробую.
Я иду за тобой, ебаный каджатони!
Так и не разобрался в версии 0.4.0
Что непонятно
Не работает нихера
Блядь, заебали. Хули я должен вытягивать информацию? Гриды по эпохам, настройки, датасет?
А разве нетворк альфа это не 0 или 1? Я думал чисто вкл или выкл опция.
Ноуп. Она используется в формуле (network_alpha / network_dim), а это значение в свою очередь применяется к выходных весам слоев (умножает). Соответственно чем меньше альфа, тем меньше веса. При network_alpha = network_dim выходные веса не меняются, но это может привести к ошибкам округления и нулевым весам слоев, что не очень хорошо. Но на единице походу пиздец хуйня у меня выходит в большинстве случаев. Нужно что-то среднее
Обновлю гайд как-нибудь
Было бы неплохо, давно ты гайд не обновлял
Это объясняет почему пришлось ебаться с лернинг рейтом после 0.4.0
> If you've baked loras before alpha was added then you were by default using dim = alpha (128/128, 64/64, etc)
Если сейчас поставить также 128/128, будет очередная лора и нулевыми тензорами, но старый лр из гайда будет нормально работать?
А дим уменьшенный почему работает, данных мало и все помещаются в выделенное место? До 0.4.0 16 или 32 дим работал вообще?
у тебя у самого работает через жопу, челяба
>пиздец хуйня у меня выходит
но все работает, да, кохьялахта?
> Было бы неплохо, давно ты гайд не обновлял
> Это объясняет почему пришлось ебаться с лернинг рейтом после 0.4.0
Да, всё верно. Я может про нетворк альфу не сильно расписал, но скрипт сразу же обновил и в скобках указал, что если хотите как раньше, то ставьте альфу как дим
> Если сейчас поставить также 128/128, будет очередная лора и нулевыми тензорами, но старый лр из гайда будет нормально работать?
Да. Но как я понял нулевые тензоры не такая уж и проблема, учитывая какие результаты мы и я получали. Я бы смотрел значения альфы 8-64 для дим 128, но я юзаю дим 16-32, поэтому буду смотреть 4-16 альфы где-то
> А дим уменьшенный почему работает, данных мало и все помещаются в выделенное место?
Я хуй знает что там под капотом, но вот то что ты написал я так думаю сейчас. Тесты малого дима мне понравились. И занимаемое место
> До 0.4.0 16 или 32 дим работал вообще?
Да, работал конечно. В официальном репо лоры я вообще не видел чтоб кто-то выше 16 лез вообще
Открой лора репо, там 90% лор мои. Качай, тестируй
Всё работает, но на одном датасете не сработало, и я пока не знаю почему. Не факт что из-за альфы, может протегано хуёво
Ща заценим. Не понятно на какой модели трейнилась лора, но для оранжа должно подойти.
Ну дела. Оказывается в кернелах не найдешь рабочий скрипт даже чтоб просто загрузить готовую модель. То ли поддерживаются в web UI нативно, то ли нужен аддон. Китайцы запилили какой-то специальный ноутбук для лоры, надо попробовать, хотя выглядит криво.
1060-анон, тебе там лисофаг хочет задонатить
Что куда и зачем
Забавно. Да мне и так нормально, спасибо
> Очередной жирный вброс?
Да не, почему, такое возможное в теории. И судя по тому что у них была демка, то и на практике. Там же вон даже бумажку сделали пару месяцев назад, где описывается как за 8 шагов получали готовое четкое изображение
>Да не, почему, такое возможное в теории. И судя по тому что у них была демка, то и на практике.
Возможно то но возможно, только крайне жаль, что не будет применяться повсеместно.
Да, их там вроде на реддите захейтили, что они такие ебать благородные, такую хуйню в народ пускают, но почему-то не сделали расширение для автоматика или другого фронтенда
Вроде как получилось путем trial and error сделать ебучий стиль, видос сделал, но он больше часа. Нужно кому?
Не, наверное лучше переделаю
мне нужно, плюс нужен файл скрипта
Кто здесь принимает реквесты?
Я переделываю видос, делаю намного короче. Скрипта не будет, скрипт в гайде. Настройки только будут
++, у меня тоже есть датасетик
Вы не охуели часом?
поч
Бля, он даже гету не хочет лору натренить, посмотрите на него. На 4090 лорка 5 минут печется, а ему похуй...
Зависит от того что за персонаж/стиль + качество датасета, впустую время тратить не хочется
А может кто затрейнить персонажа? Принцесса-рыцарь Лилия
Качество спорное, потому что низкий бюджет и отсутствие фан-арта. Но сет хорошо проработан, вечером скину если есть желающие.
Качество спорное, потому что низкий бюджет и отсутствие фан-арта. Но сет хорошо проработан, вечером скину если есть желающие.
Качество в плане обрезаны рамки черные/белые, по возможности обрезаны/незаметно замазаны надписи, разрешение не 256х256, текстовики с тегами полноценными
Ну сам посмотри
ща кину на файлопомойку
У тебя прямо на скрине RWBY текст на пикче, очисти от такого, как анон и сказал и я могу потренить
это единственная такая пикча, + там видна пикча с диалоговым видно
на этом все, я сейчас замажу и кину в тред, датасет скоро будет, дальше сам решишь
А нет, не все, он практически каждую пикчу подписывает свою. Хз, удовлетворительно это для тебя или нет, сам решай.
https://dropmefiles.com/JFsFM
Для тебя удовлетворительно ли если в последствии тебе может выдаваться текст и подпись с такой лорой? Пройдись просто в фотошопе хилинг тулом по всем его подписям, они настолько маленькие что их легко затереть, скинул не пофикшенную хуйню кстати. Зачем такой длинный тег в несколько токенов в начале, почему не использовал однотокенный?
>Для тебя удовлетворительно ли если в последствии тебе может выдаваться текст и подпись с такой лорой?
да
>почему не использовал однотокенный
не вижу особого смысла
https://drive.google.com/file/d/1xI30rKT6CMAHVw8mSY9NZqca2yYkEINT/view?usp=share_link (пока оно там обрабатывается хуё-моё)
Ну кароч сделал я какой-то псевдогайд, на запись ручки тряслись, делал ошибки. С 17:17 по 25:14 искал рабочий гпу, можно скипать. На 28:30 вспомнил, что забыл стереть тег автора из файлов описаний и заменить каким-нибудь коротеньким. По 33:00 тренил. На 39:25 результат. Разрешение 768х768. Стиль автора дался лорке очень тяжело, но схватился, очень разномастные пикчи, одна крупной кистью, другая с тонкими линиями, на одном пике лицо крупным планом, на другом в жопе мира и его еле видно, да и порой я сам до конца не мог понять, что на рисунке автор изобразил.
Перегнул с лёрнинг рейтом. Плюс поленился ждать 40 минут, сбросил тренировку и начал заново, уменьшив шаги в 2.5 раза. Короче могло быть всё лучше.
со второй эпохи обосрался
Кстати узнал что там не в токенах идёт расчет, а в словах, keep_tokens это нихуя не tokens, а количество "охраняемых" тегов до N-ной запятой. Так что имя автора или персонажа может быть хоть 5 слов, главное чтобы не было разделено запятой
Ну кароч сделал я какой-то псевдогайд, на запись ручки тряслись, делал ошибки. С 17:17 по 25:14 искал рабочий гпу, можно скипать. На 28:30 вспомнил, что забыл стереть тег автора из файлов описаний и заменить каким-нибудь коротеньким. По 33:00 тренил. На 39:25 результат. Разрешение 768х768. Стиль автора дался лорке очень тяжело, но схватился, очень разномастные пикчи, одна крупной кистью, другая с тонкими линиями, на одном пике лицо крупным планом, на другом в жопе мира и его еле видно, да и порой я сам до конца не мог понять, что на рисунке автор изобразил.
Перегнул с лёрнинг рейтом. Плюс поленился ждать 40 минут, сбросил тренировку и начал заново, уменьшив шаги в 2.5 раза. Короче могло быть всё лучше.
со второй эпохи обосрался
Кстати узнал что там не в токенах идёт расчет, а в словах, keep_tokens это нихуя не tokens, а количество "охраняемых" тегов до N-ной запятой. Так что имя автора или персонажа может быть хоть 5 слов, главное чтобы не было разделено запятой
гайд записал, а лора и настройки где?
>хилинг тулом
магия какая то
нах ты это врубил, у меня тряска и я вспоминаю спеллкарты из игры
Проиграл xd
надо было бля в 1080p писать, я додик, нихуя ведь не видно
Тренил на 0.4.0?
Да
Только хотел написать, шакалы же, тем более в облаке тренишь и можно видяху занять локальную. Что за вьювер пикч кстати?
Лосс большой с твоим датасетом 0.15-0.2
>
> Лосс большой с твоим датасетом 0.15-0.2
Да боялся что файл гигантский будет. А вьювер FastStone Image Viewer, полжизни пользуюсь
> Лосс большой с твоим датасетом 0.15-0.2
Да, в курсе, бывало и меньше. Вчера у меня вообще был 0.23-0.3. Перелопатил датасет, покропал всё что можно, убрал много пикч и теперь имею что имею. Если кто-то сможет натренить крутую лору на этого автора, могу только низкий поклон оформить
Что. Оттренить?
Да я промазал просто, не с твоим, а того анона выше, попробуй, если есть желание. Такой лосс если что с 2e-4 cosine батч 2.
Ок
некоторые не работают, некоторые бессмысленны, т.к. в концепт может сама модель и без лоры
А если тренить лору на dolphin shorts, то надо кропить именно то место, где эти шорты? или всю картинку оставлять?
Можешь какой нейронкой видос апскейльнуть, по быстрому получив качество лучше? Шакалы очень сильно всё портят всё таки, ну или скажи, чем можно
Я пишу видос новый в QHD, с тренировкой персонажа, еще короче должен выйти
Оставил бы сверху полосу где тыкаешь в меню прог, а то тоже обрезана
>персонажа
Лоускилл
Там ники и всякая конф информация :p
Ой блять, не персонажа, стиля. Тот, что там анон залил выше
Может я не шарю конечно, но помоему это не далеко ушло от жонерика
А у меня вроде вышло, если б подлинее потренил было бы еще лучше думаю
Какие настройки ставил и какой лосс в итоге получил?
Лосс в районе 0.15, настройки скоро будут. Не хватает только вот этого "мрачного" лука на некоторых пикчах как у автора, но опять же, 1500 шагов всего, 5 минут тренировки
Короче вот бля ваш видеогайдер записал еще один видос, но теперь на 3 минуты короче и в нормальном разрешении. И с более вменяемым результатом
https://drive.google.com/file/d/1TSsdx10hltPUIj8lt7UJ1EvYjbGDrrOo/view?usp=share_link
(возможно не сразу 1440р появится)
Датасет, настройки, сама лора: https://drive.google.com/drive/folders/1WmUaflpbc8LT6qVUI8rKZCSDMqks7VVE?usp=share_link
https://drive.google.com/file/d/1TSsdx10hltPUIj8lt7UJ1EvYjbGDrrOo/view?usp=share_link
(возможно не сразу 1440р появится)
Датасет, настройки, сама лора: https://drive.google.com/drive/folders/1WmUaflpbc8LT6qVUI8rKZCSDMqks7VVE?usp=share_link
Итак, анон, я хочу натренить нейронку, чтобы сажала тянок на шпагат. Полагаю - что таки или DreamBooth, или TextualInversion (кстати, что посоветуешь, анон?). С первым работал, со вторым - нет. DreamBooth хорош тем, что на выходе у него - diffusers-совместимые веса, которые хорошо ложатся на huggingface.
Итак, что я сделал. Я нагенерил протогеном 2.2 тянок как на пикрилах. Они не без греха, но грех можно и обрезать. Планирую плюс-минус повернуть их гимпом так, чтобы расшпагаченность была снизу и горизонтально.
Сколько нужно пикч для тренировки позы? Что указывать базовым концептом в DreamBooth? "stretching" ? Есть ли отличия по lr от тренировки персонажа? И вообще, что посоветуешь?
Итак, что я сделал. Я нагенерил протогеном 2.2 тянок как на пикрилах. Они не без греха, но грех можно и обрезать. Планирую плюс-минус повернуть их гимпом так, чтобы расшпагаченность была снизу и горизонтально.
Сколько нужно пикч для тренировки позы? Что указывать базовым концептом в DreamBooth? "stretching" ? Есть ли отличия по lr от тренировки персонажа? И вообще, что посоветуешь?
Норм видос в этот раз, жаль этап теггинга мало был затронут, пожалуй эту теггалку в вебуи тоже стоит добавить. Я тренил 1875 х 2 батч, чтоб уж наверняка, вот два промпта из датасета на разных сидах, на ласт эпохах уже ничего не улавливало походу нового
Я могу запилить потом видос как я персонажа вашего на выбор треню :) Мне пизда весело
Еще скорость обучения важна, да и вообще все другие настройки
А что с гайдом по кручению весов слоев моделей?
Анон вчера сказал что может написать, я ему сказал что в шапке есть ссылка, но он ничего не ответил
Да ты вообще какой-то колдун ебучий, умудрился зацепить троих моих любимых персонажа в своих лорах. Ну если ни у кого больше нет идей, даешь Суйку тогда! И чтоб с бочонком, а то не канон: https://danbooru.donmai.us//posts/6032634
Мне на самом деле больше интересно посмотрерть на процесс теггинга во время сборки датасета. Я даж не знаю, могут ли в нее модели нынче или мож кто натренил уже, лол. Наи хуево могла в октябре, это точно помню.
С бочонком? Ну попробуем
извините, я секондарька, а в чем суть?
> Мне на самом деле больше интересно посмотреть на процесс теггинга во время сборки датасета
А там смотреть нечего. Либо теги автоматом с буру, либо wd автотеггер, который уже киллер машина просто, научился угадывать даже персонажей
> Наи хуево могла в октябре
Ну значит её и научим
Ах да
> умудрился зацепить троих моих любимых персонажа в своих лорах
Кого? :з
> извините, я секондарька, а в чем суть?
А ссуть у нас в сортире Да не просыхает девочка просто, вот и с бочонком
> wd автотеггер
Я именно им и пользовался кстати, точность очень большая
> Кого?
Лейн, Моника и Курису
> Курису
Другого анона кстати, приносил свои лоры недавно, чето перестал
Можно ли заставить Tagger указывать в промте стилистику изображения, помимо одежды и самого перса?
Автотеггер? Нет. Он работает только по дженерал тегам и по персонажам. Ну может там в теории проскочить какой-нибудь traditional media, но ты наверное не это имеешь в виду
Я про wd14-tagger. Но если есть другой, который умеет в теги стилей, то было бы круто
Что ты понимаешь под стилем? Стилистические теги есть на данбуру, хоть их и немного, соответственно есть и в теггере. Скетч какой-нибудь он с легкостью отличит от обычного рисунка, я думаю
Найсово вышло
Закинь в тред
У меня иногда кнопка "Interrogate DeepBooru" выдаёт очень хороший, годный и полезный мои вкусы весьма специфичны тэг 1990s_\(style\)
Оттуда я про него и узнал
Лосс 0.08 на последней эпохе - норм?
Охуенно либо перетрен
>использует 0.4.0
>ряяя почему не выходит
Лел
> Лел
> Не тренит на 0.4.0
skill issue
Бочонок не совсем идеальный получился, не совсем каноничный, думаю перетренить
Боялся что датасет хуевый, а зря
Успехи мои скромны. Пытался резать датасет...
Всё, ложуся баеньки, завтра будет и гайд, и лора, и настройки, и всё всё всё
В гайде достаточно времени уделил сборке датасета, подготовке и обработке изображений, небольшой возне с тегами, подбору настроек, эпох и т.д.
Правда нвенк после старта обучения крашнулся и оборвал видос, но результат в треде в любом случае, я там просто игрался с промтами и моделями
В гайде достаточно времени уделил сборке датасета, подготовке и обработке изображений, небольшой возне с тегами, подбору настроек, эпох и т.д.
Правда нвенк после старта обучения крашнулся и оборвал видос, но результат в треде в любом случае, я там просто игрался с промтами и моделями
Это не вайп. Это я датасет выгрузил. Вдруг кто захочет потренить сетку на растяжку.
Нихуя у вас тут крутые мужики гайды пилят.
Что скажете по вот этому поводу?
https://github.com/arenatemp/stable-diffusion-webui-model-toolkit
Extensions - Install from URL - ссыль выше.
Перезагружаем страницу. Settings - Show all pages в самом низу ставим галку Fix broken CLIP position IDs.
Теперь во вкладке Toolkit у нас по паре кликов мыши можно очищать-прунить модели до 2ГБ размера и клипфикс(?) делать, все оперативно. Ну и еще в safetensors все модели переводит.
Обычная пруня в fp16 без галки с клипом результат на моделях не меняет, в пределах погрешности xformers. С галкой меняет, но незначительно.
Что скажете по вот этому поводу?
https://github.com/arenatemp/stable-diffusion-webui-model-toolkit
Extensions - Install from URL - ссыль выше.
Перезагружаем страницу. Settings - Show all pages в самом низу ставим галку Fix broken CLIP position IDs.
Теперь во вкладке Toolkit у нас по паре кликов мыши можно очищать-прунить модели до 2ГБ размера и клипфикс(?) делать, все оперативно. Ну и еще в safetensors все модели переводит.
Обычная пруня в fp16 без галки с клипом результат на моделях не меняет, в пределах погрешности xformers. С галкой меняет, но незначительно.
Сделай отдельный концепт на него
Рад, что тебе понравилось, тренилось на АОМ2_сфв, если надо.
https://dropmefiles.com/FYxX5
С этого теста пупсом чет в голос, очень даже похожей получилась, бочонок ну хоть какой-то есть, уже неплохо
не работает твоя лора, стиль вызывал тегом sls
работает только через каломатика, через аддон от кохьи не работает, ХЗ, почему
Сегодня мне приснилось, что я смог натренировать лору на Кокоро, которая может в просветы в её юбке. Как считаете, возможно?
сегодня ночью пытался в лору на reddizen - https://www.pixiv.net/en/users/20660965
вышла интересность, но не reddizen, хз, почему
пик 2 - reddizen
вышла интересность, но не reddizen, хз, почему
пик 2 - reddizen
да все наверн из-за того что у него самого стиль часто расплывается
в итоге пару таких даже в датасет попали, т.к. чем то надо было добить до 50 пикч датасет
Есть тут опытные лористы? Запилите стиль по этому сету
https://drive.google.com/file/d/10CrWTaxiuQdTqCgQZqZb-wE_KDYD_tMV/view?usp=sharing
1306 образцов графики из warcraft II and homm II. Первая половина сета - гладкие апскейлы, вторая половина - те же картинки, но пиксельные. Иконки из варкрафта представлены с цветовыми вариациями, как в оригинале. Ассеты из каждой игры обозначены отдельно, чтобы можно было применять по отдельности или смешивать два стиля.
Если взлетит, то должно получиться супер. В теории, будет возможно делать такую же графику как в этих играх, но в HD с огромным вниманием к деталям.
https://drive.google.com/file/d/10CrWTaxiuQdTqCgQZqZb-wE_KDYD_tMV/view?usp=sharing
1306 образцов графики из warcraft II and homm II. Первая половина сета - гладкие апскейлы, вторая половина - те же картинки, но пиксельные. Иконки из варкрафта представлены с цветовыми вариациями, как в оригинале. Ассеты из каждой игры обозначены отдельно, чтобы можно было применять по отдельности или смешивать два стиля.
Если взлетит, то должно получиться супер. В теории, будет возможно делать такую же графику как в этих играх, но в HD с огромным вниманием к деталям.
ахуенный художник, из-за него теперь ВСЕ пальцы проебаны в генерациях
Мне в целоп похуй на клип, потому что сколько не менял особо разницы не видел, а вот то что раздутую до 8 гб модель можно спрунить в 2 гб малышку для меня киллерфича
Я сделал
Тег sks. Я перетренил с другими настройками, получилось вроде еще лучше, могу залить
Возможно
1300? Жопа не лопнет?
>1300? Жопа не лопнет?
Чем больше разнообразных пикч, тем меньше вероятность оверфита.
>могу залить
давай
>Возможно
отчего такой вывод?
Можно с буры скачать все пикчи с тегом?
Имеется в виду одним нажатием, а не сохранением каждой отдельной.
Я не представляю какие настройки должны быть с таким датасетом. Может быть по фану попробую, еще пока не знаю
>давай
Чуть позже, я с телефона капчую
>Возможно
А почему нет? Не совсем понимаю. Собери датасет где они изображены и лорируй
Наверное каждая пикча должна прогоняться по чуть-чуть? Не знаю, я только rudall-e раньше трейнил и stylegan. С большим сетом оверфит точно не грозит.
Чел, есть лоры натрененные на 3-8 пикчах...
Возможно. Но они для простого объекта, одного или двух, а тут будет стиль чтобы сгенерировать что угодно как красочный пиксель-арт из 90х. Охуенно же
>стиль
Мне всегда хватает 50 пикч для схватывания стиля/перса.
>что угодно
Не знаю, не знаю, никогда не пытался в много сотен пикч.
Вчера анон скинул датасет из 50 пикч, получилось сделать стиль кое как, потом я решил провести эксперимент и собрал свой датасет по тому же автору, но уже на 13 пикч и вышло лучше
>но уже на 13 пикч и вышло лучше
А вы сравнивали? Звучит уж очень хорошо.
Канеш сравнивал
Грид нужен
udonNoodleMix и оранж
2 ряд: первая попытка на большом датасете
3, 4: 13 пикч датасет
В 4 ряду вдвое меньшая скорость обучения чем в 3, мне больше всего нравится пока
ты пикчи его видел? 2 ряд - ближе всего к оригиналу
Кому как
> В 4 ряду вдвое меньшая скорость обучения чем в 3
А в третьем то какая? Как тут , подогнанная под батч? Попробовал на большей скорости тот же сет, ничего особо хорошего из этого не получилось
Что там кстати по Суйке с видосом и гайдом, сегодня запилишь?
Я же сам и попробовал запилить textual inversion по колабу из шапки. Вот-с!
Делал 2000 шагов, 21 изображение. Где-то я срукожопил...
loss до последнего скакал как бешеный, от 0.02 до 0.5. Недодал шагов? Слишком много изображений?..
В 3 ряду unet 1e-3, te 1e-4 под батч сайз 5
В 4 ряду unet 5e-4, te 5e-5, т.е. в два раза медленнее
> Что там кстати по Суйке с видосом и гайдом, сегодня запилишь?
Да
Никто тут эмбединги не тренит
С learning rate поиграйся.
Лоры мерджить возможно?
Да
А с помощью чего и как это делать? Явно же должны быть отличия от мерджа обычных моделей
Поебаться с этим знатно придётся, спасибо
Че там ебаться?
python .\merge_lora.py -h
Он тебе выдаст всю хелпу. Там вроде 4 параметра, это два пути с лорами которые мешаешь и два значения сколько весов взять от каждой из них
А, сначала нужно зайти в виртуальное окружение
.\venv\scripts\activate
Потому что там нужен торч
И возможно запускать надо не так как я сказал, а
accelerate launch .\merge_lora.py -h
но это не точно
Я вот думаю... композицию на реддите уже изобрели - разные промпты для разных прямоугольников. Само по себе дело интересное, кстати. А что там с последовательностью тэгов?
Очевидно же (или я даун?), что на первых нескольких шагах какой-нибудь open_mouth или там detailed face никакого эффекта не даёт, только место в токенайзере занимает. А вот если на предпоследнем шаге рука уже обрезана, то хоть обпишись perfect anatomy в негатив - всё, поздняк.
Или я даун и нейронки работают не так?
Очевидно же (или я даун?), что на первых нескольких шагах какой-нибудь open_mouth или там detailed face никакого эффекта не даёт, только место в токенайзере занимает. А вот если на предпоследнем шаге рука уже обрезана, то хоть обпишись perfect anatomy в негатив - всё, поздняк.
Или я даун и нейронки работают не так?
Хз, мне кажется что промт генерируется целиком как есть, и важно чтобы на каждом шаге присутствовал он целиком. Ведь допустим если ты с помощью конструкции [:open mouth:0.9] попробуешь в последних шагах открыть персонажу рот, вряд ли что-то выйдет, картинка уже обесшумлена и нейронка не знает что с этим тегом делать, генерация почти готова. Или наоборот, если с помощью [open mouth::0.1] ты попробуешь на начальных шагах открыть персонажу рот, чтобы тег не занимал место, тебе остается лишь надеяться, что так оно и останется до конца генерации, потому что как только этот тег пропадет, нейронка будет вольна нарисовать что угодно. Моё виденье
Бля тредом случайно ошибся
Освободил себе 80+ гигов на диске. Охуенно еще если и модели стали более прямые то кайфарик
aiнанасы подскажите кто освоил тренировку лора по реальным лицам, не онеме. что лучше по датасету - картинки, описание? по настройкам? цель txt2img, с минимальным влиянием на всё кроме лица.
ебусь с этой хуйнёй который день, сходство пока не то, что хотелось бы.
или может как-то надрочить текстовую инверсию на кастомных чекпоинтах?
ебусь с этой хуйнёй который день, сходство пока не то, что хотелось бы.
или может как-то надрочить текстовую инверсию на кастомных чекпоинтах?
Кароч запиндюрил гайдецкий, наверное лучший сравнивая с предыдущими, но и самый длинный. Хотел запилить что-то типа субтитров с объяснением почему я так сделал и т.п., но у меня уже болит очко от этого попенсорса и я после 3 софтин сдался, поэтому если че непонятно спрашивайте здесь.
Видос: https://drive.google.com/file/d/1W2dgALDYwHEgrdQ87DRc5OQarqmUjAYX/view?usp=share_link
Лора, теги, датасет, настройки: https://drive.google.com/drive/folders/1id7K_EkOOdvRVsRfpFCLk9O-WoqIXQx0?usp=share_link
Таймкоды: 00:00-19:18 собираю датасет, 22:07-38:02 сортирую концепты, кропаю изображения, доделываю работу за хуйдожников, 39:21-50:25 вожусь с тегами, 50:38-51:32 решаю сколько повторений выставить на каждый концепт, учитывая количество изображений в каждом из них, 51:32 и далее в принципе можно скипать, там ресайз пикч, подбор настроек, классическая ебатория с поиском рабочего ГПУ, обучение и видос обрывается с ошибкой, кек
мне так понравилась Суйка в исполнении nishiuri, кайфарик
> Скорость обработки
Чего
> от размера окна
Какого
>Освободил себе 80+ гигов на диске
Сейм. Кстати vae тоже можно сдуть
Я жопича натренил, в принципе получилось сносно учитывая шакальность изображений. Даже перетренил, слишком похож при весе 1.0, приходилось понижать
По датасету всё как обычно: разные выражения лиц, освещение, фоны, одежда, ракурсы, портреты/полный рост и т.п. В общем чтоб какое-то разнообразие было. Настройки дефолтные я думаю, unet lr 1e-4, te lr 1e-5, network_dim 32, network_alpha 16-32, что там еще... clip_skip 1, scheduler cosine, shuffle_caption вкл. да и всё в целом, должно работать
Видос: https://drive.google.com/file/d/1W2dgALDYwHEgrdQ87DRc5OQarqmUjAYX/view?usp=share_link
Лора, теги, датасет, настройки: https://drive.google.com/drive/folders/1id7K_EkOOdvRVsRfpFCLk9O-WoqIXQx0?usp=share_link
Таймкоды: 00:00-19:18 собираю датасет, 22:07-38:02 сортирую концепты, кропаю изображения, доделываю работу за хуйдожников, 39:21-50:25 вожусь с тегами, 50:38-51:32 решаю сколько повторений выставить на каждый концепт, учитывая количество изображений в каждом из них, 51:32 и далее в принципе можно скипать, там ресайз пикч, подбор настроек, классическая ебатория с поиском рабочего ГПУ, обучение и видос обрывается с ошибкой, кек
мне так понравилась Суйка в исполнении nishiuri, кайфарик
> Скорость обработки
Чего
> от размера окна
Какого
>Освободил себе 80+ гигов на диске
Сейм. Кстати vae тоже можно сдуть
Я жопича натренил, в принципе получилось сносно учитывая шакальность изображений. Даже перетренил, слишком похож при весе 1.0, приходилось понижать
По датасету всё как обычно: разные выражения лиц, освещение, фоны, одежда, ракурсы, портреты/полный рост и т.п. В общем чтоб какое-то разнообразие было. Настройки дефолтные я думаю, unet lr 1e-4, te lr 1e-5, network_dim 32, network_alpha 16-32, что там еще... clip_skip 1, scheduler cosine, shuffle_caption вкл. да и всё в целом, должно работать
>Чего
Картинки
>Какого
Картинки
>Что скажете по вот этому поводу?
Всегда делаю прунинг любой говномодели скачанной. Ну и клипфикс попутно, хотя его можно и в MBW плагине форс резетнуть потом если для смешивания модель берется.
Я все нормально сделал? Это адекватная погрешность изменений?
Если это с галочкой на клипфикс, то - да, примерно такая разница в результатах и будет, должна в целом моделька стать чуточку "лучше" или "точнее".
Если без галочки, то - хз, скорее не норм. Но обычный Anything 3.0 это особый случай. Вроде не раз писали про разницы fp16 и fp32 на Эни, я в подробности не вдавался, потому что уже миксы варил тогда.
Привет всем, подскажите что за нахрен?) Как исправить?
Грубо говоря, я просто нажал load модель, он выдал мне инфу и что он изменит, я нажал save. Я все сломал как-то?
В advanced ничего не трогал. Как вообще эта "галочка" выглядит? Это 3й компонент?
Галочка в настройках глобальных есть.
Ааа, понял, да, я применял её!
>Model will be fixed.
Это с галкой, клипфиксом. Если не отмечать её в самом низу настроек, то будет просто сокращение размера модели, без исправления
>CLIP had incorrect positions ...
Пруня кста факапит модель, один дебик допрунькался, что у него апельсин кал стал генить
Увеличить файл подкачки. Хотя бы 30 гб сделать
Я сравнивал модели, выход одинаковый
Вы как, фиксите клип или нет?
Нихуя этот тулкит обновился мощно, показывает теперь тензоры говеные. А когда в сам автоматик эта галочка успела вообще попасть, не знал про нее. Есть вообще отличия такого фикса от ALL_A + reset в блок мерджилке?
Это ты про понижение точности до фп16?
Я - да.
Обсер с числами с плавающей точкой не мог быть сделан специально, шоб "лучше было". Это из-за миксования повылезало.
Но тут на твое усмотрение на самом деле.
До того как сюда ссыль кидать, на 3-ех моделях протестил. Butter (yohandiffusion на хаггине, микс оранжа и еще чего-то), капуста на эни 4.5 и еще какая-то модель. Без клипфикса просто пруня в fp16 ничего не поменяла, разница микроскопическая.
Причем в оранжах каких-то вообще тензоры везде ровные, а GorynichMix 1.1 показал примерно 15 неправильных.
>А когда в сам автоматик эта галочка успела вообще попасть, не знал про нее
Я тоже, лол. Даже сначала подумал, что это расширение само добавило.
>Есть вообще отличия такого фикса от ALL_A + reset в блок мерджилке?
У меня ни одной модели с фиксом через мердж не осталось, всего один раз делал, не проверить. Если ради эксперимента кто-то сравнит - будет балдеж.
Да, попробовал убрать галку и запрюнить модель опять, результат изменений теперь околонулевой. И нравится больше результата с галкой. Ладно, пока просто облегчу модели без изменений клипа, пожалуй, а то памяти на дисках не осталось почти.
ебать благодарствую, два чая достойному господину
вопрос еще по количеству пикч в датасете. где-то встречал мнение, что для лора надо 9 или 16. вот прям так. хз почему. сколько сам используешь?
Суйка вообще огонь. Лицо довольное как на пикриле. Спасибо тебе большое, за лору и за гайд, буду пользоваться как референсом, если чего не понятно будет
А можешь рассказать про планировщики, ну или направить где про них можно почитать? Ну там в чем отличие, когда какой стоит использовать, что за разогрев и тд?
Пикчи, как понял лучше всё таки обрезать на главном, корректировать цвета, и подгонять под 512 по стороне
Почему кстати юзаешь в 10 раз меньшую скорость ТЕ в итоге, лучше работает?
Тоже словил этот баг сейчас кстати, только в промпте лора сработала
Простыня
> ебать благодарствую, два чая достойному господину
Спасибо, рад помочь
> вопрос еще по количеству пикч в датасете
Сложный вопрос на самом деле для меня. Я всегда подготавливаю датасет тыкая пальцем в небо. Сколько получится, столько получится. В гайде датасет был примерно 50 пикч и он прокатил, нейронка персонажа поняла, на теги отзывается. Но бывает такое, как например вчера со стилем художника, тоже 50 пикч датасет, но те что помладше в одной рисовке, те что постарше, пару лет назад - в другой. И всё в одной куче. Ну и соответственно результат мне не очень понравился, и лосс во время обучения был большой. Потом я в 4 раза уменьшил датасет, оставил только пикчи которые видно что объединены общим стилем и перетренил. И вот тогда мне понравился результат. Мы конечно с аноном поспорили на эту тему, но я говорю чистое имхо
Но есть важный нюанс с количеством пикч в датасете, чем меньше пикч, тем менее разнообразен датасет и это в свою очередь приводит к тому, что генерации получаются либо очень похожими друг на друга, либо очень сильно напоминают какую-то пикчу из датасета. Я такое не люблю, поэтому целюсь всегда на хотя бы 20 пикч, это такой минимум для меня. А дальше - если получается найти годный контент, пихаю еще, если не получается - останавливаюсь на том что есть
Важное правило в обучении нейронок (и это не только лоры касается) - говно на входе = говно на выходе
> что для лора надо 9 или 16
9 или 16? Первый раз слышу, кек. Шизотерика какая-то. У меня в датасетах бывало от 10 до 70 пикч, да и нормально всё
> Спасибо тебе большое, за лору и за гайд
Спасибо, приятно
> Пикчи, как понял лучше всё таки обрезать на главном, корректировать цвета, и подгонять под 512 по стороне
Это всё лично мой "воркфлоу". Это на самом деле всё делать необязательно:
Обрезал я только верхнюю часть тела, потому что чем меньше площадь информации на изображении, тем легче нейронке это запомнить. По крайней мере мне так кажется. Но это логично приведет к тому, что в полный рост персонажа сгенерировать будет не так просто. По-хорошему, всё что я обрезал нужно было еще и из тегов удалить, но это очень муторно и долго и не факт что будут какие-то значительные положительные изменения по итогу
Корректировал цвета я чтобы нейронка не охренела от палитры цветов. На одном пике волосы насыщенно рыжие, на другом светлые и бледные, а я хотел, чтобы на генерациях волосы были такие прям ух, поэтому притемнял изображения и чутка подкручивал насыщенность
Подгонял я примерно под квадрат хз почему, тоже кажется что так лучше. Типа сд тренилась на квадртаных 512px пикчах, всё такое. Я не то чтобы всегда так делаю, главное всегда по возможности стараюсь отойти от прям супер вытянутых 10:1 пикч, потому что все равно обучалка подожмет эту пикчу к 512 пикселям по длинной стороне. Но кстати говоря тренить можно не только на квадратах, можно даже так: resolution="512,1024"
> Почему кстати юзаешь в 10 раз меньшую скорость ТЕ в итоге, лучше работает?
Не раз встречал низкие значения скорости обучения ТЕ во всяких репозиториях, и вообще функция тренировки ТЕ не в каждом виде обучения существует, по-моему даже в дримбузе такого раньше не было (могу ошибаться). Плюс к этому выяснил, что количество обучаемых параметров ТЕ больше чем параметров UNet в случае с лорой, соответственно ей не нужна такая же большая скорость обучения. Я видел результаты на высокой скорости ТЕ, всё очень плохо кончается. Исходя из вышесказанного со спокойной душой ставлю скорость ТЕ в 5-10 раз меньше скорости UNet
> А можешь рассказать про планировщики, ну или направить где про них можно почитать?
Про планировщики максимально детально в шапке в лорагайде есть, и в том числе что за разогрев. Как говорят умные дяди, разогрев чаще всего не нужен, если ты только не знаешь что делаешь. Я и так и сяк экспериментировал, но так ни к чему особо и не пришёл
Касаемо планировщика, мне понравился cosine, мне не понравился cosine_with_restarts и кто-то еще сказал обходить constant стороной, если лору тренишь
> ебать благодарствую, два чая достойному господину
Спасибо, рад помочь
> вопрос еще по количеству пикч в датасете
Сложный вопрос на самом деле для меня. Я всегда подготавливаю датасет тыкая пальцем в небо. Сколько получится, столько получится. В гайде датасет был примерно 50 пикч и он прокатил, нейронка персонажа поняла, на теги отзывается. Но бывает такое, как например вчера со стилем художника, тоже 50 пикч датасет, но те что помладше в одной рисовке, те что постарше, пару лет назад - в другой. И всё в одной куче. Ну и соответственно результат мне не очень понравился, и лосс во время обучения был большой. Потом я в 4 раза уменьшил датасет, оставил только пикчи которые видно что объединены общим стилем и перетренил. И вот тогда мне понравился результат. Мы конечно с аноном поспорили на эту тему, но я говорю чистое имхо
Но есть важный нюанс с количеством пикч в датасете, чем меньше пикч, тем менее разнообразен датасет и это в свою очередь приводит к тому, что генерации получаются либо очень похожими друг на друга, либо очень сильно напоминают какую-то пикчу из датасета. Я такое не люблю, поэтому целюсь всегда на хотя бы 20 пикч, это такой минимум для меня. А дальше - если получается найти годный контент, пихаю еще, если не получается - останавливаюсь на том что есть
Важное правило в обучении нейронок (и это не только лоры касается) - говно на входе = говно на выходе
> что для лора надо 9 или 16
9 или 16? Первый раз слышу, кек. Шизотерика какая-то. У меня в датасетах бывало от 10 до 70 пикч, да и нормально всё
> Спасибо тебе большое, за лору и за гайд
Спасибо, приятно
> Пикчи, как понял лучше всё таки обрезать на главном, корректировать цвета, и подгонять под 512 по стороне
Это всё лично мой "воркфлоу". Это на самом деле всё делать необязательно:
Обрезал я только верхнюю часть тела, потому что чем меньше площадь информации на изображении, тем легче нейронке это запомнить. По крайней мере мне так кажется. Но это логично приведет к тому, что в полный рост персонажа сгенерировать будет не так просто. По-хорошему, всё что я обрезал нужно было еще и из тегов удалить, но это очень муторно и долго и не факт что будут какие-то значительные положительные изменения по итогу
Корректировал цвета я чтобы нейронка не охренела от палитры цветов. На одном пике волосы насыщенно рыжие, на другом светлые и бледные, а я хотел, чтобы на генерациях волосы были такие прям ух, поэтому притемнял изображения и чутка подкручивал насыщенность
Подгонял я примерно под квадрат хз почему, тоже кажется что так лучше. Типа сд тренилась на квадртаных 512px пикчах, всё такое. Я не то чтобы всегда так делаю, главное всегда по возможности стараюсь отойти от прям супер вытянутых 10:1 пикч, потому что все равно обучалка подожмет эту пикчу к 512 пикселям по длинной стороне. Но кстати говоря тренить можно не только на квадратах, можно даже так: resolution="512,1024"
> Почему кстати юзаешь в 10 раз меньшую скорость ТЕ в итоге, лучше работает?
Не раз встречал низкие значения скорости обучения ТЕ во всяких репозиториях, и вообще функция тренировки ТЕ не в каждом виде обучения существует, по-моему даже в дримбузе такого раньше не было (могу ошибаться). Плюс к этому выяснил, что количество обучаемых параметров ТЕ больше чем параметров UNet в случае с лорой, соответственно ей не нужна такая же большая скорость обучения. Я видел результаты на высокой скорости ТЕ, всё очень плохо кончается. Исходя из вышесказанного со спокойной душой ставлю скорость ТЕ в 5-10 раз меньше скорости UNet
> А можешь рассказать про планировщики, ну или направить где про них можно почитать?
Про планировщики максимально детально в шапке в лорагайде есть, и в том числе что за разогрев. Как говорят умные дяди, разогрев чаще всего не нужен, если ты только не знаешь что делаешь. Я и так и сяк экспериментировал, но так ни к чему особо и не пришёл
Касаемо планировщика, мне понравился cosine, мне не понравился cosine_with_restarts и кто-то еще сказал обходить constant стороной, если лору тренишь
>для лора надо 9 или 16. вот прям так. хз почему. сколько сам используешь?
15, это оптимальное число. Еще заметил, что если палец в очко себе сунуть и понюхать, то модель никогда не оверфитится.
Обзмеился
Новый гайд на блок-мерж моделей.
https://rentry.org/BlockMergeExplained
https://rentry.org/BlockMergeExplained
Нихуя, красава. Добавлю в шапку
жаль не на русском
О, допилен чтоли наконец, я ж его ещё в позапрошлом треде скидывал
Хороший видос (наверное), но как же эта хуйня пугает теперь. Смотришь и унываешь с количества ебли.
Прочитай выше что написал. Датасет мог быть в два раза меньше и все что я делал с пикчами делать необязательно, это опция
для лоры не обязательно кропать изображения
>Пруня кста факапит модель, один дебик допрунькался
Норм всё, прунькнул оранж все воркс перфект вери вел.
Особые отличия в точности видны на хорошо описанных промтах и/или на высоком CFG (особенно на нем, там точность улетает в небеса из-за самого функционирования CFG), либо на каких-то простых промтах типа loli, woman с начальными сидами от 1 до 10.
Фиксирую.
>А когда в сам автоматик эта галочка успела вообще попасть, не знал про нее.
Так в автоматике и нет ее по дефолту. Может в будущем добавит функцию в мерджер, или вообще MBW впиздячит сразу.
>Есть вообще отличия такого фикса от ALL_A + reset в блок мерджилке?
Тоже самое, но без прунинга.
А если сунуть не себе? А если сунуть себе, а дать понюхать кому-то другому? А если чужой палец?..
Пытливость ума - основа технического прогресса!
Да не, ну не настолько. На уровне "первая половина, вторая половина" хотя бы.
Мамке сунь. Только смотри без сычевальни не останься.
> Типа сд тренилась на квадртаных 512px пикчах, всё такое
Именно это меня и насторожило, когда гайд читал, вроде до этого всегда обрезали пикчи, будь то будка, гипер или эмбед, наверное тоже буду заморачиваться, благо в этой вьювер мокропиське ты показал как это можно запилить по быстрому.
Чет пока смотрел вот с этой херни аж в голос: https://danbooru.donmai.us/posts/3187506
Видимо тематическое музло и пальчик в очке прибавляет к успешности лоры на выходе
> resolution="512,1024"
Кстати заметил эти параметры в твоём конфиге, они типо отвечают за кроп изображения как раз до определённого разрешения, если оно превышено, во время тренировки, или как?
Алсо зачем фиксированный сид, это как-то важно для тренинга?
> Про планировщики максимально детально в шапке в лорагайде есть, и в том числе что за разогрев.
Понял, в первый раз как читал гайд мало обратил внимание на них
> Спасибо, приятно
Всё таки ты реально охуенен анон, кстати приятно не тебе одному :3 лорка нормально натренилась и годно миксуется с концептами с форчка
>Или я даун и нейронки работают не так?
Нейронка в момент прожатия генерейта уже знает че она будет собирать из шума. Твоя задача подобрать болиелимение сильный сид и крутить потом варсид чтобы поверх сида ролить с нужной тебе комбинацией, на этапе варсида можешь менять промт, и чем выше цфг тем проще нароллить нужное (особенно когда существует CFG фикс теперь, на котором можно 30 CFG крутить не только на конском разрешении но и на микрописьках без бернинга)
> вроде до этого всегда обрезали пикчи
Скрипт китайца поддерживает бакетинг (что-то типа автоподстройки разрешения), поэтому кроп опционален
> в этой вьювер мокропиське ты показал как это можно запилить по быстрому
Возможно есть еще более удобный метод "квадратирования" изображений, в гайде по лоре 4-ый совет по сборке датасета, там другая мокрописька
> Чет пока смотрел вот с этой херни аж в голос
Да там на самом деле много годноты было. Интересно че если на всяком подобном говне натренить лору
> они типо отвечают за кроп изображения
resolution отвечает за бакетинг изображений и как бы по сути является разрешением тренировки. Больший resolution позволяет зацепить больше деталей + можно генерировать на большем разрешении
> Алсо зачем фиксированный сид, это как-то важно для тренинга?
Нет, просто я без скрипта который мне генерирует число, а вписать что-то надо
:з
Как именно лора режет изображения, если я выставляю 512 или 768?
То есть - по центру, или со смещением, или пытается кропать по 512\768 квадратам?
То есть - по центру, или со смещением, или пытается кропать по 512\768 квадратам?
Скорее всего вписывает в квадрат, не изменяя пропорций
Ага, так вот к чему обосрамс с клипом выходит. Сегодня пытался на протогене сделать машину, пишу "car..." и описываю промт детально, в итоге генерю-генерю, и не понимаю чезаХ, вроде всё есть: джунгли на месте, дождь, лужи, туман, а машины-то нету!
https://www.reddit.com/r/StableDiffusion/comments/10baavg/bug_warning_with_some_models_other_than_sd14_like/
https://www.reddit.com/r/StableDiffusion/comments/10baavg/bug_warning_with_some_models_other_than_sd14_like/
Для тренировки лоры обязательно обреезать все пикчи до одинаковых пропорций? Параметр $resolution в скрипте и есть это разрешение?
Я позавчера попробовал НЕ обрезать и получилась какая-то хтонь.
Буквально 3 поста выше
Да, примерно так
ImportError: DLL load failed while importing _pywrap_tensorflow_internal: Файл подкачки слишком мал для завершения операции.
Да сколько ему надо то?! 16 оперативы и кэш 12 гигов. Или что-то подкрутить надо?
Алсо, а на каком диске он его сжираем? На том где скрипт лежит или на системном?
Да сколько ему надо то?! 16 оперативы и кэш 12 гигов. Или что-то подкрутить надо?
Алсо, а на каком диске он его сжираем? На том где скрипт лежит или на системном?
>Да сколько ему надо то?! 16 оперативы и кэш 12 гигов. Или что-то подкрутить надо?
В автомат выстави подкачку.
>На том где скрипт лежит или на системном?
Файл подкачки лежит на системном.
вроде ахуенная лора на Эйрин вышла, модель уже немного знает про неё, так что лора идеально легла на модельку
пик 1 - yagokoro eirin, touhou
пик 2 - yagokoro eirin, touhou + LoRA
Т.е. выдаёт её костюм даже без уточняющих тегов. Ни разу такой лоры не выходило.
пик 1 - yagokoro eirin, touhou
пик 2 - yagokoro eirin, touhou + LoRA
Т.е. выдаёт её костюм даже без уточняющих тегов. Ни разу такой лоры не выходило.
>Т.е. выдаёт её костюм даже без уточняющих тегов. Ни разу такой лоры не выходило.
Возможно, тут дело в крайне простом дизайне самого перса. На какую-нибудь с Сейгу с её заколкой и шалью куда сложнее натренировать лору.
напиздел, лишь иногда выдает без уточняющих тегов
Бляя, в датасет насрали, ну кто так рисует? Из-за этого иногда пикрил расцеветовку выдаёт...
на стиль худа, на 50 картинок кручу 6400 шагов, использую настройки 1060-анона и мокрописю версии 0.3.1
[red dress|blue dress]
Работает лучше всего
>Т.е. выдаёт её костюм даже без уточняющих тегов. Ни разу такой лоры не выходило.
У тебя точно на всех пикчах костюм протеган?
Хз, не чекал.
А чекать чем кста можно? В видел у тебя мокрописю на это.
Я не он, но я бы чекнул в мокропиське для автоматика датасет тег эдитор.
Ссылочку реквестирую
В расширениях есть
Ну это конечно хорошо, что есть расширение для каломатика, но у него прям программа отдельная, вот бы её название
тут использует
Да что за хуета, боже бля, я специально подбирал те пикчи, где эти триграммы правильно и их хорошо видать и в итоге все равно дерьмо... Пиздец, зато на других лорах повторяет рисунки на одежде хорошо. Я ебал, много тох оттренил, а свою вайфу не могу...
yin yang, trigram проставлены в caption, но реагирует на эти теги совершенно ненормально, что за хуета
Недотрен/неподходящая скорость обучения
16 эпоха у меня перетренирована. Пикрил, 12 вроде нормальная. Мне со скоростью обучения играться? Я на 0.3.1, если что
> Мне со скоростью обучения играться?
Ну как вариант. Ничего особо не остается. Правда я не знаю в какую сторону - на понижение или на повышение. Я бы наверное сперва понизил скорость обучения unet и увеличил длительность тренировки, чтобы сеть успела запомнить концепт, но не перегрелась. Также и обратное может в теории сработать - повышение скорости и уменьшение времени тренировки
Я попробую отдельную лору на trigram обучить, и пускать её вместе с лорой на Юкари
Ну попробуй :)
Никогда так не делал, покажешь потом что получилось
кто нибудь сравнивал лору и хайпернетворк на одинаковых датасетах. лора тоже самое только быстрее?
После обновы стало сыпать ошибками как на новых моделях, так и на старых. Но при этом сам вебуй работает как раньше, картинки генерит. ЧЗХ?
Поставлю 1280 шага на 10 изображений, т.е. 16 эпох и 8 повторений.
Автоматик момэнт. Радуйся что работает.
Ой, у меня 9 изображений, но да похуй, схватится
Попробуй добавить более общие виды
Согласен, что-то у меня плохое предчувствие
Не уверен, что лора тогда схватит этот концепт, а не начнет все тело схватывать за триграмму
Сколько эпох у вайфудифужена будет?
Хару конкретно не говорил. Но я давненько не заходил в его конфу
На пике вероятно устаревшая инфа, как минимум потому что wd 1.4 основана на sd 2.1
Грустненько. Раньше всё как часы работало.
Мне кажется, что сетка должна понимать контекст. Я не говорю про полную замену датасета, но разбавть паров более общих планов стоит.
0.05 нихуя себе
Дикий перетрен?
Короче думаю надо переименоваться в Stable Diffusion ТЕХНОТРЕД
Потому что вечно вижу вопросы в смежных тредах которые должны быть тут. Не знаю насколько сильно это поможет, просто есть мысли что не все кто заходят на доску понимают по заголовку что мы тут конкретно про sd говорим. Чё скажете?
Охуенный трен/перетрен, да
Потому что вечно вижу вопросы в смежных тредах которые должны быть тут. Не знаю насколько сильно это поможет, просто есть мысли что не все кто заходят на доску понимают по заголовку что мы тут конкретно про sd говорим. Чё скажете?
Охуенный трен/перетрен, да
Так, куда смотреть
триграмы, вот правильные
Вопрос по теггингу для гиперсети (именно hypernetwork, не лоры): вот хочу я обучить персонажа допустим только внешку/вместе с одеждой, аксессуарами. Для первого случая мне в тэгах нужно указывать только имя, глаза, волосы и тп. А для второго ещё и промпты для одежды, я правильно понял как это работает? То есть если я не хочу, чтобы что-то на обучающей картинке не ассоциировалось с персонажем, это не нужно указывать? Или всё равно нужно, но просто не вызывать такой промпт при генерации.
Не важно, лора или не лора, принцип везде один. Если ты хочешь внешку персонажа, кропай датасет чтобы было видно только лицо, теги соответственно тоже только про внешность лица. Если надо целиком с одёжкой, тогда не кропай и точно также тегай как и в первом случае, т.е. черты внешности и всю одежду, аксессуары.
Есть еще вариант не прописывать детально например лицо, а придумать любой новый тег и протегать им все пикчи с персонажем где его лицо присутствует, тогда в промте ты сможешь вызвать внешку персонажа просто указав этот тег, не нужно будет детально описывать цвет и форму волос, глаз и т.д. Но в таком случае есть риск что пострадает редактируемость. Тоже самое касется не только лица, некоторые вообще персонажа тренят одним тегом, например его именем, и с помощью это магического тега вызывают его целиком вместе со всеми чертами и одеждой. Но я так не люблю делать, сильно пострадает редактируемость, т.е. поменять одежку будет проблематично а то и вообще невозможно, но если у тебя цель натренировать персонажа как он есть канонично и ты не планируешь в дальнейшем экспериментировать с его внешностью, то я бы так сделал, это и проще и быстрее и результат будет потенциально лучше.
Пиздец, там буквально 6 черт, а художники не могут их запомнить и рисуют кринжатину...
Помимо лоры на табард перерабатываю оригинальный датасет при помощи той самой мокрописюхи, оказывается в половине случаев тега trigram не стояла, в части картинок триграммы были неправильные, все это поправлю и ещё попытаюсь.
Советую alternate tagging mode включить, удобнее тегами ворочать
И цвета включи
Я бы тоже пользовался этой мокрописей, если бы в ней можно было нормально удалять старые и добавлять новые пикчи.
Я бы заебался руками править теги
Ах да, еще разрешение квадрата у тебя 1024 стоит. Наверное, зря?
Просто не надо датасет из 1000 пикч собирать.
Что посеешь то и пожнешь
Да, хорошая софтинка, но нет пару необходимых фич, я например до сих пор не разобрался как резать НЕ квадрат
>как резать НЕ квадрат
Никак))))))
Ее автор дропнул.
Да даже 80 меня уже огорчает
Бля, в ней нельзя теги сохранить без кропа, а кропать я не хочу.
80 и меня огорчает. Стараюсь держаться в районе 50.
>Бля, в ней нельзя теги сохранить без кропа, а кропать я не хочу.
Угу.
Ну попробуй это: https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor
Но лично мне пиздец как неудобно было.
Теперь мне .txt в ручную править
Лицо моё сгенерировали?
Можно
>Бля, в ней нельзя теги сохранить без кропа, а кропать я не хочу.
Скопируй датасет, сделай все через прогу, а потом закинь пикчи обратно с заменой. Она их не переименовывает.
Покажи как
original там еще есть
О, спасибо
Форчан не смог в jackopose, сможет ли двач?
Я уже скоро в датасетах и лорах путаться начну, как же дохуя у меня их скопилось
top-down bottom-up? В чем проблема?
НЕ ЗАБЫВАЕМ СОРТИРОВАТЬ. ЧЕТКО ПОДПИСАННЫЕ ДАТАСЕТЫ В ОДНОМ МЕСТЕ, ЛОРЫ В ДРУГОМ
покаж пример
Еще бы разложить по папкам стили\персы
Пока тут в треде обучают лору, автоматизированную до нажатия трёх кнопок, я пытаюсь в KAIR. Документации или каких-то пояснений ноль. Тренировка с нуля работает, вопросов нет. Но как файнтюнить? Скармливаю netE и netG, так же даю ему дискриминатор, заранее подготовленный на 20к итерациях хотя пишут даже 5к достаточно. В итоге шумоподавление возрастает до неадекватных величин - на 100к уже дикое мыло. Хотя с нуля PSNR с такими же настройками нормально тренируется. Что за ебень?
> KAIR
Шойта
Ух ты ж сколько всего. Никогда ничего подобное не обучал потому что такого навалом в интернетах
Щас попробую лора текстуальную инверсию обучить через скрипт китайца вообще он японец
А то че-то полистал цивит аи, так там такие крутые лица через инверсию получаются у людей. Даже не верится что эта хрень весит меньше мегабайта
Кстати в оригинальном репозитории клона симы уже относительно давно есть опцию тренировки лоры совместно с текстуальной инверсией, типа еще лучше результаты. Но там такая убогая реализация кэпшенов (.txt файлы описаний не поддерживаются, только названия файлов) что я моментально забил. Надеюсь он исправит эту чудовищную ошибку и я благополучно свалю с кохъяскрипта
А то че-то полистал цивит аи, так там такие крутые лица через инверсию получаются у людей. Даже не верится что эта хрень весит меньше мегабайта
Кстати в оригинальном репозитории клона симы уже относительно давно есть опцию тренировки лоры совместно с текстуальной инверсией, типа еще лучше результаты. Но там такая убогая реализация кэпшенов (.txt файлы описаний не поддерживаются, только названия файлов) что я моментально забил. Надеюсь он исправит эту чудовищную ошибку и я благополучно свалю с кохъяскрипта
Я бы только попросил помощи у анонов которые тренили TI, объясните на пальцах по-русски что вписать в эти параметры чтобы вышло грамотно? (пикрел)
Ну num_vectors_per_token в целом понятно, сколько токенов в промте будет занимать эмбединг
А вот что с остальными? Меня сбивает с толку что их два. Одно слово должно быть уникальным (не должно присутствовать в токенайзере), другое - нет. Выручайте
Ну num_vectors_per_token в целом понятно, сколько токенов в промте будет занимать эмбединг
А вот что с остальными? Меня сбивает с толку что их два. Одно слово должно быть уникальным (не должно присутствовать в токенайзере), другое - нет. Выручайте
Нахуя ты этим пользуешься? Всё же есть в автоматике, встроенное.
Зачем мне древнее говно мамонта, если есть лора версия, которая как минимум быстрее? Плюс я буду тренить в облаке, у меня нет доступа к gui
>которая как минимум быстрее?
Ты сравнивал?
>Плюс я буду тренить в облаке, у меня нет доступа к gui
Чел...
> Ты сравнивал?
Нет, но учитывая скорость обучения лора сети по сравнению с гиперсетью делаю такой вывод. Тем более не будет же чел изобретать велосипед, правильно? Какие-то плюсы у его метода есть, и мне очень хочется проверить
> Чел...
Нормально ответить?
>Нормально ответить?
Чел, ты долбаеб. Тут нечего отвечать. Ещё и не сравнивал ничего, но уже линейно экстраполирует.
Судя по тому, что ты вместо ответа на мой вопрос начал рекомендовать мне хуйню о которой я не просил, ты и обычный TI не юзал. Собсна нахуй было вообще что-то писать?
> долбаёб
Погоняло у тебя такое.
У тебя погоняло погоняло, погоняло.
>начал рекомендовать мне хуйню о которой я не просил
Ложь. Я ничего тебе не рекомендовал, спросил просто, почему ты встроенным не пользуешься. В ответ ничего внятного не услышал.
> Ложь.
Окей, я неправ.
> В ответ ничего внятного не услышал.
Окей, сейчас услышишь. В скрипте, который я хочу заюзать есть такие вещи как бакетинг, клип скип, планировщик скорости, сохранение первых N токенов в файлах описаний и еще достаточно полезных функций, но о которых я не пишу потому что конкретно я ими еще не пользовался. Мне эти фичи привычны, я знаю как их применять и получать результат. Всего перечисленного в автоматике нет.
>Всего перечисленного в автоматике нет.
Ты давно вкладку трейна открывал чел? Буквально каждая тобою перечисленная опция в автоматике есть, кроме наверное первых токенов.
Clip skip в настройках есть
Планировщик скорости насколько сложный ты имеешь в виду?
1e-5:1000, 2e-5:2000 - первая тысяча шагов со скоростью 1е-5, вторая тысяча с 2е-5. Вот такое есть в автоматике. Или тебе нужно, чтобы функцией описывать можно было
Конечно не видишь, ты ж вон даже в облаке захостить автоматик не можешь.
> Clip skip
Это понятно что он есть, но действительно ли он работает как должен работать в случае обучения? Какая гарантия что этот ползунок не исключительно для генераций?
> Или тебе нужно, чтобы функцией описывать можно было
Да, привычнее просто cosine вбить
Автолахта спок
https://github.com/lucidrains/muse-maskgit-pytorch
Пробовал кто?
Пробовал кто?
Были ли на гугл коллабе какие то вариации шедоу банов?
Конечно все может обьясняться элементарно криво вставшими моделями и кривыми руками, а то и вообще ошибками восприятия но мне КАЖЕТСЯ, что на одном аккаунте у меня результаты генерации слишком глючат.
Не худе лучше, а именно горы сбоев, черные картинки, месиво цветов, значительно худшее объективное качество.
И это мой второй как бы фейковый акк, на тот который идет основным, такой хуйни нет.
Конечно все может обьясняться элементарно криво вставшими моделями и кривыми руками, а то и вообще ошибками восприятия но мне КАЖЕТСЯ, что на одном аккаунте у меня результаты генерации слишком глючат.
Не худе лучше, а именно горы сбоев, черные картинки, месиво цветов, значительно худшее объективное качество.
И это мой второй как бы фейковый акк, на тот который идет основным, такой хуйни нет.
conspiracy
Алсо в качестве рекламы: авторы статьи обещаются, что у них получаются результаты на их модели лучше, чем с помощью сд, но при этом быстрее.
Когда для ретардов запилят, попробую. А пока там ебля какая-то как я вижу
Как я понял там нужно всего лишь обучить свою модель, а дальше хуйня дело.
Там написано обучить VAE, если судить по архитектуре стейбол дифьюжен то это не все, это лишь один из компонентов. Но скорее всего у Muse другая архитектура. Так что да, остается походу ждать натренированную модель и гуй
А есть какие-нибудь таблицы сравнений, сколько при тренировке лоры n в названии папки ставить, в зависимости от количества пикч в датасете, их качества и тд? Если папка всего одна. Или так, примерно силой прочувствовать?
Силой. Я целюсь примерно на 1500 шагов при стандартной скорости обучения и батч сайз 1. Нередко попадаю с первого раза
1500 на 1 эпоху или 10?
Я последний раз 6ку на ~200 пикч поставил, 12к шагов было. Не перебрал ли.
1500 как суммарное количество шагов, не на эпоху
Значит все же пербор. Спасибо, попробую.
Ну я с такими большими датасетами не работал, забыл сказать. Тонкостей не знаю
Кто-нибудь делал сравнение, какое значение gradient accumulation лучше использовать? У меня 3050, batch size выше 1 не запускает. Я пытался сравнить на датасете из 20 картинок. Ставил значения 1,5,20 при прочих равных. Выходило по-разному, не могу сказать что что-то лучше или хуже.
> Выходило по-разному
Ты на одном сиде пробовал?
https://huggingface.co/docs/accelerate/usage_guides/gradient_accumulation
По сути не должно быть различий
не, пиздец, ему похуй вообще на мои попуки, я в датасет даже кропы этих триграм включил, кропы табарда, а ему поебать
Как понять файл fp16 или fp32?Если в имени файла не подписано?
По размеру. 4гб 32, 2гб 16
оранж 6 гб фп16 оправдывайся
Но стало получше, возможно, надо именно кропы табарда включать в датасет, чтобы модель понимала положение этих триграмм вообще. Но мне пока что лень, т.к. весь остальной котюм выдает правильно.
Значит еще что-то внутри. EMA
МОгу ли я пропатчить данное расширение и как то выводить это?Есть идеи? Как я вижу оно не пишет сейчас?
я про fp16 или fp32.Что бы не только по имени файла
Хз, я скачал вчера и оно так выводит, можешь удалить из папки расширение и заново его установить
Что бы не только по размеру,оговорился
Ну расширение проанализировало структуру модели, и вычислила те компоненты, что к модели не относятся
pix2pix же удобная штука, вот бы его и в аниме-модели
Короче в попу трахал эти текстовые эмбеды, 15 раз перетренивал, дотренивал и нихуя
Я же говорил тебе что это дерьмо мамонта устаревшее
Оно нормальное, но очень придирчиво к настройкам и датасету. На цивите охуенные эмбеды с актёрами повыкладывали, супермегаредактируемые, работающие с любой сд 1.х моделью. И я как увидел сразу полетел тестить, но датасет на жопиче говно потому что хайрез пиков с ним не существует в природе, соответственно шансы натренить нормальный эмбед нулевой
>потому что хайрез пиков с ним не существует в природе
А как же апскейл?
мыльный жопич даже реалистичнее
> А как же апскейл?
Бля, а что есть прям хорошие апскейлеры, которые могут восстановить детали на лице? Я не в курсе. Конечно бы проапскейлил, если б знал чем. Да и вообще инфа про апскейлеры в шапке бы пригодилась
че ваще на порноактрис лор не тренируют чтоли?
а нахуя вообще? тебе среншин импекта мало?
На оранже можно тренить?
Кто-то запретил?
3дпд.
што
в смысле нахуя? столько закончивших карьеру актрис такто есть годных, а анимеговно нинужно
Удачные примеры с настройками есть?
Алсо, какой минимум картинок для хоть какого-нибудь результата? Хочу попробовать вкатиться но сначала просто проверить что работает.
Я лоры не тренил, но тренил эмбеддинги. Я не тестировал, но подозреваю вот что:
а) Модель должна уметь воспроизводить тот стиль, что на пикчах в датасете. Если модель это делает по умолчанию или в датасете вообще пики непосредственно с модели, то тегать в датасете стиль не нужно. Если модель умеет воспроизводить стиль, но для этого нужно прописать тег, то в датасете на соответствующих пикчах должен быть проставлен тег.
б) Модель должна быть достаточно популярной, чтобы большая её часть находилась в популярных миксах.
Пункт а) нужен, чтобы сеть усвоила концепт, а не стиль или ещё хуйню какую-нибудь.
Скорее всего это для лор тоже применимо.
Чет на одном пике мешки, на другом нет.
Как поставить, сколько врам надо?
а лоры норм тренятся на прунед моделях?
С небольшой пляской получилось на 6 гб. Как поставить в репо написано, 3 команды выполнить, пару файлов скачать и в папку закинуть
Лоры тренятся с точностью fp16/bf16
А дайте норм настройки для запуска тренинга лоры плис, ну чтобы те которые у вас работают хотя бы
ну норм, у меня все в fp16
Спс, но как прописать это
scheduler cosine, shuffle_caption вкл
scheduler в lr_shceduler.
shuffle_caption у тебя и так включен.
>scheduler в lr_shceduler.
Это я понял, а прописать просто cosine вместо cosine с рестартами или как?
Да.
Бля, слуш, там гайд в шапке на русском языке, прочитай его пожалуйста.
Я читаю, но он не про колаб, а вопросики нубасные все равно есть конкретно по колабу.
Например вот эти две папки, я правильно понял что кропы с описанием кидатьв первую папку, а что во вторую?
кумероблядина, потише
А понил, рег папка нинужна получается.
зачем тренировать онеме, если они все на одно литсо? никогда нипанять
>На цивите восхитительные эмбеды с актёрами повыкладывали, супермегаредактируемые, работающие с любой сд 1.х моделью.
Так-так-так, то есть если некая ЕОТ постит селфачи в хорошем качестве в своих соцсеточках, то... сколько там надо лицефоток для тренинга инверсии? И как их готовить? А если есть лица не в 512х512, а в 768х768?
Кто-нибудь пробовал? Или там нужен одинаковый макияж, причёска, образ и вот это всё?..
> 38 секунд
> лоссы норм?
Я не уверен что кто-то знает ответ
не ну в целом чтото проглядывается от сета джинксины который я юзал
А сколько эпох оптимально крутить?
Блядь, неужели нет нормальной мокрописьки чтобы пройтись по папкам с пикчами и создать текстовики с описаниями от BLIP'а? Пиздец, что не найду, одно нерабочее говно.
>пройтись по папкам с пикчами
Ты там промышленное производство лор налаживаешь?
всмысле нет? я жинксу через дофолтный препроцесс на пике пустил и все, потом в каждом добавил тег на жинксу и скормил трейнеру
По папке*, извиняюсь
Блять, точно, как вариант, спасибо. Плохо только что никаких настроек интеррогейта и нет выбора модели
>и нет выбора модели
а че блипов больше чем один?
Молодец!
можно просто скочять и название заменить наверно
чем тебя стандартный блип не устраивает то, он неплохо тегает
Клип > блип
С плагином кохйи лутше конечно ебашит даже с 100 эпохами
А поясните, вот натренилось с окнами из сета, они так и будут срать в изображение или как-то фиксануть можно?
> А поясните, вот натренилось с окнами из сета, они так и будут срать в изображение
Какой датасет, такие и генерации
Ладно. А если допустим отделять тело от фона? Или лучше просто лицо тренить онли?
> А если допустим отделять тело от фона?
Будут генерации без фона
> Или лучше просто лицо тренить онли?
Будет только лицо
Ну и смысол лоры тогда лол
Не знаю. Люди как-то тренят и у них получается
Добавь окна в теги.
Это не сработало, но сработала какаято магия с переименованием safetensors в pt лол, еще и генерации пиздатее стали.
Нах ты текст энкодер в -1 выкрутил
Хочица
А не, это похоже так реагирует на голый кейворд, печально
Кароче, мердж стоэпошной джинксы с моделью базой вроде работает (характерные круглые серьги по тегу генерит), но очевидно надо дрочить тыщи эпох для уберточности для мерджа.
Дед, угомонись.
короче я ни хуя не понял как оно работает и меня это заебало
Анон который знает как тренировать лору, расскажи что делаю не так?
В гайдах пишут что в Instance Token пишется тег, который будет потом в промте включать натренерованный стиль или обьект. В Instance Prompt, Class Prompt, Sample Image Prompt - теги из .txt из датасета.
Но у меня после тренировки модель рисует натренерованные детали и стили сразу в любой промт даже без тега eyrt из поля Instance Token, т.е. датасет намазывается на всю модель.
Сам eyrt один в качестве промта может рисовать несвязанный с датасетом рандом.
Что я делаю не так?
В гайдах пишут что в Instance Token пишется тег, который будет потом в промте включать натренерованный стиль или обьект. В Instance Prompt, Class Prompt, Sample Image Prompt - теги из .txt из датасета.
Но у меня после тренировки модель рисует натренерованные детали и стили сразу в любой промт даже без тега eyrt из поля Instance Token, т.е. датасет намазывается на всю модель.
Сам eyrt один в качестве промта может рисовать несвязанный с датасетом рандом.
Что я делаю не так?
Прости, это устаревшее багованное говно, могу помочь только если тренишь через скрипт китайца
Это вроде свежее. Скрипт китайца это какой?
sd-scripts от kohya-ss
А как там задать на конкретный тег включение натренированых деталей? Какие настройки?
Не совсем понимаю о чём ты. Всё что касается сборки датасета находится в гайде.
Датасет и так собран.
Неясно, как задать активацию стиля в промте в txt2img на конкретный уникальный тег.
Вот например: по гайду из сделать лору и чтобы при
1girl, standing - не рисовалась суйка или любые другие черты и стили из датасета, которые натренила лора
а при
1girl, standing, ibs - рисовалась суйка или её черты и стили
Так не получится, если теги
> 1girl, standing
есть в файлах описаний. Учитывая что 1girl скорее всего находится в каждом файле, сеть непременно будет ассоциировать внешность с персонажа с этим тегом.
А как же это работает тогда?
Например, тренировка на стиль артиста, которому хочется сделать уникальный тег.
А оно будет в итоге включаться на 1girl ?
Может это как-то конфигурируется? Ведь смысл-то весь в том, чтобы на конкретный тег натренировать, а не на 1girl и прочее, которое в каждом файле...
Бессмысленно проставлять тег 1girl в каждом файле. Нейронка не учится на тегах, она вообще не понимает что это такое, нейронка учится на различиях. Если бы у тебя была половина пикч с 1girl и другая половина с 1boy, нейронка бы прекрасно поняла как генерировать и то и другое, потому что она запомнила различия.
Если ты хочешь один уникальный тег на вызов персонажа, убирай из всех файлов описаний общее и заменяй убранное на один придуманный тобой тег.
> Если ты хочешь один уникальный тег на вызов персонажа, убирай из всех файлов описаний общее и заменяй убранное на один придуманный тобой тег.
Гипернетворки и эмбединги так и работали. Там была строка для ввода главного тега, и по нему потом они подтягивались в txt2img:
-сеть берет описание из файла, генерит картинку, ассоциируя ее с уникальным тегом.
-сравнивает ее с картинкой с датасета:
---Если далеко - получает по башке. В следующий раз старается сделать иначе.
---Если близко - получает печеньку. В следующий раз старается сделать похоже.
и т.д.
В результате по уникальному тегу оно включало натренерованные стили/обьекты.
А тут как оно будет генерить по описанию, чтобы сравнить, если описание - уникальный придуманный тег который не рисует по описанию, а рандом?
Ой бля пиздец сложна.
> сеть берет описание из файла, генерит картинку, ассоциируя ее с уникальным тегом.
Это как?
> А тут как оно будет генерить по описанию, чтобы сравнить, если описание - уникальный придуманный тег который не рисует по описанию, а рандом?
Ваще пиздец не понял.
Да, на одном естественно. Там прям стиль отличался.
Наверное нет такого понятия как "лучше" или "хуже". Видимо имплементация китайца ломает детерминированность. Когда батч делится на минибатчи они каждый раз рандомно перетасовываются и в такой последовательности идут на обновление градиента, соответственно ты никогда не сможешь воспроизвести одни и те же результаты даже на одном сиде. Я сегодня гуглил твою проблему, и такого типа быть не должно, такое случается только если обработка происходит параллельно, например на видеокарте и процессоре одновременно
Кароче 1000 эпох на 26 картинках перетрен вроде как.
А теперь обисните лоре нужен огромный датасет или что с ней делать вообще? Она же юзлес получается - снижаешь влияние сосешь с похожестью, не снижаешь - сосешь из-за собранного датасета - все картинки получаются как датасет.
Почему такой дроч на лору, если гиперы и эмбеды более гибкие?
А теперь обисните лоре нужен огромный датасет или что с ней делать вообще? Она же юзлес получается - снижаешь влияние сосешь с похожестью, не снижаешь - сосешь из-за собранного датасета - все картинки получаются как датасет.
Почему такой дроч на лору, если гиперы и эмбеды более гибкие?
> детали и стили сразу в любой промт
Да и на скрипте у меня такая же хрень. Что с токеном, что нет - рисует одинаково. Мне кажется это нормой и оно действует только тогда, когда у тебя несколько концептов. Например, несколько персонажей запихиваешь в одну лору.
Когда я обучал гиперсеть у меня точно такая же проблема была, как и на лоре. Скорее наоборот радовался, что она при силе 1 рисует как дата-сет, значит она смогла его запомнить, а не рисовать мешанину как в предыдущих 999 попытках.
Принимаете реквесты?
Анон делал по реквесту лору Имари, хорошо получилось. У меня тоже маленький реквест, Reika Shinohira. Она хорошо заходит и для реализма, и для манга стиля. Если есть желающие, то позже скину хороший сет без полей, с чистым фоном, тегами и апскейлом.
Анон делал по реквесту лору Имари, хорошо получилось. У меня тоже маленький реквест, Reika Shinohira. Она хорошо заходит и для реализма, и для манга стиля. Если есть желающие, то позже скину хороший сет без полей, с чистым фоном, тегами и апскейлом.
Полудохлый тред, но запощу. https://disk.yandex.com/d/BjpokeBfjQY3lA Сет на 36 пикч с чистым фоном, должно хватить.
> Полудохлый тред
Таки шо ви хотели в это утро воскресенья
Чел, что с разрешением пиков..
Можно поподробнее? Лоры нужно тренить на каких-то особых версиях моделей?
А, только что понял: я забыл выключить nearest neighbor и он использовался вместо lanczos. Тогда позже перезалью.
Посоветовали "прунить теги" при обучении. Это что значит и как делать?
укорачивать теги
Ну что анончики, тред полистал и так и не понял, с нетворк альфой разобрались? 1 в новых, равна диму для поведения старой версии и может поломаться, а что там с промежуточными вариантами, тестил кто?
Я треню на альфе равной половине дима, вроде нормально
А сравнения проводил кто? Вон выше свалка гридов на 30 эпох и прочее, уж это наверняка смотрели.
В прошлых тред есть грид с димами. С альфой нет. Может как-нибудь когда-нибудь
Натреньте кому не лень лору на художника tsuji santa, плиз
Эх, вот бы кто завёз расширение чтобы можно было на лету использовать различные клипы и унеты как это реализовано с вае. Вообще эта фича должна быть реализована в автоматике. Мы такой хуйней занимаемся, это пиздец. Каждый раз качаем почти одинаковые модели, тоже самое с серверами, засираем хаггинфейс и цивит одним и тем же говном. Некоторые дебилы в 2023 году умудряются заливать 8 гигабайтные модели с ЕМА и с бесполезным fp32
Вот приведу пример. Скачал я пару дней назад Classic Negative SD 2.1-768. Но меня не устраивало, что почти стоковая SD 2.x модель занимает ровно столько же места, сколько и просто стоковая. Я подумал "попробую извлечь разницу между моделями, авось что выйдет". Расчехлил скрипт китайца. Достал лору. Результат нуууу... такой. С лорой получалось нечто среднее между Classic Negative и обычной моделью. Но суть не в этом. Когда я вытаскивал лору, скрипт сравнивал компоненты модели и выдал следующее:
"Text encoder are the same, extracting UNet only"
Я такой "ага млять". Пихаю классик негатив в тулкит и выясняю что и VAE от стоковой модели (на самом деле это вполне логично, никто VAE отдельно не тренирует и очень-очень зря, но это тема для другого разговора). Т.е. у меня две модели грубо говоря на две трети одинаковые и отличаются только UNet'ом. И нахуя мне это? Почему я не могу просто юзать SD 2.1, а потом на лету менять UNet?
И это один пример из сотни.
Вот приведу пример. Скачал я пару дней назад Classic Negative SD 2.1-768. Но меня не устраивало, что почти стоковая SD 2.x модель занимает ровно столько же места, сколько и просто стоковая. Я подумал "попробую извлечь разницу между моделями, авось что выйдет". Расчехлил скрипт китайца. Достал лору. Результат нуууу... такой. С лорой получалось нечто среднее между Classic Negative и обычной моделью. Но суть не в этом. Когда я вытаскивал лору, скрипт сравнивал компоненты модели и выдал следующее:
"Text encoder are the same, extracting UNet only"
Я такой "ага млять". Пихаю классик негатив в тулкит и выясняю что и VAE от стоковой модели (на самом деле это вполне логично, никто VAE отдельно не тренирует и очень-очень зря, но это тема для другого разговора). Т.е. у меня две модели грубо говоря на две трети одинаковые и отличаются только UNet'ом. И нахуя мне это? Почему я не могу просто юзать SD 2.1, а потом на лету менять UNet?
И это один пример из сотни.
Тут альтернативу автоматику подвезли, только хайрезфикс запилить
Лучше пусть запилят хайрез в орду.
Готов побыть объектом исследований?
я разочаровался в лорах
очередной убийца автоматика?
Почему?
юзкейса нет
Так придумай сам. Люди обучают то что хотят видеть
Так ты пикчи делай а не одну за другой модельку да гриды к ней дрочи
Мы тут все такие.
А по числу пикч в датасете и их повторений есть чего?
Без лоры выходит так себе (не похоже на Рейку, даже волосы не чёрные)
Ты ее опиши нормально, костюмчик добавь и т.д. Сейчас может бахну для теста что получится, датасает мэх кмк, но в общем пойдет.
Вот норм дата без пикселей просто я в тот раз обосрался с алгоритмом ресайза.
Дефолтный костюм это черный облегающий комбинезон. Но мне нужно именно лицо и прическа, чтобы сочетать с чем угодно.
Сколько лора может запоминать? Может ли одна лора запомнить, скажем, сразу несколько персонажей? Лучше ли обучать одну лору на нескольких персонажах или на каждого персонажа по одной лоре?
Каждому по одной, затеи объединить.
Типо замержить? А в чем такое делается?
Установил расишрение, все перезапустил, а оно в вебуи не появляется. Что делать?
В тензорах.
Ставь старую версию ui с гита, долбаеб всё сломал
Как?
Кто пробовал трейнить лору на лольках из vladmodels? или, ну в общем на голеньких из даркнета
Тесты есть?
Параметром к команде git и кодом к нужной ревизии
Что ето?
ага угу
Ну товарищ майор..
Лол
Хард под завязку, от кэндидолл софткора до жесткого порева и гуро по этой теме
Это просто массив циферок в питорче, додич тебя троллит.
Дая знаю, что такое тензор.
Как мержить лоры?
Обучение 768 или 832 не хочет заводиться на 6гб карте, говорит аут оф мемори. Можно ли подрубить какой-нибудь оптимизатор?
Почему бы не кропнуться о 512?
Хочу чтобы было красиво конфетка вах. (Вообще просто скопировал настройки челика у которого очень хорошо получается).
>скопировал настройки челика у которого очень хорошо получается
скинь
Сначала ответ на вопрос.
Попробовал потренить с твоим датасетом, вот что получилось
6 гб не потянет 768+ тренинг чел
ух бля тегируем, чувствую какой кал будет на выходе
Не расчитывай выше чем на 640. Скорость будет черепашья
Пиздец
А чего язык высунутый, это промпт такой?
Дефолтные шмотки напрягают, в остальном норм. Скинь файл?
А чому кстати в гуйде написано что лучше нсфв имеджы зип архивить перед загрузкой в гуглдиск? Это ж дичная папка, че такова.
В коллаб можно не дефотную ваешку загрузить?
Не только архивить, но и ставить пароль. Гугловская нейронка детектит цп (манямэ-лоликон тоже).
Лосс сколько должен быть?
А если у меня 18+ онли?
Когда я последний раз трейнил модель на лоликоне, то пароль на архиве сработал для диска, а колаб ничего не заподозрил.
меньше 0.2
У меня голая жинкс просто так лежит кстати. Норм вчера тренилось.
А каггловский P100 потянет?
>настройки челика у которого очень хорошо получается
Выкладывай
Ты можешь покрутить gradient accumulation steps, но я не уверен что это сработает. Скорость упадёт
Отлично, ща заценим. Попробую стиль Frazetta+Didier вместе с этой лорой, интересно что выйдет.
>Скорость будет черепашья
Ну вот я натренил 640 за 15 минут. Почему я не могу натренить 768 за час?
А может кто затрейнить Kasumi из DoA?
> Почему я не могу натренить 768 за час?
аут оф мемри
> А может?
> А не может?
Колаб, облако, локально. Лентяи.
> А не может?
Колаб, облако, локально. Лентяи.
А как в колабе разархивировать зип архив я чет не догоняю помогите
5 минут на 10 картинках, слева ориг справа то что получилось. Будем посмотреть.
Хэй, шикикан! Почему не ришелье?
Я вам первую меховую лору добавил в rentry
>ришелье
Не моя жена.
Хорош
собаки есть?
Це только на одного персонажа
Лора жи есть
Кароче ясно, чем разнообразнее датасет тем пиздаче лора. На сотне разных изображений уже на 10 эпохах болиелимение интересно генерит.
lr указан в названии, r1,r2,r3 - 5, 10 и 15 повторений пикч датасета, a1 - альфа 1, a32 - альфа 32 (дим 64), с лр 5e-3 последняя ломается. Хуй знает, так сложно судить, надо с другими тегами ее запустить, сделать на другого персонажа чтобы более отличался от того что модель уже знает, датасет разнообразнее.
Какой батч сайз?
8
Модель и вае какие использовал?
Леписин, 84к
лора на собак?
Какая нынче мета на число повторений на пикчу?
Трудно сказать. Еще нужно учитывать само количество пикч в датасете. Чем больше - тем меньше повторений. Чем меньше - тем больше повторений, но будь готов к тому что лора будет хуевая
Имхо стало хуже
Зато мыла меньше.
а мыло это и не плохо
настройки?
Как же заебала эта хуесосина тупая. Даже код из другой репы не может скопировать нормально. Вместо "if params in pretrained_model.keys()" написал хуиту какую-то, а пользователь потом проверяй за ним и фикси этот кал.
А лоратрен на 4 кеках запуститься может в какомнибудь разрешнии ваще?
Произошел каломатик
Если меньше 5.5 гб можешь забыть
Ну или попробовать пошаманить с параметрами gradient_accumulation_steps и gradient_checkpointing. Про них ничего не знаю, не пользовался
Хуй знает, если теги взять из другого файла и почистить то лучше. Точно можно сказать что лр 1e-3 для альфы в половину дима уже многоват, для альфы 1 и 5e-3 близок к верхней границе. По повторениям сказать сложно, понятно что 5 для такого датасета маловато, на 15 уже подсасывает детали костюма тем где он не вызывается и в негативах, но здесь еще проблема в однообразии, по опыту около 900 шагов на эпоху вполне прилично а тут уже на 500 начинает проскакивать.
Кто-нибудь на высоких альфах на новой версии тренил?
> Кто-нибудь на высоких альфах на новой версии тренил?
Высокая альфа - это поведение старой версии, других отличий нет. У всех старых лор дим = альфе. Высокая альфа приводит к перетрену и ошибкам округления.
Какую эпоху то показываешь? Вот тут поставил дим 32 и альфу 8, 4 повторения 1е-4
> Высокая альфа - это поведение старой версии
Альфа равная диму - поведение старой версии.
> Высокая альфа приводит к перетрену и ошибкам округления.
Именно высокая или равная диму? К перетрену она сама не приведет же, да и раньше все тренилось нормально, просто лр другой нужен.
6я там. Дальше 6-8 при нормальных настройках и для персонажа, обычно, идти смысла нет, пережиривается, детали начинают сливаться и прет хтонь. Твои пикчи тут удачно иллюстрируют (мутции, руки, изгибы на груди, волосы из костюма), но эффект офк слабый на фоне рандомайзера.
натренировал may thai на рандом сете с хуями в жепу, веса от 0.5 до 1 вроде
настройки такие
!accelerate launch \
--num_cpu_threads_per_process 8 train_network.py \
--network_module=networks.lora \
--pretrained_model_name_or_path="/content/drive/MyDrive/delib.ckpt" \
--train_data_dir="/content/drive/MyDrive/sd/dataset/sincos" \
--reg_data_dir="/content/drive/MyDrive/sd/dataset/sincos_reg" \
--output_dir="/content/drive/MyDrive/sd/stable-diffusion-webui/models/Lora/" \
--caption_extension=".txt" \
--prior_loss_weight=1 \
--resolution=512 \
--enable_bucket \
--min_bucket_reso=320 \
--max_bucket_reso=960 \
--train_batch_size=8 \
--learning_rate=1e-4 \
--unet_lr=1e-4 \
--text_encoder_lr=1e-4 \
--max_train_epochs=50 \
--mixed_precision="fp16" \
--save_precision="fp16" \
--use_8bit_adam \
--xformers \
--save_every_n_epochs=10\
--save_model_as=pt \
--clip_skip=1 \
--seed=23 \
--network_dim=32 \
--network_alpha=32 \
--max_token_length=225 \
--cache_latents \
--lr_scheduler="cosine" \
--lr_scheduler_num_cycle=1 \
--output_name="sincoslora" \
--shuffle_caption \
--keep_tokens=1 \
# --lr_warmup_steps= 40 \
настройки такие
!accelerate launch \
--num_cpu_threads_per_process 8 train_network.py \
--network_module=networks.lora \
--pretrained_model_name_or_path="/content/drive/MyDrive/delib.ckpt" \
--train_data_dir="/content/drive/MyDrive/sd/dataset/sincos" \
--reg_data_dir="/content/drive/MyDrive/sd/dataset/sincos_reg" \
--output_dir="/content/drive/MyDrive/sd/stable-diffusion-webui/models/Lora/" \
--caption_extension=".txt" \
--prior_loss_weight=1 \
--resolution=512 \
--enable_bucket \
--min_bucket_reso=320 \
--max_bucket_reso=960 \
--train_batch_size=8 \
--learning_rate=1e-4 \
--unet_lr=1e-4 \
--text_encoder_lr=1e-4 \
--max_train_epochs=50 \
--mixed_precision="fp16" \
--save_precision="fp16" \
--use_8bit_adam \
--xformers \
--save_every_n_epochs=10\
--save_model_as=pt \
--clip_skip=1 \
--seed=23 \
--network_dim=32 \
--network_alpha=32 \
--max_token_length=225 \
--cache_latents \
--lr_scheduler="cosine" \
--lr_scheduler_num_cycle=1 \
--output_name="sincoslora" \
--shuffle_caption \
--keep_tokens=1 \
# --lr_warmup_steps= 40 \
> Именно высокая
Любая выше чем единица уже потенциально может привести к проблемам. Точные числа я тебе не назову. Чем больше альфа - тем меньше контроля.
> К перетрену она сама не приведет же
Конечно же приведёт. Альфа нужна для масштабирования выходных весов и используется там в качестве числителя для множителя этих весов:
входные веса * (альфа / дим) = выходные веса.
Дим - это твой размер нетворка. Чем больше дим, тем большее количество параметров может хранить в себе сеть.
---
Ахтунг! Дальше идут мои предположения.
---
Если не пользоваться альфой для компенсации выходных весов или ставить такое значение что соотношение (альфа / дим) близко к единице (это больше касается высоких ранков, на низких ранках это не так сильно влияет), то это приведет к оверфиттингу, даже на больших датасетах.
Допустим у тебя дим 128 и такая же альфа и ты натренил лору. Просто представь: диффузионная модель без лишнего мусора и с точностью fp16, натренированная на двух миллиардах изображений весит 2 гигабайта. И твои веса которые ты натренировал на всего лишь (условно) ~50 пикчах весят целых 150 мегабайт!
Высокая альфа - это шорткат для ленивых и нетерпеливых. Я в оригинальном репозитории от клона симо по-моему ни разу не видел альфы выше чем единицы. Я видел только гриды с альфой меньше, вплоть до 0.2.
И вообще, с большим значением дима лора теряет несколько из своих главных приемуществ - размер и переносимость. Суть всей этой лоры что она тренирует лишь маленький процент параметров, в отличии например от дримбуза, который тренирует 100% параметров unet и TE. Поэтому она быстро обучается, мало весит и не так сильно влияет своими весами на веса исходной модели. Погуглите что такое catastrophic forgetting, дримбудка этим болеет
надо перетрен чисто на лицо и тело сделать, а то хуи кривые там чет
Отключаешь лору - и влияния ноль, с дримбутом так не выйдет
Оче интересно но ничего не понятно, надо изучать. На форче на 16-32-64 приносили с довольно интересным результатом, потому интересно, ну и пример прошлых моделей актуальности не теряет, потому направление может быть интересным. Также и малые альфы.
Жаль рандома много а критерии оценки часто субъективны, если есть идеи как лучше изучить - велкам.
> Высокая альфа - это шорткат для ленивых и нетерпеливых.
Так ведь рофел в том что она не дает ускорения обучения, количество шагов +- то же просто с меньшим лр.
Сравнение размера моделей и количества пикч для тренировки здесь не актуально, теплое с мягким.
Потестил последний по счету файл с Orangemix abyss.
Из минусов:
- возвращается к дефолтному комбинезону даже когда по промпту его быть не должно, или налепляет неоны
- не может в рейка-пупса (наверное потому что в сете не было пупсов)
Ну короче проявляет биасы, иногда даже делает лоли-анатомию вместе со "взрослым" лицом (пиздец кринж)
Для сравнения, другая лора из треда, с примерно такими же промптами. Та работала лучше.
Это понятно, но вот как вчера мы с аноном рассуждали, а как сделать так чтобы тег 1girl не вызывал персонажа, чтобы персонаж вызывался только по уникальному токену? Ответ: на большой альфе - никак. Большая альфа слишком сильно модифицирует исходные знания модели, если присутствуют смежные теги в датасете.
Если твоя цель просто быстро сделать персонажа и тебя не сильно волнует, что детали твоего персонажа будут проявляться на других персонажах, даже когда ты не вызываешь его явно через промт, то альфу можно хоть как по старинке делать равной диму. Но если ты хочешь сделать "качественную", маленькую и переносимую сеть, не приводящей к catastrophic forgetting подключаемой модели, то тут только альфа 1 или меньше и невысокий дим.
> На форче на 16-32-64 приносили
У тебя не осталось? Интересно посмотреть. Я тоже пару тредов назад приносил и просто почувствовал себя наёбанным, когда узнал что необязательно ставить 128, хорошую сеть можно уместить и в 20 мегабайтах.
> Сравнение размера моделей и количества пикч для тренировки здесь не актуально
Это почему?
А зачем вы ставите такой большой batch_size? Правильно же понимаю что это умножение шагов на 8, в даннном случае, на эпоху? Разве от такого не должен пойти очень быстрый перетрен?
> умножение
Деление
Вот у этого анона лучше получилась
Вообще там наверное лучше не использовать последнюю эпоху, попробуй какую нибудь 8 ну или попроси анона поделиться.
Это та же лора или другая?
Даже не понял, какое у этого эмбеддинга уникальное слово и есть ли оно вообще, поэтому применял только теги.
Бля, я как допер окончательно до альфы аш загорелся сделать лору на единичке и с димом 4-8. Завтра наверное буду экспериментировать. Но нужен какой-то датасет хороший, не знаю какой взять. Есть идеи, анончики?
У меня навалом сетов полностью с тегами, жаль никто не берется трейнить.
> Это та же лора или другая?
У него другая, он с другими параметрами тренил на твоем сете.
> Даже не понял, какое у этого эмбеддинга уникальное слово и есть ли оно вообще, поэтому применял только теги.
Я же положил туда пару пикч с промптами, там rk тег
Почему ты не пользуешься колабом? В шапке и лора дримбуз, и лора сеть. У меня слабая видяха, я трейню в облаке за копейки.
>я как допер окончательно до альфы аш загорелся сделать лору на единичке и с димом 4-8.
переведи
А влияет то это на что?
Шагов в итоге становится в 8 раз меньше или они просто параллелятся?
Скинь файл кто трейнил? Вроде даже лучше получилось, и со словом надо отдельно попробовать.
Пользуюсь kaggle, но там другая среда (другая версия pytorch что ли) и плохо совместима с этим webui - половина расширений даже не отображается. Наверное надо быть прошаренным питонистом, чтобы всё настроить.
Нашелся только вариант на китайском (без возможности сменить язык), где хотя бы подключаются лоры... Для колаба еще надо поискать работающий скрипт, + обрубает если не следить за вкладкой.
>они просто параллелятся?
Результат нового шага зависит от того что получилось в предыдущем шаге, сам как думаешь?
> А влияет то это на что?
Обучение становится медленнее, но все равно быстрее чем с батчем 1 потому что батчами обучать эффективнее
> Шагов в итоге становится в 8 раз меньше
Да. Сеть делит твой датасет на несколько групп и обучается на каждой группе целиком. У этого момента кстати вроде есть свои нюансы
network_alpha 1
network_dim 8
> плохо совместима с этим webui
Так трень на скрипте китайца
>У этого момента кстати вроде есть свои нюансы
Пока это лутший вариант качества что у меня был, с 8 батчем какраз.
Другая же, интересно было сравнить результат с разными параметрами, но прояснилось не многое. Сет что выше выложен. Говори куда тебе залить и какие версии понравились, скину.
Так друзья, один маленький вопрос.
Решил я значит лоркой заняться, под влиянием этой игры злоебучей.
Но на чем мне божественную 808'рочку тренить?
Видел фуриёбскую модель, но они один хуй все антропоморфные, нет?
Или похуй, само натренится?
Нужно ли теги ног на лапы менять?
Передние - задние отдельно?
Как вообще животному теги расставлять? Анатомия не проебётся?
Решил я значит лоркой заняться, под влиянием этой игры злоебучей.
Но на чем мне божественную 808'рочку тренить?
Видел фуриёбскую модель, но они один хуй все антропоморфные, нет?
Или похуй, само натренится?
Нужно ли теги ног на лапы менять?
Передние - задние отдельно?
Как вообще животному теги расставлять? Анатомия не проебётся?
Кто-то говорит он "сглаживает" обучение (хуй знает что это значит), кто-то наоборот топит что нужно максимальный ставить. Я тоже за максимальный.
> Так друзья, один маленький вопрос.
Хуй его знает. Я не по фуррям, но есть е612 автотеггер где-то, прошелся бы им да и хуй забил.
Пошлите меня в гайд для тренировки лоры на карте из https://console.vast.ai/
Посылаю
уже на всех хабалок из среншина лору сделали?
в след шапку его
Да ну нах, я лучше просто рентри отдельный сделаю со свалкой ссылок и туда кину. И рентри в шапку
Кстати я вот всё думаю еще раз гайд переписать, но на этот раз сделать максимально грамотно, добавить что-то типа субтитров где я объясняю каждое действие зачем я это делаю и чтоб результат на выходе был отличный. Но это ссука всё сложна
> еще раз гайд переписать
Ты про то 40 минутное видео где братишка под тохомиксы неспешно создает папки, пишет в тредик, ждет скачивания пикч?
Если хочешь сделать что-то полезное то вырежи 95%, оставь подготовку датасета на примере одной-двух пикч и не более минуты, настройки с комментариями что дают, как делать гриды лол и финальный результат. Все остальное не нужно если говорить мягко.
> Ты про то 40 минутное видео где братишка под тохомиксы неспешно создает папки, пишет в тредик, ждет скачивания пикч?
Я спросил в треде "нада?", ответили "пили!". Ну... я как бы по сути ничем никому не обязан. И таймкоды дал. Если делать лучше, это уже надо какие-то усилия прилагать. И я пока думаю стоит ли мне тратить время или нет. Тем более я не сказать что прям отец лор, далеко не всегда всё получается с первого раза, а это время + деньги.
Как делать грид с лорами на послднем автоматике где они в промпте?
а максимальный какой
Максимального нет. Максимальный упирается в твой VRAM
Чому ты так реагируешь, сам чтоли не смотрел что там? Сделал - молодец спору нет, что содержимое разбавлено непойми чем и малопригодно к просмотру - увы, а местные тебе сказать про это видимо постеснялись или им норм.
> я пока думаю стоит ли мне тратить время или нет
Просто включай запись когда делаешь что-то полезное-важное, показав один пример приостанавливай, продолжай на следующем этапе. Или если субтитры добавлять планируешь то это всегда лезть в видеоредактор, там и обрежешь лишнее.
> А зачем вы ставите такой большой batch_size?
Лучше загружает видеокарту и заканчивает быстрее
Попробовал еще раз с последними известными стабильными параметрами, без экспериментов, вроде вышло получше, но последние эпохи опять всрались
Мне кото говорил что чисто фейс тренить неюзабельно тип, надо проверить.
бамп
> Чому ты так реагируешь, сам чтоли не смотрел что там?
Да нормально я отреагировал, я ж говорю что в курсе что много лишнего, никаких конкретных запросов от анонов не было, поэтому и сделал на своё усмотрение
Как ты делаешь грид?
Через дополнение
Поставь расширение additional networks. В гайде по трейнингу лор про него есть, потом появятся в скрипте стандартном для гридов лоры
Правильно я понимаю, что если картинки под лорой "пережаривает" и они становятся только на низких cfg(около 5), то это оверфит? Какие параметры обучения скручивать?
становятся нормальными*
> Какие параметры обучения скручивать?
Уменьшать количество шагов либо скорость обучения unet и te. Какие у тебя скорости и батч?
Попробовал пришить вместо родной модели CLIP 4-гиговую BERT от LAION, в итоге ни одного вменяемого изображения не получил - просто каша какая-то. Надо ещё и UNET тренировать под неё что ли? В обратную же сторону это работает без проблем - UNET любой для CLIP подходит.
>Какие параметры обучения скручивать?
Да можно и с пережаркой юзать че угодно, юзай плаген https://github.com/mcmonkeyprojects/sd-dynamic-thresholding с примерно такими настройками (тебе ток подобрать основной цфг и мимик надо)
5e-5
1.5e-5
1.5e-4
Батч 1, 10 повторов на пикчу.
> 5e-5
> 1.5e-5
> 1.5e-4
Это скорости чего именно?
по порядку как в скрипте
Т.е. 1.5е-5 на унет и 1.5е-4 на ТЕ? Пожалуйста, скажи что наоборот
Чем удобнее всего кропать картинки?
Во вопрос хороший, кто-нибудь сравнивал результаты с кропом пикч и со свалкой как есть, офк с чисткой текста, других персонажей и прочего?
Простой автокроп для подготовки датасета есть в комплекте с webui ватоматика, на вкладке трейн
Где взять?
Да нормальные скорости вроде. Если пережаривается, значит либо мало пикч в датасете, либо слишком долго обучаешь. Ах да, еще такое может быть если большая альфа и дим
>Простой автокроп для подготовки датасета
он там тупой пиздец
>кто-нибудь сравнивал результаты с кропом пикч и со свалкой как есть
я похуист, у меня даже не чищенные изображения, получается то что хочеца в целом
а можно запихать лору в негатив?
Можно. И через промт, и через расширение
тогда натренируйте датасет кривых рук https://civitai.com/models/4586/bad-hands-training-data
нуче кто там говорил что лица отдельно не имеет смысла тренить, получается имеет
пиздец просто, это получается стабильное лицо можно хоть куда сувать
и че вы молчали
пока 200 эпох, May Thai, тренится только лицо из датасета в 18 картинок, максимум эпох 1к, настройки позже кину если кому надо
влияние вне лица нулевое, можно выпромтовывать что угодно, в т.ч. тело
олсо на само литсо тоже можно влиять
500 эпоха, в целом этого достаточно, но интересно че будет дальше
Фоточка с датасета просто для сравнения с оригом.
Давайте, разъебите меня по полной. Указывайте на все фактические проёбы.
https://rentry.org/sd__upscale
Если тренить на 1dim(условно) будет сильно быстрее?
В шаблон добавил, пока не читал
Не сильно, но быстрее. Сегодня буду тестить 1 дим
Сколько нужно памяти для обучения? Типа 8 гигов это мало? Или я что-то не так делаю?
Обучаю в первый раз и оставил настройки из скрипта дефолтными, расставил только пути до папок и длину токена.
Обучаю в первый раз и оставил настройки из скрипта дефолтными, расставил только пути до папок и длину токена.
Хмм..
6 должно хватить
У тебя не ноут с двумя картами? Может выбрал при настройке не ту?
Грядет нечто грандиозное
Что это значит?
Что теперь можно загружать sd 1.x модели без текстового энкодера...
Не, у меня 2060s, при начале обучения сжирает 6 гигов, а затем сразу отваливается с этой ошибкой.
Какой у тебя батч сайз...
1 конечно, он по дефолту стоит.
Очень странно, что на 6 гб у тебя не работает. На 1060 всё работает прекрасно
Кароч вот, лорка на 1к эпох. Доволен результатом. Следующее ебало для тренинга скорее всего какая-то не действующая порноактриса.
Кумерище...
Тренить человеков интереснее, чем аниме.
Что-то не пойму, что этому скрипту от меня надо еще... Все пикчи на месте, а оно не двигается...
Не видит датасет. Проверяй пути, там нужно чтобы в папке с названием число_name лежал датасет.
Они там лежат. формат
edd_(1).jpg
edd_(1).txt
edd_(2).jpg
edd_(2).txt
и т.д.
я уже и относительные пути пробовал, и абслютные, и с \ и с / , все равно не шевелится...
Кстати об эмоциях. В датасете эмоций ноль, но чисто фейсовая лорка может в изменение эмоций супер изично. Ну и камшоты нарисовать поверх тоже просто например. Кароче, рабочий метод тренинга ебл вот:
!accelerate launch \
--num_cpu_threads_per_process 8 train_network.py \
--network_module=networks.lora \
--pretrained_model_name_or_path="/content/drive/MyDrive/delib.ckpt" \
--train_data_dir="/content/drive/MyDrive/sd/dataset/sincos" \
--reg_data_dir="/content/drive/MyDrive/sd/dataset/sincos_reg" \
--output_dir="/content/drive/MyDrive/sd/stable-diffusion-webui/models/Lora/" \
--caption_extension=".txt" \
--prior_loss_weight=1 \
--resolution=512 \
--enable_bucket \
--min_bucket_reso=320 \
--max_bucket_reso=960 \
--train_batch_size=8 \
--learning_rate=1e-4 \
--unet_lr=1e-4 \
--text_encoder_lr=1e-4 \
--max_train_epochs=1000 \
--mixed_precision="fp16" \
--save_precision="fp16" \
--use_8bit_adam \
--xformers \
--save_every_n_epochs=10\
--save_model_as=pt \
--clip_skip=1 \
--seed=23 \
--network_dim=8 \
--network_alpha=1 \
--max_token_length=225 \
--cache_latents \
--lr_scheduler="cosine" \
--lr_scheduler_num_cycle=1 \
--output_name="sincoslora" \
--shuffle_caption \
--keep_tokens=1 \
# --lr_warmup_steps= 40 \
а, падажи, надо еще папку с названием другим?
Что значит число_name ? рандомное число или там скрытый смысл есть?
Читать гайд надо уметь.
30_renamon furry
Число повторений_название концепта название класса
> название концепта название класса
Похуй что здесь напишешь если внутри есть текстовики к пикчам
В папке должна быть папка, а в ней уже картинки.
Я пытался https://rentry.org/2chAI_LoRA_Dreambooth_guide читать, но там даже когда пишут про
>Открыть скрипт любым текстовым редактором и изменить переменные вверху файла под свои нужды. Все переменные достаточно понятно прокоментированы, поэтому пройдёмся по не самым очевидным из них:
не пишут, какой из сотен скриптов то открыть и под нужды.
Что делает число повторений? От чего зависит? И зачем оно в названии, а не в конфиге?
> не пишут, какой из сотен скриптов то открыть и под нужды
> Что делает число повторений? От чего зависит? И зачем оно в названии, а не в конфиге?
Ну разуй ты глаза...
>Что делает число повторений? От чего зависит?
Эт не число повторений, а значение для скрипта у концепта, нужное чтобы если у етбя больше чем 1 концепт то скрипт исходя из значений брал из одного концепта столько-то, а из другого столько-то. То есть 1_penis и 2_penis - из второго концепта пенисов будет браться в джва раза больше данных.
А, я это оказывается все же сделал, но все равно
Оно только под линухами что ли должно работать?
> не пишут, какой из сотен скриптов то открыть и под нужды
Ну, и там сотни этих .py скриптов, какой открыть и редактировать?
Ахуеть, это гайд для профессоров блять, чтобы так замаскировать что-то нужное в ссылку.
Правда, один хуй мне это не поможет, я же через повершелл запускаю и так... А картиночек оно не видит...
Опа, а шо это у вас там за датасеты? Шо готовите новенького?
опять какие-то аниме бабы
Бля, братан, если ты не видишь синенькую ссылку и не можешь прочитать что в скобочках написано, ну тут как бы ну, как это сказать, ну это, ну, полномочия мои, ну, собсна как бы получается всё. Как бы ну, не в моих силах, сам понимаешь.
Хаха! Лох! А у меня видит!
Да это я качал глядел датасеты анонов, может еще чьи-то реквесты планировал натренить, но как обычно благополучно забил хуй простите анончики
Ну вот, видимо придется линухы ставить, чтобы заработало...
Блять, чубзик ты мой миленький, покажи пожалуйста внутренности папки, которую ты вписываешь в train_data_dir
Поддвачну, за специфично-садистскую структуру описания в наи треде уже описано.
В папке, которую указываешь, внутри должна быть еще одна папка с именем 10_aa, где 10 это число повторений, и только в ней уже сами пикчи и текстовые файлы с тегами к ним. Выше тебе уже отписали, в гайде тоже про это есть, только после сразу идет описание для дримбуса которое сбивает. Если делать более аккуратно, то можно подобрать разные наборы пикч с топовыми мастерписями, кропнутым фейсом, общий вид и т.д. и с соответствующим числом повторений их забить.
>в наи треде
там шизы 2+2 сложить не могут, нашел на кого равняться
> специфично-садистскую структуру описания
Да просто изначально в гайде не было про дримбуз расширение, потом другой анон вызвался помочь и получилась такая нелепая структура. И так оно по сей день. Ладно, если не лень будет, сегодня встану и сделаю по-человечески.
Там предметно обозначено в чем проблемы и предложены варианты как поправить, на это как раз ровняться стоит, за остальное не скажу.
Да я без хейта и предъяв, просто оно увы так получается, главное не зейтить неофитов что попадаются в эту ловушку. Хотя после вот такого можно и не мешать, дураков работа любит
>в гайде не было про дримбуз расширение
Можешь убирать, им нет смысла пользоваться.
> Хотя после вот такого можно и не мешать, дураков работа любит
Проиграл
Да я не то чтобы хейчу, просто с каждым днём вопросы всё более нелепые, сначала обсуждали перетрен и грамотные настройки, а сегодня не можем вложить папку в папку. И задница горит люто.
И вроде как гайд прочитало немало человек, но чем популярней становится лора, тем реже аноны делятся своими нетворками. Тоже горит.
А как пилить полноразмерные модели, лол?
Просто нужно писать гайды для пятикласников
> тем реже аноны делятся своими нетворками
Так каждый специфичное пилит.
Я же выше написал , что сделал так. у меня в папке по указанным путям 1_edd папка и в ней уже картинки. Пробовал переименовать, все равно не находит ничего. Уже и в корень диска даже вытащить попробовал.
Про ссылку на скрипт конечно тупость получилась, но я бы и на сотый раз не додумался на неё кликнуть, и искал бы скрипт запуска в самом sd-scripts, ибо ну какой долбаеб будет давать тулзы и не давать батник или скрипт стартующий эти тулзы?
Я планирую написать ретард гайд отдельно от основного. Где не будет опций сделать А или сделать Б, а чисто прямой путь до лоры. Допущу что текущий гайд не самый простой, плохо структурированный и возможно местами перегруженный.
Покажи как выглядит структура. Картинкой. Я настаиваю.
Нынешний перегружен, да. Я попытался но было слишком запутанно, в итоге по форчовчкому делал, там было норм. Хотя команды одни и те же вроде.
Зато наш гайд содержит самую исчерпывающую информацию которой нет ни в одном другом гайде! всем похуй
> Я планирую написать ретард гайд отдельно от основного.
Норм, пили, сразу можно будет фидбек собрать и норм.
И ты, брут? А форчевский лаунчер тебе как?
> у меня в папке по указанным путям 1_edd папка и в ней уже картинки
Скрин содержимого скрипта где указывается путь выложи
>лаунчер
Что?
Скрин с конфигом выше
А наш лаунчер вам как?
Ты должен указывать edd_db в train_data_dir
Сам скрипт/гуи в котором указываются параметры, а он уже запускает sd-scripts
У тебя нужная структура в поддирректории edd_db а путь указан только до train_img. Ясен хуй оно не может найти то что ищет
> Ты должен указывать edd_db в train_data_dir
Бля... Это я уже нахуевертил перекидывая в корень и обратно.
Добавил, но все равно нихуя...
>скрипт
Наш покрасивее.
Да как так-то блять?!
Зайди в папочку где лежат папки 1_... и 2_..., нажми ctrl+L, скопируй и вставь в текст скрипта. Если не поможет - перенеси свою "edd_db" в корень, лол
Кстати настройки крайне хуевые, лучше юзай скрипт, там по дефолту вроде нормальные. Дим 4 альфа 32 это вообще пиздец, боюсь представить что будет в итоге.
Плюс защита от ретарда есть. Либо юзай мокропиську.
Тестанул в бстаберхе, ну в целом если веса лорки оттюнить калцепт воркинг вери вел.
В корень диска я уже переносил, тогда пути верные были, но это не помогло.
Я настройки с суйки выше скопировал. Плюс у японца на сайте такие настройки по дефолту стоят и он пишет что выше не надо. Но мне бы хотя бы просто запустить эту хуйню...
> Я настройки с суйки выше скопировал.
Не такие настройки я юзал. Не может быть альфа выше чем дим. Японец рекомендует альфу в единичку.
Почему питоновский скрипт не может найти папки я не понимаю. Пробелы в путях изображений?
Очинь даже я бы сказал хорошо работает. Кроссмодельная лорка получилась.
> А наш лаунчер вам как?
Ахуителен, каждый раз проигрываю как бчб в начале сменяется триколором в конце, а при запуске следующего появляется обратно.
> тогда пути верные были
Тут все на это оче похоже, еще оно не видит .jpeg, но у тебя расширения вроде верные. Скачай любой датасет что выше был и на нем попробуй, ну и учитывая букву диска - попробуй запустить локально если это какой нас.
> Ахуителен
:))))))
Но я не про него. В гайде под скриптом еще есть ссылка на заговнокоженый гуй. Попробуй его. Там всё для людей, и вкладки, и экспорт/импорт настроек и всё всё всё.
Потом окажется как с лицами натренированными. Дайте примеры кривых рук в разных ракурсах штук 20, я натреню завтра.
а хотя похуй, оранж и так без нихуя кривые руки генерит, оттуда вытяну
о, точно
Не знаю, исправили ли проблему, но раньше такое было, что скрипт не умел создавать папки. Создай пустые папки, которые прописал. То есть out, logs_gir
Никогда не пробовал обучать на джепегах. Попробуй хоть один png вкинуть.
Короче я заново перекропал все пикчи и пересхоранил их в жпг, теперь вроде нашло и что-то начало делать...
Понаблюдаю...
Так, и хули оно закончило за 6 минут...
Что я сделал не так опять...
Что я сделал не так опять...
Так, а оно, внезапно, натренело вменяемо. Копирует, конечно, мое почтение...
Как улучшить копийность? Какие параметры самые эффективные?
4 часа возни ради 6 минут.
Как улучшить копийность? Какие параметры самые эффективные?
4 часа возни ради 6 минут.
>Как улучшить копийность? Какие параметры самые эффективные?
миллиард эпох, нетворк дим, нетворк альфа, трейн батч сайз, ну и лернинг рейты другие
Давай завтра разбираться...
Норм вышла, скинь с 5-й по 13-ю. Выясню какая лучше и отпишусь.
Это нормально что для обучения лоры надо убивать хром (миллиард вкладок) и автоматик1111? Аналогично для автоматика надо убивать хром и лору, для хрома убивать автоматик и лору? Памяти 64гб, врам 24гб
не нормально
Лол, оно практически рабочее, надо просто отфайнтюнить.
Кароче пусть там дрочит дальше я спать, ультимейт лора для рук сууун
>Обхватывающие крупные цилиндрические тела ручки лоли.
Я вижу что ты делаешь...
Доброе утро, тредные
800 постов осилить сложновато и прочитав шапку я так и не понял, когда что использовать вернее?
Вот есть у меня модели, что все делают. Часть из них со своими особыми стилями, тот же самый диско элизиум.
Хочу я обучить НЁХ на персонажа. Это правильнее делать гиперсетью, чтобы не херить стили? Ведь она же идет как надстройка к основной сети и по сути является декодером, как я понимаю.
А если я хочу обучить НЁХ именно на стиль. Это уже лора или эмбеддинг? Эмбед же нужен если нужен шорткат, верно?
В общем, ЧДЯННП?
800 постов осилить сложновато и прочитав шапку я так и не понял, когда что использовать вернее?
Вот есть у меня модели, что все делают. Часть из них со своими особыми стилями, тот же самый диско элизиум.
Хочу я обучить НЁХ на персонажа. Это правильнее делать гиперсетью, чтобы не херить стили? Ведь она же идет как надстройка к основной сети и по сути является декодером, как я понимаю.
А если я хочу обучить НЁХ именно на стиль. Это уже лора или эмбеддинг? Эмбед же нужен если нужен шорткат, верно?
В общем, ЧДЯННП?
Лег спать - колаб отвалился, класека.
Тс
В общем почекал еще на других моделях текущие 10 эпох. Вот оранж с 0.4 веса негативной лоры. Блядский гугл, в другой акк все переносить теперь для трени.
Вот комбуха негатива и аддишнал нетворка. Как кстати чисто в аддишнал нетворк плагине в негатив запихать? Просто в минус укатить лору?
Лора вроде не особо на стиль влияет кстати.
Анон кто умеет трейнить лору, запили плиз любой из этих двух стилей на твой выбор
Sayori https://drive.google.com/file/d/1EiLA_3RrE6UNxEgSckhWnb2XiQf27NfP/view?usp=sharing
Kanzeon https://drive.google.com/file/d/1waKVteL7EXyzjGnrb6xoX4c2maHzJBLv/view?usp=sharing
Sayori https://drive.google.com/file/d/1EiLA_3RrE6UNxEgSckhWnb2XiQf27NfP/view?usp=sharing
Kanzeon https://drive.google.com/file/d/1waKVteL7EXyzjGnrb6xoX4c2maHzJBLv/view?usp=sharing
Лучше бы анонам тренерам не стили пиздить, а потренить плохие ручки на разных скоростях. А што если еще сделать лору с хорошими руками и юзать в оппозиции к негативной? Есть датасет с норм руками?
Че хош обучай, на стиль или перса, без разницы. Что нравится
Обнови расширение
А реалистики? Потому что реалистики проще стайлизируются в аниме, чем наоборот.
пара вопросов про настройки трени:
1. сид может быть любым?
2. какие параметры прямо влияют на скорость?
1. сид может быть любым?
2. какие параметры прямо влияют на скорость?
Колаб из шапки https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z как соотносится с указанным в гайде, где написано "21.01.2023 была поднята тема по поводу бага, вызывающего антипереполнение весов слоёв при обучении (значения весов, близкие к нулю округлялись до нуля).
На момент обновления гайда баг пофикшен: был добавлен новый аргумент --network_alpha для предотвращения данного поведения." ?
Какие настройки оптимальные ставить?
На момент обновления гайда баг пофикшен: был добавлен новый аргумент --network_alpha для предотвращения данного поведения." ?
Какие настройки оптимальные ставить?
> 1. сид может быть любым?
Любым. Это сид
> 2. какие параметры прямо влияют на скорость?
Не понял вопроса
По-хорошему network_alpha должен быть 1. Но ты заебешься тренить, поэтому оставляй как есть.
Скорость говно стоит. Для начала берешь 1e-4 для unet и 2e-5 для текст. энкодера и умонжаешь их на train_batch_size, вписываешь
Batch size кратно увеличивает скорость тренировки, но если мало видеопамяти, выше 1 не поставишь.
В том месяце 700 рублей за электричество пришло, в этом 1100. А суммарно за хату 8800. Охуенно.
Щас попробую. Я не эксперт, поэтому что выйдет, то выйдет, и лучше бы кто-то знающий еще сделал.
Кстати, все еще делаю лору по некопаре. Точно не знаю когда будет релиз от меня, ибо я решил сразу несколько неко в одной уместить и она будет где-то сутки обучатся.
Щас попробую. Я не эксперт, поэтому что выйдет, то выйдет, и лучше бы кто-то знающий еще сделал.
Кстати, все еще делаю лору по некопаре. Точно не знаю когда будет релиз от меня, ибо я решил сразу несколько неко в одной уместить и она будет где-то сутки обучатся.
Лоры sayori и nekopara как раз отлично зайдут если применять вместе в одном и том же промпте.
>Для начала берешь 1e-4 для unet и 2e-5 для текст. энкодера и умонжаешь их на train_batch_size,
Нипонил, а как умножать? И почему именно 1е4 и 2е5?
Ребята анонята это пушка, 30 эпох, вес 1 в негативе, оранж (трен на другой модели есличе), 4 последовательных рандом ролла.
Настройки тренирования вот, проверьте все ли норм или перезапустить на более лучших можно или нет
!accelerate launch \
--num_cpu_threads_per_process 8 train_network.py \
--network_module=networks.lora \
--pretrained_model_name_or_path="/content/drive/MyDrive/delib.ckpt" \
--train_data_dir="/content/drive/MyDrive/sd/dataset/sincos" \
--reg_data_dir="/content/drive/MyDrive/sd/dataset/sincos_reg" \
--output_dir="/content/drive/MyDrive/sd/stable-diffusion-webui/models/Lora/" \
--caption_extension=".txt" \
--prior_loss_weight=1 \
--resolution=512 \
--enable_bucket \
--min_bucket_reso=320 \
--max_bucket_reso=960 \
--train_batch_size=8 \
--learning_rate=1e-3 \
--unet_lr=1e-3 \
--text_encoder_lr=6e-4 \
--max_train_epochs=100 \
--mixed_precision="fp16" \
--save_precision="fp16" \
--use_8bit_adam \
--xformers \
--save_every_n_epochs=5\
--save_model_as=pt \
--clip_skip=1 \
--seed=1 \
--network_dim=32 \
--network_alpha=1 \
--max_token_length=225 \
--cache_latents \
--lr_scheduler="cosine" \
--lr_scheduler_num_cycle=1 \
--output_name="sincoslora" \
--shuffle_caption \
--keep_tokens=1 \
# --lr_warmup_steps= 40 \
Не, он конечно юзер-френдли, но в таких вещах сонсолечка да текстовые инпуты привычнее и удобнее. Плюс за минуту пишется оснастка, которая делает серию с варьированием нужных параметров, копирует нужные эпохи к ватоматику, выдает параметры для тестовых гридов и т.д.
Народ на гуи не жалуется значит норм
> кратно увеличивает скорость тренировки
Если по времени судить то 8 по сравнению с 1 справляются быстрее в 2 раза, оно впринципе видно по потреблению карты (140 и 300 вместо 500, оптимизация нахуй), что там по скорости сходимости и качеству тренировки вопрос сложнее.
Скидывай
Ты конечно молодец, но у меня есть подозрения, что этот промт влияет на генерацию (помимо рук)
Нужны гриды с ним и без
>что этот промт влияет на генерацию (помимо рук)
Слева без лоры, справа с лорой.
Маленькая выборка, по этому сравнению могу сказать что изменений нет, даже в чем-то хуже (нет ногтей), а лишний палец слева спишу на погрешность. Я без негатива, ты уж нормально пойми
> loss 0.05
Ух бля, будем надеятся что это не оверфит :) Не уверен что настолько маленький лосс это хорошо
>Маленькая выборка
Я дохера тестов начикал уже, и ваще выше писал что влияние на модели мизерное и на прошлой трене было.
>даже в чем-то хуже (нет ногтей)
Да ногти поебать, они теряются и так на 512 разрешении без динамик трещелдинга (я его выкл), главное что слева бабская рука, справа детская.
>а лишний палец слева спишу на погрешность.
Ну тащемта это не погрешность иксформерса, а реально лишний палец, на похожих картинках с капом в такой позе постоянно такое.
Сделай грид на десяток вариантов хотябы, ну и модель скидывай. А так левый вариант поправить легко и выглядит естественнее, на правом более коряво
> Ух бля, будем надеятся что это не оверфит
На таком примере вообще сложно что-то оценивать и хз понимает ли сеть чему ее учат
Ну, что-то вышло
https://mega.nz/folder/ywB2WDAI#l6A1iJkHbmqgXWcAdECMvQ
sayori, kanzeon, без лоры
Привык к большим сетам, где я все лишнее вырезаю фотошопом. В случае с kanzeon прилепилась кошка.
> пик 2-3
Прям ванильная наи модель под клипскипом 1
>Сделай грид на десяток вариантов хотябы
Какой смысол, никогда гриды не делаю. Лучше модель просто кину сами ебитесь.
>А так левый вариант поправить легко и выглядит естественнее, на правом более коряво
Тот пример про влияние лорки на стиль...
>На таком примере вообще сложно что-то оценивать
Предлагай как проверять. Просто рендер руки?
>хз понимает ли сеть чему ее учат
Конечно, там же все расписано в датасете.
> Предлагай как проверять.
Персонаж клозап на простом фоне как здесь, персонаж фуллбади, фуллбади на пестром фоне, то же но со взаимодействием (что-то держит, делает жест и т.д.). По нескольку вариантов с/без в разрешении хотыбя 720п где уже можно судить.
Очень интересно посмотреть на тренировочные образцы
Уважаемые гуру, помогите скорректировать лерн рейт пожалуйста под батч сайз, трогал всё кроме него
accelerate launch --num_cpu_threads_per_process 16 train_network.py --network_dim=64 --network_alpha=64 --network_module=networks.lora --unet_lr=0.0001 --text_encoder_lr=0.00005 --lr_scheduler=cosine --pretrained_model_name_or_path="D:\Train\model\model.ckpt" --vae="D:\Train\vae\vae.ckpt" --train_data_dir="D:\Train\dataset" --in_json="D:\Train\temp\meta_lat.json" --output_dir="D:\Train\lora_files" --output_name=himitsu-styled --save_precision=fp16 --save_every_n_epochs=1 --save_model_as=safetensors --resolution=768,768 --train_batch 5 --mixed_precision=bf16 --max_token_length 225 --max_train_epochs=10 --cache_latents --dataset_repeats=10 --shuffle_caption --gradient_accumulation_step=1 --clip_skip=2 --xformers --use_8bit_adam
датасет из 380 картинок примерно
Не мало ли шагов вообще? Где то читал что лучше 15к и выше
accelerate launch --num_cpu_threads_per_process 16 train_network.py --network_dim=64 --network_alpha=64 --network_module=networks.lora --unet_lr=0.0001 --text_encoder_lr=0.00005 --lr_scheduler=cosine --pretrained_model_name_or_path="D:\Train\model\model.ckpt" --vae="D:\Train\vae\vae.ckpt" --train_data_dir="D:\Train\dataset" --in_json="D:\Train\temp\meta_lat.json" --output_dir="D:\Train\lora_files" --output_name=himitsu-styled --save_precision=fp16 --save_every_n_epochs=1 --save_model_as=safetensors --resolution=768,768 --train_batch 5 --mixed_precision=bf16 --max_token_length 225 --max_train_epochs=10 --cache_latents --dataset_repeats=10 --shuffle_caption --gradient_accumulation_step=1 --clip_skip=2 --xformers --use_8bit_adam
датасет из 380 картинок примерно
Не мало ли шагов вообще? Где то читал что лучше 15к и выше
Во-первых,
Во-вторых, умножай ЛРы на твой батч сайз, т.е. на 5.
> датасет из 380 картинок примерно
Если у тебя такой большой датасет, попробуй для начала сделать 10 повторений на пикчу, поставь 10 эпох. Это будет 380 / 5 * 10 = 760 шагов, смотри что получится, корректируй в зависимости от результата. Телепатов нет. Универсального рецепта тоже. Необходимые настройки нащупываются путём проб и ошибок, с опытом ты будешь с первого раза более точно определять что примерно нужно ставить. Главное не допусти главную ошибку новичка - много не равно хорошо. Лора моментально перетренировывается, это достаточно быстрый метод обучения.
спасибо анон
!unzip ...
Или как-то так. Стэковерфлоу знает ответ на твой вопрос, или проблемы с инглишем?
Восклицательный знак в начале строки означает, что строка не на питоне, а на баше.
Мануал по кагглу в студию!
перекоптил?
Как в лора скрипте указать относительные пути к папкам? Хочу сделать вросто копипасте кучу готовых конструкций и потом залить разные сеты в папки.
Пытаюсь потренить рожи, но лора портит и упрощает и остальные части тела и фоны, треню на Any4.0
Какие есть методы для трени только рожи, но чтобы не портило и остальное?
Какие есть методы для трени только рожи, но чтобы не портило и остальное?
а силу лорки пробовал снижать уже во время использования?
А где это меню на третьем пике? Model merge?
ИТТ делимся результатами обучения, советами, лайфхаками, наблюдениями, обсуждаем внутреннее устройство диффузионных моделей, собираем датасеты, решаем проблемы и экспериментируем
Тред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются
➤ Гайды по обучению
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
✱ Текстуальная инверсия (Textual inversion) может подойти, если сеть уже умеет рисовать что-то похожее:
https://rentry.org/textard (англ.)
✱ Гиперсеть (Hypernetwork) может подойти, если она этого делать не умеет; позволяет добавить более существенные изменения в существующую модель, но тренируется медленнее:
https://rentry.org/hypernetwork4dumdums (англ.)
✱ Dreambooth – выбор 24 Гб VRAM-бояр. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://github.com/nitrosocke/dreambooth-training-guide (англ.)
✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_LoRA_Dreambooth_guide
✱ Text-to-image fine-tuning для Nvidia A100/Tesla V100-бояр:
https://keras.io/examples/generative/finetune_stable_diffusion/ (англ.)
Бонус. ✱ Text-to-image fine-tuning для 24 Гб VRAM:
https://rentry.org/informal-training-guide (англ.)
➤ Гугл колабы
﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA [1] https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb
﹡LoRA [2] https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z
➤ Полезное
Гайд по фиксу сломанных моделей: https://rentry.co/clipfix (англ.)
Расширение WebUI для проверки "сломаных" тензоров модели: https://github.com/iiiytn1k/sd-webui-check-tensors
Гайд по кручению весов слоев моделей: https://rentry.org/mp2dt
Гайд по апскейлу: https://rentry.org/SD_upscale
Подборка мокрописек от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
Коллекция лор от анонов: https://rentry.org/2chAI_LoRA (заливать лоры можно сюда https://technothread.space/ пароль 2ch)
Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/gayshit/makesomefuckingporn
Сервер анона с моделями: https://static.nas1.gl.arkprojects.space/stable-diff/
Шапка: https://rentry.org/ex947
Прошлые треды:
№1 https://arhivach.ng/thread/859827/
№2 https://arhivach.ng/thread/860317/
№3 https://arhivach.ng/thread/861387/