Когда я вкатывался в генерации, даже что-то простое можно было генерировать минимум на 6 гигах памяти, а сейчас можно даже на 2 гигах.
Хотя тренировки вряд ли опустятся ниже 4х, ибо это стандартный размер SD 1.x-базированных моделей.
Для референса, SD 1.х линейка моделей относительно очень компактная, всего 860 миллионов параметров. Дальше будет только больше. Языковые модели уходят в миллиарды, некоторые в сотни миллиардов, и хостятся только на кластерах.
SD 2.x уже весит 5 гигов, имеет не сильно больше параметров, около 869 миллионов что ли, не помню.
Нужно смотреть, если кто-то найдёт способ тренировать только несколько слоёв одновременно, в зависимости от лимита памяти, хотя... Вроде бы это и есть техника тренировки Дримбута на менее чем 24 гигах, сливая крупную часть данных в оперативную память... Сложно сказать, как скоро появится более жёсткая оптимизация.
Но для конкретно тренировки моделей, именно с нуля, базы, оптимизаций не видел. Да и не под силу это всё-таки для личного пользования, по крайней мере моделей на уровне SD. Там же тренировки на миллиардах картинок идут.
Нам доступен только максимум файн-тюн уже тренированных моделей. И тот, в зависимости от типа тренировки только для обладателей 3080+.
ЛОРА можно тренировать на 6 гигах(но это не точно), но лучше 8. Но я не могу сказать, насколько это эффективно для крупного изменения модели. Я максимум делал на 620 картинках, это относительно очень небольшой файн-тюн, который многому не научит, использовал для улучшения общего качества генераций.
Про Дримбут не скажу, так как это случай, где нужно хотя бы 10 гигов, которых у меня нет. Но людям ЛОРА вроде заходит больше, но появилась она недавно, поэтому прямо разницу пока назвать трудно.
Можно сильно изменять генерацию с помощью надстройки в виде гиперсетей, но саму модель это не тренирует.
Эмбеддинги позволяют создать знание о чём-то конкретном через тренировку инверсии, но это так же не меняет модель, а позволяет добавлять новые токены, но отдельно от модели, хоть и работать они будут лучше всего с той, на которой тренированы.
Ни одна из вышеперечисленных тренировок не работает на 4 гигах. 6 это самый минимум, и тот, только для эмбеддингов и, возможно, ЛОРА, но это не реалистично проводить крупную тренировку на медленных и слабых видеокартах.
https://danbooru.donmai.us/wiki_pages/tag_groups
Отдельная среда, ну это же будет сложнее, чем просто поставить так, правильно же? Я хотел сделать самый простой, что бы большинство не подумало "да ну нахер с этим ебаться", поэтому за базу взял популярный гайд от Волди, который имеет такие вот шаги. Раньше было по другому, но я не программист, разницу не пойму. Ставил с помощью анаконды, вроде что-то такое создавалось, типа отдельная среда вроде, но я не разбираюсь.
За картинки - это я догадывался, но думаю сам понимаешь, у меня оно уже стоит, а устанавливать заново эти гигабайты питона ради картинок такая себе идея. е_е
Эх, Винда ¯\_(ツ)_/¯
Спасибо за фидбэк. Если буду писать гайды по расширениям - там будут картинки, для них не трудно сделать :D