Какой формат модели KREA2 выбрать под свою видеокарту?!

В последнее время поступает очень много вопросов о том, какую модель Krea 2 Turbo или Raw и в каком формате квантования лучше выбрать под конкретную видеокарту — от народной RTX 3060 до RTX 5080. Разброс
размеров файлов огромный (от 7 до 24 ГБ), а аббревиатуры вроде INT8
ConvRot или NVFP4 могут легко запутать.
На самом деле универсального решения нет. То, что будет летать на одном
поколении карт, может дико тормозить на другом.
Чтобы получить максимальную скорость генерации и не разочароваться в качестве, выбирать формат нужно строго под архитектуру вашей видеокарты. Давайте разберем, как обстоят дела, начиная со старых поколений и заканчивая новинками.
Что насчет RTX 2000-й серии (RTX 2060, 2070, 2080)?
Запустить Krea 2 Turbo на картах поколения Turing вполне реально, но здесь есть два критических нюанса:
- Отсутствие аппаратной поддержки BF16.Архитектура RTX 2000 не умеет работать с BF16 на уровне железа. Если вы попытаетесь запустить оригинальный BF16-чекпоинт, карта начнет эмулировать вычисления через медленный FP32, и скорость генерации упадет наверное в десятки раз.
- Дефицит видеопамяти. Большинство этих карт имеют всего 6 или 8 ГБ VRAM.
Поэтому для RTX 2000-й серии оптимальным выбором по скорости и стабильности будет классический FP16. Если же модель упорно не влезает в память и генерация вылетает с ошибкой, можно попробовать использовать FP8 Scaled, но будьте готовы к тому, что скорость просядет из-за программной эмуляции сжатия.
RTX 30-й и 40-й серий (RTX 3060, 3080, 4070, 4080)