RobinGru/FLUX.2-dev-INT8-CONVROT-CORE-NVFP4

FLUX.2-dev INT8 ConvRot Core + NVFP4

This repository distributes a quantized derivative of black-forest-labs/FLUX.2-dev for non-commercial research, experimentation, testing, study, and hobby use.

License and attribution

The FLUX checkpoint is licensed under the FLUX Non-Commercial License. Read and accept LICENSE.md before downloading or using it. The required Black Forest Labs attribution and the derivative notice are in NOTICE.txt. The Mistral text encoder is separately distributed under Apache-2.0; see LICENSE-MISTRAL-APACHE-2.0.txt and NOTICE-MISTRAL.txt.

LICENSE.md is the official license text published by Black Forest Labs for FLUX [dev].

This is an independently modified derivative. It is not an official Black Forest Labs product and is not endorsed, approved, or validated by Black Forest Labs.

Files

File	Purpose
flux2_dev_INT8_CONVROT_CORE_NVFP4.safetensors	Quantized model checkpoint
mistral_3_small_text_encoder_mixed_bf16_int8convrot_nvfp4.safetensors	Optional quantized Mistral Small text encoder
SHA256SUMS.txt	SHA-256 integrity checksum
compare_v6_0_*_SUMMARY.md	Compact exact-reference comparison summary
compare_v6_0_*.txt	Full technical audit

Why use this checkpoint?

The audit directly compares this checkpoint with flux2-dev-nvfp4-mixed.safetensors, using FLUX.2-dev BF16 as the exact reference. The measured advantages of this checkpoint are efficiency-oriented:

Metric	This checkpoint	flux2-dev-nvfp4-mixed.safetensors	Result
File size	18.20 GiB	21.21 GiB	3.01 GiB / 16.5% smaller
MLP relL2 error	9.527283%	9.527362%	Slightly lower error
Median spectral error	1.501953%	1.502563%	Slightly lower error
Overall relL2 error	8.919423%	8.914095%	Other checkpoint is slightly closer to BF16
Sensitive-weight relL2 error	8.861833%	8.856014%	Other checkpoint is slightly closer to BF16
Attention relL2 error	0.894180%	0.000000%	Other checkpoint retains BF16 attention weights

In practical terms, this release is the storage-efficiency choice: it saves 3.01 GiB while the exact overall relL2 difference is only 0.005328 percentage points. The mixed BF16/NVFP4 variant is the weight-space quality choice, but its measured overall advantage is only 0.0597% relative relL2 at 16.5% more storage. No throughput, VRAM-use, or image-quality advantage is claimed; those require a matching runtime and controlled prompt/seed tests.

Quantization

The embedded checkpoint metadata reports recipe flux2_dev_int8_convrot_core_nvfp4_v1:

• 128 logical weight regions use NVFP4 with group size 16.
• 43 logical weight regions use per-row INT8 TensorWise with ConvRot.
• The logical source dtype recorded in the metadata is BF16.

Validation

The included audit compares this checkpoint and a mixed NVFP4/BF16 checkpoint against FLUX.2-dev BF16 in exact mode.

Check	Result
Compared elements	32,223,264,768
Exact element coverage	100%
Failed or skipped comparisons	0
This checkpoint's overall relL2 to BF16	8.919423%
This checkpoint's size	18.20 GiB

The audit is a weight-space reconstruction comparison. It is not an end-to-end image-quality benchmark; no matching prompt/seed output cache was provided for this release.

Compatibility

The checkpoint is a single .safetensors file containing quantization metadata for NVFP4 and INT8 ConvRot. Use it only in runtimes that explicitly support these formats and the associated auxiliary tensors. Verify compatibility in a controlled local workflow before relying on it.

Native NVFP4 execution requires NVIDIA Blackwell hardware (compute capability 10.0 or newer), such as NVIDIA GeForce RTX 50-series GPUs, plus a compatible runtime. Some runtimes can emulate NVFP4 on earlier GPUs by dequantizing to BF16 during execution; this is runtime-specific and may be slower. It is not a guaranteed compatibility path.

The optional Mistral Small text encoder contains 182 NVFP4 and 28 INT8 ConvRot logical regions. It is supplied as a companion file, not as evidence of a verified end-to-end pairing: this release does not include a tested workflow or prompt/seed comparison for the model-and-encoder combination.

Use restrictions

This derivative remains subject to all restrictions in the FLUX Non-Commercial License, including the prohibition on commercial or production use. Do not present it as an official Black Forest Labs release. You are responsible for lawful use and for any content-filtering, review, disclosure, export-control, or other obligations that apply to your use.

---

Deutsch

Dieses Repository enthält eine quantisierte Ableitung von black-forest-labs/FLUX.2-dev für nichtkommerzielle Forschung, Experimente, Tests, Studium und Hobbyprojekte.

Dateien

Datei	Zweck
flux2_dev_INT8_CONVROT_CORE_NVFP4.safetensors	Quantisierter FLUX.2-dev-Checkpoint
mistral_3_small_text_encoder_mixed_bf16_int8convrot_nvfp4.safetensors	Optionaler quantisierter Mistral-Small-Textencoder
SHA256SUMS.txt	SHA-256-Prüfsummen
compare_v6_0_*_SUMMARY.md	Kompakter exakter Referenzvergleich
compare_v6_0_*.txt	Vollständiger technischer Audit

Warum diesen Checkpoint verwenden?

Der Audit vergleicht diesen Checkpoint direkt mit flux2-dev-nvfp4-mixed.safetensors gegen FLUX.2-dev BF16 als exakte Referenz. Die gemessenen Vorteile dieses Checkpoints liegen bei der Effizienz:

Messwert	Dieser Checkpoint	flux2-dev-nvfp4-mixed.safetensors	Ergebnis
Dateigröße	18,20 GiB	21,21 GiB	3,01 GiB / 16,5% kleiner
MLP-relL2-Fehler	9,527283%	9,527362%	Minimal niedrigerer Fehler
Medianer spektraler Fehler	1,501953%	1,502563%	Minimal niedrigerer Fehler
Gesamt-relL2-Fehler	8,919423%	8,914095%	Andere Variante ist minimal näher an BF16
relL2 empfindlicher Gewichte	8,861833%	8,856014%	Andere Variante ist minimal näher an BF16
Attention-relL2-Fehler	0,894180%	0,000000%	Andere Variante behält BF16-Attention-Gewichte

Praktisch ist dieser Release die speichereffiziente Wahl: Er spart 3,01 GiB, während die exakte Gesamt-relL2-Differenz nur 0,005328 Prozentpunkte beträgt. Die gemischte BF16/NVFP4-Variante ist die Weight-Space-Qualitätswahl, ihr gemessener Vorteil beträgt aber nur 0,0597% relatives relL2 bei 16,5% mehr Speicher. Es wird kein Durchsatz-, VRAM- oder Bildqualitätsvorteil behauptet; dafür sind eine passende Runtime und kontrollierte Prompt-/Seed-Tests nötig.

Quantisierung

Die eingebetteten Checkpoint-Metadaten nennen die Recipe flux2_dev_int8_convrot_core_nvfp4_v1:

• 128 logische Gewichtsbereiche nutzen NVFP4 mit Gruppengröße 16.
• 43 logische Gewichtsbereiche nutzen zeilenweises INT8 TensorWise mit ConvRot.
• Als logischer Ausgangsdatentyp ist BF16 hinterlegt.

Der begleitende Mistral-Small-Textencoder enthält 182 NVFP4- und 28 INT8 TensorWise-ConvRot-Bereiche. Er ist eine optionale Begleitdatei und kein Nachweis einer verifizierten End-to-End-Kombination.

Validierung

Prüfung	Ergebnis
Verglichene Elemente	32.223.264.768
Exakte Elementabdeckung	100%
Fehlgeschlagene oder übersprungene Vergleiche	0
Bestandene interne Konsistenzprüfungen	318
Gesamt-relL2 gegen BF16	8,919423%

Das ist ein exakter Weight-Space-Rekonstruktionsvergleich und kein End-to-End-Bildqualitäts-Benchmark. Es lagen weder ein passender Activation-Cache noch ein Prompt-/Seed-Ausgabevergleich vor.

Kompatibilität

Beide Dateien sind einzelne .safetensors-Checkpoints mit NVFP4- und INT8-ConvRot-Metadaten. Verwende sie nur in einer Runtime, die diese Formate und die zugehörigen Hilfstensoren ausdrücklich unterstützt. Prüfe die Modell-/Encoder-Kombination zuerst in einem kontrollierten lokalen Workflow.

Die native NVFP4-Ausführung erfordert NVIDIA-Blackwell-Hardware (Compute Capability 10.0 oder neuer), etwa GeForce-GPUs der RTX-50-Serie, sowie eine kompatible Runtime. Manche Runtimes können NVFP4 auf älteren GPUs durch BF16-Dequantisierung während der Ausführung emulieren; das ist runtimeabhängig und kann langsamer sein. Es ist kein garantierter Kompatibilitätspfad.

Lizenz und Attribution

Der FLUX-Checkpoint steht unter der FLUX Non-Commercial License. Lies und akzeptiere LICENSE.md, bevor du ihn herunterlädst oder nutzt. Die notwendige Black-Forest-Labs-Attribution und der Derivative-Hinweis stehen in NOTICE.txt.

Der Mistral-Textencoder wird separat unter Apache-2.0 verteilt; siehe LICENSE-MISTRAL-APACHE-2.0.txt und NOTICE-MISTRAL.txt. Dieses Repository ist kein offizieller Release von Black Forest Labs oder Mistral AI und wurde von keiner der beiden Firmen bestätigt, freigegeben oder validiert.

Für den FLUX-Checkpoint gelten weiterhin alle Einschränkungen der FLUX Non-Commercial License, einschließlich des Verbots kommerzieller oder produktiver Nutzung.