Indigo-TF

Versi TensorFlow/Keras dari proyek Indigo — model bahasa GPT kecil yang dibangun dari nol (tanpa library transformers).

Format checkpoint identik dengan repo utama (.safetensors + _meta.json), dibedakan lewat field backend: tensorflow sehingga tidak tertukar dengan checkpoint PyTorch.

Arsitektur

Komponen	Nilai default
Tipe	Decoder-only transformer (pre-LN)
Layer / Head	4 / 4
Dimensi embedding	128
Konteks (block_size)	128 token
Tokenizer	`char` (karakter) atau `bpe` (byte-pair encoding)
Attention	Multi-head causal (use_causal_mask)
Aktivasi	GELU (MLP)

Struktur file

indigotf/
  model.py         build_gpt + generate (top-k, temperature)
  common.py        clean_text, meta save/load, build_tokenizer
  bpe.py           Tokenizer BPE level-byte
  tokenizer.py     Tokenizer karakter

train.py           Training loop (split val, best-checkpoint, resume, cosine LR + warmup)
generate.py        Inferensi dari checkpoint .safetensors
data/sample.txt    Teks contoh Indonesia

Pakai

pip install -r requirements.txt

# Training
python train.py --data data/sample.txt --steps 2000
python train.py --data data/sample.txt --tokenizer bpe --vocab-size 512
python train.py --init-from out/indigo_best.safetensors --steps 1000   # resume

# Generate
python generate.py --prompt "Indigo" --max-new 300
python generate.py --ckpt out/indigo_best.safetensors --seed 42

Fitur setara repo utama: pembersihan teks, split validasi per-file, best-checkpoint (dengan metadata step yang akurat untuk resume), --init-from, tokenizer char/bpe, cosine LR + warmup, serta pilihan --device.

Batasan

GPU TensorFlow di Windows native tidak didukung sejak TF 2.11 — gunakan WSL2/Colab/Linux.
Sampling generasi baru mendukung top-k dan temperature (belum top-p / repetition penalty).
Model dilatih pada data sangat kecil → output belum koheren; untuk edukasi, bukan produksi.

Downloads last month: -