LLM-OS-Models2/gdn2-1.3b-paper-matched

GDN-2 1.3B — paper-matched pretrain (LIVE)

FineWeb-Edu로 GDN-2 1.3B를 paper recipe 그대로 학습한 체크포인트 시리즈. 5B 토큰부터 100B 토큰까지 5B 간격으로 저장됨. 현재 LIVE training 중 (완료 예상: 2026-07-19 일요일 오후).

레포 구조

모든 checkpoint가 같은 repo에 model-{N}b.pth 형태로 정리됨:

파일	학습 토큰	val_loss	비고
model-5b.pth	5B	(참조)	가장 초기
model-10b.pth	10B	(참조)	—
model-15b.pth	15B	(참조)	—
model-20b.pth	20B	(참조)	—
model-25b.pth	25B	(참조)	—
model-30b.pth	30B	(참조)	—
model-35b.pth	35B	(참조)	—
model-40b.pth	40B	2.053 mean	step 88K, NEW ALL-TIME LOW
model-45b.pth ~ model-100b.pth	—	—	LIVE training 완료 후 추가

각 파일은 단일 model.pth (17.4GB) — litgpt format.

학습 셋업 (paper-matched)

• 백본: GDN-2 1.3B (config: tsz128x4k_100B)
• 데이터: FineWeb-Edu (sample 10M, seed 1337 + 1B warmup)
• batch_size: 0.5M tokens = 128 seqs × 4096 tokens
• Learning rate: 4e-4, cosine decay
• warmup: 1B tokens (2K steps)
• target: 100B tokens (200K steps)
• GPU: 8× H200 DDP
• throughput: 34.46K tokens/s/GPU (275K tokens/s/step)
• 러처: dsc/scripts/pretrain_gdn2_1.3B_paper_matched.sh

val_loss 궤적 (2026-07-17 기준)

step  val_loss(mean)  비고
8K    2.114
16K   2.138
24K   2.110
32K   2.123
40K   2.081
48K   2.087
56K   2.057          previous low
64K   2.081
72K   2.057          tied
80K   2.057          tied
88K   2.053          NEW ALL-TIME LOW

사용법 (litgpt)

from lit_gpt import GPT
# 특정 step 로드
model = GPT.from_pretrained(
    "LLM-OS-Models2/gdn2-1.3b-paper-matched",
    checkpoint_file="model-40b.pth",
)

평가 결과

RULER / LongBench / BABILong / InfiniteBench 결과는 GDN2_RULER_STANDARD_RESULTS_KO.md 참조 (training 완료 후 평가 예정).

인용 / 재현

• 코드: https://github.com/gyunggyung/LLM-OS-Models (long-gdn/dsc/)
• 런처: dsc/scripts/pretrain_gdn2_1.3B_paper_matched.sh
• 학습 로그: dsc/runs/logs/gdn2_1.3B_fineweb_edu_100bt_paper_matched_20260715T033419Z.log

라이센스

Apache 2.0. FineWeb-Edu dataset은 원본 license 따름.