Koliber v1.0 Base
Koliber v1.0 Base is a compact Polish decoder-only causal language model developed by OrisTeam and trained from scratch.
It is a base pretrained model, not an instruction-tuned assistant or chatbot. It is intended primarily for text completion and as a foundation for further supervised fine-tuning, preference optimization, continued pretraining, research, and experimentation.
This is a copy of the Koliber v1.0 Base repository documentation. The original model and official repository are available at: https://huggingface.co/OrisTeam/Koliber-v1.0-Base
Model
| Property | Value |
|---|---|
| Parameters | 126,044,928 (126M) |
| Layers | 12 |
| Hidden size | 768 |
| Query heads / KV heads | 12 / 2 |
| Head dimension | 64 |
| FFN | 3072 |
| Context length | 1536 |
| Attention | GQA |
| Positional encoding | RoPE |
| Activation | SwiGLU |
| Normalization | RMSNorm |
| Bias | No |
| LM head | tied embeddings |
| Training tokens | 2,534,400,000 (~2.534B) |
| Language | primarily Polish |
| Stage | base pretraining |
Training-only future-state auxiliary objective
Koliber was trained with standard next-token prediction together with a small auxiliary hidden-state prediction objective.
A training-only head learns to predict a future hidden representation approximately 128 tokens ahead, sampled every 32 tokens, using a low-rank 192-dimensional projection and cosine-distance loss.
The auxiliary loss was applied with a weight of 0.03:
L = L_NTP + 0.03 × L_future
The auxiliary head is not part of the released inference model, adds no inference-time parameters, and is not required when loading or generating with Koliber.
Loading
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "OrisTeam/Koliber-v1.0-Base"
tokenizer = AutoTokenizer.from_pretrained(
repo_id,
trust_remote_code=True,
)
model = AutoModelForCausalLM.from_pretrained(
repo_id,
trust_remote_code=True,
)
Generation
Koliber is primarily a text-completion model. Natural text prefixes are generally more appropriate than instruction-style chat prompts.
inputs = tokenizer(
"Polska jest krajem, który",
return_tensors="pt",
)
output = model.generate(
**inputs,
max_new_tokens=96,
do_sample=True,
temperature=0.8,
top_k=40,
top_p=0.95,
repetition_penalty=1.15,
)
print(
tokenizer.decode(
output[0],
skip_special_tokens=True,
)
)
Base-model generation snapshot
Below are raw sampled continuations from Koliber v1.0 Base — 126M and Azurro/APT3-275M-Base — 275M.
Both are base pretrained language models rather than instruction-tuned assistants.
The same generation setup was used for both models:
seed = 1234
max_new_tokens = 96
temperature = 0.8
top_k = 40
top_p = 0.95
repetition_penalty = 1.15
The random seed was reset before each model and each prompt. The examples are shown as qualitative samples, not as a ranking.
Example 1
Prompt
Wczoraj wieczorem mieszkańcy miasta zauważyli, że
Koliber v1.0 Base — 126M
Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy 3 Maja w tym rejonie znajduje się sklep spożywczy. Ulicami tej ulicy przejeżdżało kilka samochodów i zjeżdżały tam samochody.
- W ciągu kilku godzin na ulicy 3 Maja zostały uszkodzone szyby samochodów. Wypadek miał miejsce na rondzie oraz ulicy 3 Maja - informuje policja.Humor: The Last of Us - film.gildia.pl - serial, newsy, recenzje
Zjawa: W tle pogłoski, o
APT3-275M-Base — 275M
Wczoraj wieczorem mieszkańcy miasta zauważyli, że na ulicy pojawia się duża liczba osób. W jednym z mieszkań pojawił się mężczyzna. Mężczyzna zaczął krzyczeć i uderzał pięściami po twarzy. Mężczyzna był tak pijany, że nie wiedział, co robić. Wezwano Policję. Policjanci ustalili tożsamość mężczyzny, który wyszedł na ulicę. Policjanci szybko ruszyli do funkcjonariuszy. Jeden z nich miał zadać uderzenie w głowę, drugi w plecy, trzeci uderzył w twarz. Policjantom udało się ustalić, kto jest sprawcą zdarzenia. Po interwencji funkcjonariusze Wydziału Ruchu Drogowego
Example 2
Prompt
Naukowcy odkryli nową metodę, która
Koliber v1.0 Base — 126M
Naukowcy odkryli nową metodę, która pozwoli na zmniejszenie strat ciepła w budynkach.
- W praktyce, nie tylko na zewnątrz budynku, ale i na zewnątrz, to właśnie dzięki wykorzystaniu światła słonecznego. Dzięki temu nasze domy są bardziej ekologiczne, mniej zużywane przez wiele lat – powiedział Daniel Knopfman, dyrektor generalny firmy Reverend Systems.
O tym, że zastosowanie takich technologii może przyczynić się do poprawy wydajności energetycznej budynków, można dowiedzieć się z najnowszej konferencji „Ultrasolar Foundation
APT3-275M-Base — 275M
Naukowcy odkryli nową metodę, która pozwala na uzyskanie efektu w czasie zaledwie jednego dnia. Dzięki niej możliwe jest nie tylko osiągnięcie efektu z czasem, ale też uzyskanie efektu po upływie kilku dni do wykonania zabiegu. Efekty są naprawdę spektakularne i nie trzeba ich powtarzać dwa razy w tygodniu, aby uzyskać wymarzony efekt. Co więcej, takie zabiegi mogą również trwać kilka miesięcy. Po tym okresie należy wykonać kolejne zabiegi w odstępach miesięcznych, a efekty wyglądają niemal tak samo. W Polsce można skorzystać z trzech rodzajów zabiegów w salonach medycyny
Example 3
Prompt
Według najnowszych danych gospodarka
Koliber v1.0 Base — 126M
Według najnowszych danych gospodarka USA rośnie w tempie 2,7% rocznie.
W ciągu ostatnich lat liczba mieszkańców Stanów Zjednoczonych wzrosła o 10%. Jednak już teraz, jak wynika z raportu Deloitte, z roku na rok przybywa nowych mieszkańców Stanów Zjednoczonych.
Z danych Instytutu Ekonomicznego BBC wynika, że w 2017 roku w Stanach Zjednoczonych przybyło 2,5 tys. osób. Średnia wieku Amerykanów wynosi 21 lat. Na koniec maja 2017 roku, Amerykanie w tym okresie mieszkali w ponad 13,9
APT3-275M-Base — 275M
Według najnowszych danych gospodarka i społeczeństwo z ostatnich miesięcy wygląda następująco: W 2022 roku wskaźnik siły nabywczej pieniądza spadł w Polsce o ponad 1 punkt procentowy. W 2021 r. inflacja wyniosła 17,9 proc., natomiast rok później spadła do poziomu 7,4 proc. Ten spadek jest szczególnie widoczny w przypadku gospodarstw domowych utrzymujących się ze stałych dochodów oraz rodzin wielodzietnych. Z kolei osoby, które nie są w stanie pokryć kosztów utrzymania swoich dzieci, najczęściej decydują się na odkładanie pieniędzy na konta bankowe lub oszczędnościowe. Co ciekawe,
Example 4
Prompt
Największym problemem współczesnych miast jest
Koliber v1.0 Base — 126M
Największym problemem współczesnych miast jest ich bezpieczeństwo. Według statystyk w Polsce z powodu wypadków drogowych i kolizji drogowych zginęło co najmniej 12 osób, a na 100 z nich zginęły cztery osoby.TOP 10 najlepszych blogerów, którzy czytają książki: Zdradza (nie)zabawki
Zdradza (nie)zabawki
"Zdradza", czyli "Zdrada" to najnowsza edycja bestsellera autorki. I nie chodzi tu o takie banały jak "Wymysły
APT3-275M-Base — 275M
Największym problemem współczesnych miast jest ich zróżnicowanie. Nie ma idealnego miejsca dla każdego z nich. Są miasta bardzo małe, z małą liczbą mieszkańców, a jednocześnie o dużej liczbie mieszkańców. Jak znaleźć odpowiednie miejsce na wakacje w województwie? W celu szybkiego znalezienia idealnego miejsca dla siebie lub dla swojego dziecka poszukaj na stronie google.pl. Najpopularniejsze ośrodki narciarskie w województwie to Międzyzdroje i Zakopane. fot.
Lukasz Kmiecik: Turystyczne miejscowości Podhalańskie Na terenie miejscowości Pod
Example 5
Prompt
Historia Polski pokazuje, że
Koliber v1.0 Base — 126M
Historia Polski pokazuje, że przy odrobinie szczęścia można zbudować w pełni satysfakcjonujące życie.
- Nie ma dla mnie rzeczy niemożliwych - dodaje z uśmiechem. To jak by to było, gdyby nie pomoc przyjaciół z Afryki, którzy w swoich działaniach bardzo dbają o swój los. - Jak najbardziej warto, bo od nich zależy na ile się da i jak będzie wyglądać nasza przyszłość.
W rozmowie z Radiem Zet nie zabrakło też słów od dziennikarzy i działaczy samorządowych.
- Chcemy po prostu pomagać, bo
APT3-275M-Base — 275M
Historia Polski pokazuje, że jest to miejsce niezwykle interesujące i warte uwagi. W każdym z tych miejsc nie brakuje historii, jak np. w Warszawie czy Szczecinie - opowiada.
Polska jest tak ważna dla Polonii, jak sama ją wspomina i rozwija, ponieważ Polska jest krajem pełnym piękna i kultury oraz historii. To miasto i jego mieszkańcy od wieków mają na sercu kulturę, historię, obyczaje oraz historię. Ta dziedzina sztuki zasługuje na uznanie. Miasto, które ma ogromną tradycję w swoim zakresie kulturowym, jest w dużej mierze
These are raw sampled base-model continuations. They have not been manually corrected.
They may contain invented names, incorrect facts, inconsistent numbers, malformed statements, repetition, abrupt topic changes, web-like artifacts, offensive material, or other errors typical of small pretrained language models.
Limitations and safety
Koliber v1.0 Base has not been supervised instruction-tuned and has not undergone preference optimization or chat alignment.
Raw generations may:
- drift off topic or switch abruptly between document styles,
- repeat or produce malformed text,
- imitate web, news, forum, advertising, or scraped-document patterns,
- hallucinate factual claims, citations, people, organizations, dates, or statistics,
- produce offensive, discriminatory, harmful, sexual, violent, or otherwise undesirable content,
- continue unsafe or malicious patterns present in a prompt,
- behave unpredictably outside distributions represented during pretraining.
Do not rely on raw generations for medical, legal, financial, safety-critical, or other high-stakes decisions.
Developers building downstream applications should perform their own safety evaluation, filtering, alignment, and domain-specific validation.
Intended use
Koliber v1.0 Base is intended for:
- research on small Polish language models,
- text-completion experiments,
- likelihood-based and representation-level evaluation,
- continued pretraining,
- supervised fine-tuning,
- preference optimization,
- development of downstream Polish-language models.
It is not presented as a safety-aligned assistant.
Citation
@misc{KoliberV1Base,
author = {Aleksander Ogrodzki},
title = {Koliber v1.0 Base},
year = {2026},
publisher = {Hugging Face},
url = {https://huggingface.co/OrisTeam/Koliber-v1.0-Base},
note = {Model architecture, training data pipeline, and training pipeline developed by the author}
}
License
Apache-2.0.