Instructions to use youngbongbong/empathymodel with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use youngbongbong/empathymodel with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="youngbongbong/empathymodel",
	filename="merged-empathy-8.0B-chat-Q4_K_M.gguf",
)

llm.create_chat_completion(
	messages = "No input example has been defined for this model task."
)

Notebooks
Google Colab
Kaggle
Local Apps

llama.cpp

How to use youngbongbong/empathymodel with llama.cpp:

Install from brew

brew install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf youngbongbong/empathymodel:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf youngbongbong/empathymodel:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf youngbongbong/empathymodel:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf youngbongbong/empathymodel:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf youngbongbong/empathymodel:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf youngbongbong/empathymodel:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf youngbongbong/empathymodel:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf youngbongbong/empathymodel:Q4_K_M

Use Docker

docker model run hf.co/youngbongbong/empathymodel:Q4_K_M

LM Studio
Jan
Ollama
How to use youngbongbong/empathymodel with Ollama:
```
ollama run hf.co/youngbongbong/empathymodel:Q4_K_M
```

Unsloth Studio new

How to use youngbongbong/empathymodel with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for youngbongbong/empathymodel to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for youngbongbong/empathymodel to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for youngbongbong/empathymodel to start chatting

Docker Model Runner
How to use youngbongbong/empathymodel with Docker Model Runner:
```
docker model run hf.co/youngbongbong/empathymodel:Q4_K_M
```

Lemonade

How to use youngbongbong/empathymodel with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull youngbongbong/empathymodel:Q4_K_M

Run and chat with the model

lemonade run user.empathymodel-Q4_K_M

List all available models

lemonade list

💬 EM-BLOSSOM: Empathy-Stage Korean Chatbot Model

🧠 모델 소개

이 모델은 Transtheoretical Model (TTM)의 Pre-contemplation 단계에 해당하는
**공감 기반 대화(Empathic Listening, 감정 명명)**에 특화된 한국어 챗봇 모델입니다.

🩵 사용자의 감정을 정확히 파악하고 반영하는 공감적 반응 생성
✨ GPT 기반 시나리오 생성 → 수작업 정제 후 Bllossom LLM 파인튜닝
✅ llama.cpp 호환 가능한 GGUF 포맷

🎯 사용 목적

정신건강 챗봇 시스템의 도입부, 감정 이해 기반 응답 설계
감정 명명, 비판단적 반영, 비언어적 반응 재현 등
인지행동치료(CBT) 흐름 내 공감적 연결을 위한 모델로 활용

🛠 모델 세부 정보

항목	설명
Base model	`llama-3-Korean-Bllossom-8B`
Fine-tuning type	Instruction-tuned, GPT-gen dialogue
Format	GGUF (`merged-empathy-8.0B-chat-Q4_K_M.gguf`)
Turns Trained	약 800턴의 공감 시나리오
Compatible with	llama.cpp, koboldcpp, Web UI 등

💬 예시 대화

[사용자] 요즘은 그냥... 아무것도 하기 싫어요.

[챗봇] 아무것도 하기 싫다는 말에, 정말 많이 지치고 계신 것 같아요.  
혹시 최근에 감정적으로 힘들었던 일이 있었나요?

📌 학습 데이터

GPT-4 기반 다중턴 감정 표현 시나리오 생성
감정 명명, 반영 질문, 경청적 반응을 중심으로 수작업 정제
총 800턴, 한국어 중심, 초기 감정 표현 탐색 구조에 맞춤

⚠️ 유의사항

실제 심리상담을 대체하지 않습니다.
비상업적 연구, 상담 시스템 프로토타이핑 용도로 추천됩니다.
감정 표현 유도 모델이므로 상황별 필터링 필요할 수 있습니다.

👩‍💻 개발자 정보

이름: 윤소영 (SoYoung Yun)
이메일: thdud041113@g.skku.edu
GitHub: @yunsoyoung2004

🤍 이 모델은 "당신의 감정을 먼저 들어주는 챗봇"을 위한 시작점입니다.
likes: 0 이더라도, 그 감정만큼은 진심으로 받아들입니다.

Downloads last month: 10

GGUF

Model size

8B params

Architecture

llama

Hardware compatibility

4-bit

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support