katsukiono/gemma3-270m-kana-dpo-gguf

Gemma 3 270M Kana→Kanji Candidates (DPO) - GGUF

日本語IME（キーボード予測変換）用途として、かな入力から変換候補を list 形式で返すことを目的に調整したモデルの GGUF 版です。

This repository provides GGUF quantizations converted with llama.cpp.

Base model:

• google/gemma-3-270m-it

Fine-tuning:

• SFT (full fine-tune) + DPO (preference learning)

Intended output format:

• [候補1, 候補2, 候補3, ...]

Files

• gemma3-270m-kana-dpo-f16.gguf : FP16 (large, highest fidelity)
• gemma3-270m-kana-dpo-q4_k_m.gguf : Q4_K_M (recommended for mobile)

Prompt（固定） 以下の形式で入力してください（n は実際の数に置き換え）:

キーボードの予測変換として以下のかなをn個の単語に予測変換してください。必ず単語のみを予測してlist形式で返してください。

出力形式
[候補1, 候補2, 候補3...候補10]

ーーーー以下が予測変換対象ーーーー
<かな>

Recommended inference settings (llama.cpp)

• temperature: 0
• sample: disabled (greedy)
• stop: ] （生成後に最初の [ ... ] を抽出して使うのが安全です）

Example (llama-cli) ./llama-cli -m gemma3-270m-kana-dpo-q4_k_m.gguf -p "キーボードの予測変換として以下のかなを10個の単語に予測変換してください。必ず単語のみを予測してlist形式で返してください。\n\n出力形式\n[候補1, 候補2, 候補3...候補10]\n\nーーーー以下が予測変換対象ーーーー\nかんじ\n" --temp 0 --n-predict 64

Notes / Known limitations

• モデルは候補を生成するため、辞書候補集合を厳密に守る保証はありません。
• IME用途で「辞書外候補を出さない」ことを厳密に求める場合は、辞書候補を列挙しモデルで再ランキングする方式が安定することがあります。

License / Credits

• This model is subject to the Gemma Terms of Use (follow the base model’s license/terms).
• Dataset credits and disclaimers apply (kana-kanji-pairs; Mozc dictionary derived).