量子化

TL;DR コーディングエージェント用途でサクサク動く LLM が欲しかったので量子化モデルを作りました。Deepseek Harness で運用してますがそこそこ動きます。 llama.cpp に対応してますので興味がある方はお試しください。 Sanshoku-Qwen3.8-3.6-27B-blend-GGUFhuggingface.co/oshiteku/Sanshoku-Qwen3.8-3.6-27B-blend-GGUF 学習 Qwen3.8-3.6-27B-blend を参考にマージモデルを教師として QAT (3値) 性能 RTX 4000 Ada (20 GB) で 56.8 tok/s (MTP 有効) SWE-bench Verified は 58.0% で Ternary-Bonsai-2-27B (60.8%) と同程度 1タスクあたりの時間は約4割短い (ループ抑制のチューニングを入れている) 単発の推論や知識問題は Ternary-Bonsai-2-27B に劣る Claude Code と Codex のパワーで一連の実験を進めました。1 GPU (B300) でも最適化すれば QAT は結構行けるなという印象です。 ...