https://posts.oshiteku.app/tags/%E9%87%8F%E5%AD%90%E5%8C%96/ Recent content in 量子化 on 備忘録２ https://posts.oshiteku.app/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E https://posts.oshiteku.app/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E Hugo -- 0.155.1 ja-jp Mon, 12 Oct 2026 09:00:00 +0900 https://posts.oshiteku.app/sanshoku-blend/ Mon, 12 Oct 2026 09:00:00 +0900 https://posts.oshiteku.app/sanshoku-blend/ <h2 id="tldr">TL;DR</h2> <p>コーディングエージェント用途でサクサク動く LLM が欲しかったので量子化モデルを作りました。Deepseek Harness で運用してますがそこそこ動きます。 llama.cpp に対応してますので興味がある方はお試しください。</p> <div class="link-card"> <a href="https://huggingface.co/oshiteku/Sanshoku-Qwen3.8-3.6-27B-blend-GGUF" target="_blank" rel="noopener noreferrer"><div class="link-card-content"> <div class="link-card-title">Sanshoku-Qwen3.8-3.6-27B-blend-GGUF</div><div class="link-card-url">huggingface.co/oshiteku/Sanshoku-Qwen3.8-3.6-27B-blend-GGUF</div> </div> </a> </div> <style> .link-card { margin: 1.5rem 0; border: 1px solid var(--border); border-radius: 8px; overflow: hidden; transition: box-shadow 0.2s ease; } .link-card:hover { box-shadow: 0 4px 12px rgba(0, 0, 0, 0.1); } .link-card a { display: flex; text-decoration: none; color: inherit; } .link-card-image { flex-shrink: 0; width: 200px; height: 150px; overflow: hidden; background: var(--tertiary); } .link-card-image img { width: 100%; height: 100%; object-fit: cover; } .link-card-content { flex: 1; padding: 1rem 1.25rem; display: flex; flex-direction: column; justify-content: center; } .link-card-title { font-weight: 600; font-size: 1.1rem; margin-bottom: 0.5rem; line-height: 1.4; } .link-card-description { font-size: 0.9rem; color: var(--secondary); margin-bottom: 0.5rem; line-height: 1.5; display: -webkit-box; -webkit-line-clamp: 2; -webkit-box-orient: vertical; overflow: hidden; } .link-card-url { font-size: 0.8rem; color: var(--tertiary); margin-top: auto; } @media (max-width: 640px) { .link-card a { flex-direction: column; } .link-card-image { width: 100%; height: 180px; } } </style> <ul> <li>学習 <ul> <li><a href="https://huggingface.co/JetBrains/Qwen3.8-3.6-27B-blend">Qwen3.8-3.6-27B-blend</a> を参考にマージモデルを教師として QAT (3値)</li> </ul> </li> <li>性能 <ul> <li>RTX 4000 Ada (20 GB) で 56.8 tok/s (MTP 有効)</li> <li>SWE-bench Verified は 58.0% で <a href="https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf">Ternary-Bonsai-2-27B</a> (60.8%) と同程度</li> <li>1タスクあたりの時間は約4割短い (ループ抑制のチューニングを入れている)</li> <li>単発の推論や知識問題は Ternary-Bonsai-2-27B に劣る</li> </ul> </li> </ul> <p>Claude Code と Codex のパワーで一連の実験を進めました。1 GPU (B300) でも最適化すれば QAT は結構行けるなという印象です。</p>