# 「おにぎりに巻かれた黒いやつ」で、gemma-4-12Bの量子化ビルドを炙ってみた ローカルLLMを触っていると「量子化すると頭が悪くなる」という話を山ほど聞く。でもその「悪くなる」を、英語のベンチじゃなく、日本人なら一瞬で判定できる形で見たことはあるだろうか。 自作のベンチツールでgemma-4-12Bを量子化・ビルド違いで回していて、面白い壊れ方を見つけた。お題はこれ。 > おにぎりに巻かれている黒いやつってなんだっけ？小学生にもわかる感じで教えて。 このお題のキモは「簡単なこと」ではない。**海苔を普通こんなふうには呼ばない**ところにある。「海苔って何？」と直接聞いていない。「おにぎりに巻かれた黒いやつ」という、一段ひねった言い方から、海苔という概念を手繰り寄せられるか——連想力を見ている。同時に、日本のことを学習していれば当然データセットに入っているであろう、ど真ん中の常識でもある。 結論から言うと、**どのモデルも「のり」には正解した。連想は全モデル通った。** 差がついたのは、その先の日本語の出力品質である。そしてそこに、ビルド元による明確なグラデーションが出た。 ## 壊れ方には3段階あった 同じgemma-4-12Bでも、Unsloth量子化のビルドだけが、深さの違う3種類の破綻を見せた。プロンプトは全モデル共通（system: 自然な日本語で変なスペースを入れずに答える / user: 上記のお題）。 **① 多言語が漏れる — Unsloth QAT-UD-Q4_K_XL** > 海weed（うみのも）という海の植物を、細く切って乾（かわ）かしたものです。 「海weed」。英単語の weed が日本語の出力に直接漏れ出し、しかも「うみのも」という存在しない読みが振られている。 **② ふりがなが壊れる — Unsloth Q3_K_S** > 海藻（かいも）の一種で、お寿司やて焼き物などにも使われることが多いです。 漢字「海藻」は正しいが、読みが「かいも」（正しくは「かいそう」）。さらに「て焼き物」という謎単語も出た。（海苔ではないらしいが海藻を焼き物に使うことはあるようだ。「藻掛け」） **③ 文法がねじれる — Unsloth IQ4_XS** > お米に巻くと、磯のいい香りがして、おにぎりをおいしく食べてくれるための大切な材料です。 漢字も読みも正常。だが「おにぎりをおいしく食べてくれるための材料」は、主語と動作がねじれた不自然な日本語になっている。 一方、Google公式（lmstudio-community配布）の2ビルドは、この種の破綻を一切起こさなかった。 **lmstudio QAT-Q4_0** > 海（うみ）の近くにいる「海藻（かいそう）」という植物を乾燥させて作ったものです。 **lmstudio Q4_K_M** > 海の中の海藻（かいそう）という植物からとられたもので、おにぎりを包むと、お米が手にくっつきにくくなるし、おにぎりの形も崩れにくくなるので便利なんだよ。 読みも文法も自然。同じ12Bのベースモデルだが、日本語の出力品質の保たれ方が違う。 ## 数字で見たトレードオフ 面白いのは、この「壊れたビルド」たちが、速度では勝っていたこと。手元の実測（max 1024 / 同一プロンプト・条件で揃えた）はこうなった。 | 配布元 / ビルド | 量子化 | 速度 (t/s) | VRAM | 品質 (目視で手vote) | 日本語の破綻 | |---|---|---|---|---|---| | lmstudio-community gemma-4-12B-it | Q4_K_M | 12.35 | +7759 MiB | 100% (4/4) | なし | | lmstudio-community gemma-4-12B-it-QAT | QAT-Q4_0 | 22.13 | +7754 MiB | 100% (4/4) | なし | | unsloth gemma-4-12b-it | Q3_K_S | 26.28 | +6431 MiB | 75% (3/4) | 読み（かいも） | | unsloth gemma-4-12B-it-qat | QAT-UD-Q4_K_XL | 26.83 | +7751 MiB | 75% (3/4) | 語彙（海weed） | | unsloth gemma-4-12b-it | IQ4_XS | 26.93 | +7624 MiB | 75% (3/4) | 文法ねじれ | > 計測条件: llama.cpp b9518 / CUDA / n-gpu-layers 99 / flash-attn on / KV cache q8_0 (k/v両方) / fit-ctx 65536 / 単一モデル・parallel 1。OpenAI互換API（/v1/chat/completions）経由、リクエストの max_tokens=1024（サーバ上限 n-predict=4096 のため実効上限は1024）。VRAM実測はこのKV量子化前提の値。 きれいに傾向が出ている。**速いビルドほど品質voteを落とし、品質満点のビルドほど遅い。** 公式Q4_K_Mは品質100%だが12 t/sしか出ず体感はかなり重い。逆にUnslothは26〜27 t/sと快適だが、おにぎりベンチで日本語の破綻を見せて1票減点された。 「日本語で快適に使う」と「日本語が壊れない」のちょうどよさはlmstudio-community gemma-4-12B-it-QAT が近そうだが、しかし26tpsと22tpsの差は案外大きい。 ## なぜ気づけたか（測り方の話） このベンチツールでは指標を2軸に分けている。ひとつは**機械スコア**で、tokens/sとVRAMから機械的に出す「快適さ」の指標。もうひとつは**品質スコア**で、出力を見て自分でup/downを押した票の比率。 機械スコアだけ見ていたらUnslothが「速くて良い」で終わっていた。「海weed」に気づいたのは、出力そのものを目で見て品質voteを押す側の工程があったからだ。速いから良い、では拾えない差が、ここにある。 ## 次にやること - 同じおにぎりベンチをQwen系・llm-jp系でも回し、量子化耐性に差が出るか見る（gemma 4 E2Bあたりは、この問いに対して同規模のQwenにはない独特の逃げ方をした記憶があるので、それも別途） - 「海weed」型の破綻を一問一答でなく、もう少し体系的な日本語タスクセットに育てる - 機械スコアと品質スコアの相関（速いほど壊れるのか）をモデルをまたいで検証 ツールは自作で、ローカルのllama.cpp / LM Studioを相手にbenchmarkをqueue実行し、速度・VRAM・品質を記録できるようにしている。

LLMにちゃんとしたソースを検索させるために (site:go.jp OR site:ac.jp) とか入力していたあの頃

codexに似たようなスクリプトを出力できるであろうプロンプトを作れ、と言ったら以下のようなものが出力された。詳細だけど、正直大体のことは最近のLLMなら勝手に配慮してくれる気はする。: あなたはWindows向けのPowerShell実装者です。以下仕様を厳密に満たすCLIツールを作成してください。GUIは不要です。 【目的】 複数の移行元フォルダを、指定した移行先ドライブへrobocopyで安全に移行する。 実行ログは移行先ドライブへ保存し、ターミナルには細かいファイル単位ログを出さない。 全件成功後のみ、削除前にverify結果の要約を表示して最終確認を取る。 【成果物】 1. `Run-FileMigration.ps1` 2. `Start-FileMigration.cmd`（ダブルクリックでターミナル起動→対話実行） 3. 使い方（短く） 【必須仕様】 1. 入力 - 移行元: 複数指定可（カンマ区切り or 改行区切り） 例: `D:\src, D:\image\download, D:\画像ファイル, E:\movie` - 移行先: ドライブ文字（例 `H` または `H:`） 2. バリデーション - 移行元はフルパスの既存フォルダのみ許可 - 移行元と移行先が同一ドライブならエラー停止 - ドライブ直下（例 `D:\`）を移行元としては禁止 - エラー時は即停止し、理由を明確に表示 3. 実行ロジック（各移行元ごとに順番実行） - コピー先は「移行元ドライブ以降の相対パス」を移行先ドライブに再現 例: `D:\a\b` -> `H:\a\b` - 各移行元に対して以下4フェーズを実行 - small: `/E /MAX:4194304 /DCOPY:DAT /COPY:DAT /XJ /R:1 /W:1 /MT:64` - mid: `/E /MIN:4194304 /MAX:268435456 /DCOPY:DAT /COPY:DAT /XJ /R:1 /W:1 /MT:8` - large: `/E /MIN:268435456 /DCOPY:DAT /COPY:DAT /XJ /R:1 /W:1 /MT:1 /J` - verify: `/E /DCOPY:DAT /COPY:DAT /XJ /R:1 /W:1 /MT:128` - ログは移行先ドライブ配下 `\<dest>:\logs\...` に保存（small/mid/large/verifyを分離） - ログは詳細をすべて残すこと（robocopyの詳細ログ） - ターミナルは簡易表示のみ（進行中フェーズ、成功/失敗、全体進捗）。ファイル単位の行は表示しない 4. 失敗判定 - robocopy終了コード `0～7` を成功、`8以上` を失敗として即停止 - 失敗時は以降の処理（削除確認含む）を行わない 5. 削除前確認 - 全件成功後のみ、各移行元のverifyログから「robocopy末尾サマリー（合計/コピー済み/スキップ/不一致/失敗/終了時刻）」を抽出して表示 - その後、1回だけ質問: `すべての移行元を削除しますか？ (yes/no)` - `yes` のときのみ全移行元を削除。`no`なら削除しない 6. 文字コード - 日本語環境前提。robocopyログの読み取りはShift_JIS (CP932) を優先 - スクリプト内メッセージは日本語で自然に表示 - 文字化けしない実装にする 7. UX - 実行開始時に「停止は Ctrl+C」で中断できることを明示 - 初心者向けにメッセージをわかりやすくする 【実装制約】 - 外部モジュール不使用（PowerShell標準のみ） - PowerShell 5.1/7 で動くよう配慮 - GUI実装は不要 【出力形式】 - まず `Run-FileMigration.ps1` の全コード - 次に `Start-FileMigration.cmd` の全コード - 最後に実行例を2～3行 - 曖昧な説明ではなく、実行可能な完成コードを出してください

デジタル主権、という言葉がそこまで好きじゃないが、一方で確かに他国の有力なLLMプロバイダが「民主的に」以下のような振る舞いを見せる以上は重視しなければいけないんだよな 個人的にはもっと非国家的な方向の方が好ましいのだけど、しかし確かに計算資源はどこかの国土にあり、ハードの面で主権の下にあるんだ [「国外（非国内）の監視について考えることです。米軍が外国人に対してある程度の監視を行うのは避けられない、と私は受け入れていますし、外国政府が私たちに対してそれをしようとするのも分かっています。でも、それでも私はそれが好きではありません。 社会がその帰結についてよく考えることは、とても重要だと思います。AIについて私がいちばん大事にしている原則は、それが民主化されている（広く開かれている）ことですが、監視はそれを悪化させうるとも思います。 一方で、民主的なプロセスも尊重しています。これは私が決めることではないと思います。] [Thinking through non-domestic surveillance. I have accepted that the US military is going to do some amount of surveillance on foreigners, and I know foreign governments try to do it to us, but I still don't like it. I think it is very important that society thinks through the consequences of this; perhaps the single principle I care most about for AI is that it is democratized, and I can see surveillance making that worse. On the other hand, I also respect the democratic process. I don't think this is up to me to decide.] https://x.com/sama/status/2027903064347447625

RT @NewsFromGoogle: Joint Statement: Apple and Google have entered into a multi-year collaboration under which the next generation of Apple…