Gemma 4-26B-A4B、だいぶ使い勝手がいいモデルだな。これをスマホとかで動かせる人マジで羨ましいな

Gemma 4-31Bも一応 1 tok/s くらいだけど動きはした

Gemma 4-26B-A4Bを動かしてみてる。 8GB VRAMしかないのでまあ8〜10 tok/s くらいしか出ないのだけど、正直意外とそこまでストレスがない。 リアルタイムなやり取りが必要なら流石に30〜40 tok/s くらい欲しくなるけど、別にテキストでのやり取りならこれくらいで十分なんだな

あと気になっているのは、WhisperとGemma 4を動かしているだけなんだけど、VRAMが6.2とかになっていて。これ、俺の予測が、元々の予定だともっと小さいはずなんだよな。常駐している何らか他にもあってそれが圧迫しているのかな。メモリも意味わからないくらい使われているし、そうなのかも。