Gemma 4-26B-A4Bを動かしてみてる。 8GB VRAMしかないのでまあ8〜10 tok/s くらいしか出ないのだけど、正直意外とそこまでストレスがない。 リアルタイムなやり取りが必要なら流石に30〜40 tok/s くらい欲しくなるけど、別にテキストでのやり取りならこれくらいで十分なんだな