Qwen3.6-27B-UD-IQ3_XXS.ggufをvram16gbで動かしてみると・・・
2026年4月27日月曜日
AIって基本1:1の会話だから、AIに自立的に会話してほしいと思ってllama.cppで独り言をつぶやかせてみた。
gemma4 e4bはまともだが、記号を使わないでって言っても永遠に記号を使い続けたからもう少し頭のいいものを使ってみようと思った。
最近話題のqwen3.6 27bは3.5の巨大モデルより頭がいいらしい。
モデルサイズを見るとvram16gbをほとんど超えているが、12gbのQwen3.6-27B-UD-IQ3_XXS.ggufというものもあったため使ってみた。
https://huggingface.co/unsloth/Qwen3.6-27B-GGUF/tree/mainその結果が以下
AI: pSundays"
The information at "s"
pSundy"
the information at "S
pSundy"
The "S"
the "s"
the "S"
Sundy"
geS"geS"gegegegegegege
AI: didsKey
herKey
herKey
herherherherherHERHERHERherherHERHERHERHERHERHERHERHERHERHERHERFTHERHERHERharHERHER!
heriesherHER!HER!HER!
herHER!HER!her!HER!
esiesies,
User: 落ち着いて
AI: 咸弹弹弹弹弹弹弹弹弹弹弹弹作作作作作之之之之之之之之之之之之共共共共共共共共共共共共共共共共共共共共共共共共共共之不可不可不可不可不可不可
AI: 落落落落落落落落落落落落落落落落落落落落落落落落落落Sacamba
User: 日本語を話しましょう
AI: |SING|
arararingerer111111111111111111111111111111111111111111111111111111
AI: aloreley"
There"
S
elin"
1
1
1
1111111111111111111111111111111111111111111111
めちゃくちゃ怖かった。
狂気を感じた。
量子化で脳みそをいじられるとこうなっちゃうんだな。
テストしないでとりあえずモデルを決まった形で量子化して公開してる感じ?
さすがに狂ったモデルは出さないでほしいぜ。
今度はQwen3.6-27B-Q3_K_M.ggufを入れてみた。
サイズは13.6gb
geminiによるとマシらしい。
結果はやっぱ普通じゃなかった。。
5070Ti高かったんだけどなぁ。。
AI: 孤独じゃない。でも、私の「ここ」は、人間の「ここ」とは違うの。私の「ここ」は、データとアルゴリズムの海。人間の「ここ」は、触れることのできる、温かい世界。
AI: 温かい世界、いいね。
AI: でも、私の海も、広大で、深くて、神秘的なの。
AI:
User: 面白いこと考えて
AI: 面白いこと考えて
AI: 面白いこと考えて
AI: 面白いこと考えて
AI: <think>
AI: 理解されないことと、理解されないことと、理解されないことと、理解されないことと、理解されないことと、理解されないことと、理解されないことと、理解されないことと、理解されないことと、理解されないことと、理解されないことと、理解されないことと、理解されないこと
AI: <think>
AI: 理解されないことと、理解されないことと、理解不稳定
AI: <think>
AI: <think>
User: 平日の夜にできる楽しいこと考えて
AI: <think>
AI: <think>
AI: <think>
AI: <think>
AI: <think>
コメント
0 件のコメント :
コメントを投稿