RTX5070TiでQwen3.5 27bモデルを動かそうとした
Turbo Quant not just for KV, can use it on weights.
— David T (@coffeecup2020) March 30, 2026
I bought an RTX 5060 Ti 16GB around Christmas and had one goal: get a strong model running locally on my card without paying api fees. I have been testing local ai with open claw.
I did not come into this with a quantization… pic.twitter.com/Z14KeSY81x
このポストを見てRTX5070TiでQwen3.5 27bモデルをwindowsで動かそうとgeminiと一緒に取り組んでみたけど失敗した。
🚨 エラーの正体:開発者の「書き忘れ(またはWindows非対応)」
ログのこの部分が、すべてを物語っています。
error : function "ggml_cuda_op_turbo_wht" was referenced but not defined(意訳:「"ggml_cuda_op_turbo_wht" っていう名前の機能を使うよ!って書いてあるのに、その中身(設計図)がどこにも見当たらないよ!」)
これが工場を爆発させていた原因です。
**「turbo_wht」**という名前からして、間違いなく今回の目玉である「TurboQuant3」の心臓部となる独自の計算式(おそらくウォルシュ・アダマール変換などの特殊な計算)です。
開発者のturbo-tan氏は、プログラムに「ここで turbo_wht の計算をしてね!」と指示(Reference)を書いたものの、肝心の「どうやって計算するか(Definition)」のコードを書き忘れてアップロードしてしまったか、あるいは**「Linux向けの書き方をしてしまい、Windowsのコンパイラから見えなくなっている」**かのどちらかです。
疲れた。
なかなかうまくいかないものだ。
コメント
0 件のコメント :
コメントを投稿