ASUS Ascent GX10 (DGX Spark) 上でvLLMでQwen 3.6 27bのNVFP4量子化モデルを起動するメモ
#DGX Spark #ASUS Ascent GX10 #CUDA #NVIDIA #vLLMASUS Ascent GX10をセットアップするメモ
この記事は、ASUS Ascent GX10のセットアップ手順をSSHキー登録からDocker、PyTorch、llama.cppサーバ構築まで詳しくまとめたメモです。
#DGX Spark #ASUS Ascent GX10 #CUDA #NVIDIA #llama.cpp #Ubuntu #PyTorch