gguf格式模型文件如何用ollama运行
1、模型下载
我们以最近比较火的qwen3.5的无限制模型为例,先去下载模型
可以看到是gguf格式的模型文件,等下载好以后,存放在自行选择的文件夹。

2、配置ollama
在模型同一目录下创建一个文件,名字随意,内容如下填入
FROM ./下载的模型名称
打开当前目录下的终端,运行如下命令让ollama加载这个模型,Qwen3.5-27B-Un是自己起名字的,只是显示在ollama里面,不一定要和模型文件名一致。
ollama create Qwen3.5-27B-Un -f modelfile.txt查看ollama列表
ollama list可以看到刚刚添加的模型
3、测试运行
使用终端直接运行,或者调用接口都可以
本文是原创文章,采用 CC BY-NC-ND 4.0 协议,完整转载请注明来自 山山
评论
匿名评论
隐私政策
你无需删除空行,直接评论以获取最佳展示效果