这些小活动你都参加了吗?快来围观一下吧!>>
电子产品世界 » 论坛首页 » 活动中心 » 板卡试用 » 【分享评测,赢取加热台】教你五分钟本地部署蒸馏版本的DeepSeekR1-7B

共4条 1/1 1 跳转至

【分享评测,赢取加热台】教你五分钟本地部署蒸馏版本的DeepSeekR1-7B

助工
2025-02-07 16:58:29     打赏

简介

最近DeepSeek超级火,各个媒体、公众号、各大博主都在分享使用DeepSeek. 非常感谢deepseek的开源也可以让我们都使用上本地部署的DeepSeek而免去token的限制。那么本篇教程将和大家分享如何本地部署DeepSeek R1的蒸馏版模型到本地环境。


Ollama简介

Ollama 是一个开源项目,专注于在本地运行、创建和分享大型语言模型(LLMs)。它支持多种模型,包括 Llama 2、Code Llama 等,适用于文本生成、代码编写等任务。Ollama 提供命令行工具,便于用户与模型交互,并支持模型的自定义和共享。其优势在于本地运行,确保数据隐私,同时具备灵活性和可扩展性。

1- 下载Ollama并且安装https://ollama.com/download

image.png2- 安装到本地后可以打开CMD使用控制台测试是否安装成功

image.png

3- 下载Deepseek 蒸馏版本的模型。

image.png

点击进去, 根据自己电脑的GPU配置选择不同的版本

image.png我这个电脑显卡的显存是6GB因此我选择了7B的版本。 拷贝Ollama命令,并且在控制台运行

image.png

之后Ollama便可以帮你自动的下载这个模型,受限于网速限制这个过程可能持续三分钟。 之后便会帮你自动运行deepseek r1

image.png

我们来尝试问他一个问题。image.png

响应速度蛮快的,至此安装和运行结束。


专家
2025-02-07 20:57:29     打赏
2楼

感谢分享


专家
2025-02-07 20:58:48     打赏
3楼

感谢分享


专家
2025-02-07 21:03:10     打赏
4楼

感谢分享


共4条 1/1 1 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]