EEPW论坛

        Ollama是一个开源的工具，旨在简化大型语言模型的部署和运行过程，使得用户可以在本地环境中使用高质量的语言模型。大型语言模型（Large Language Models，简称LLM）是一类基于人工智能技术的高级文本生成系统，其主要特点是能够通过大规模的训练数据来学习和理解人类语言，并能够生成自然流畅的文本。                咱们这次部署离线大模型用到的是树莓派5 8G版，不同的版本建议不同大小的模型限制：

        通过脚本安装Ollama：

curl -fsSL https://ollama.com/install.sh | sh

        依然需要等待一段时间：

        咱们看一下安装的版本：

ollama -v

        为了后面中文的输入，我们先安装一下中文输入法，安装Fcitx框架和Google PinYin输入法：

sudo apt-get install -y fcitx fcitx-googlepinyin

        注意需要重启一下：

sudo reboot

        接下来我们就可以切换成该输入法了，注意是上面那个小企鹅：

        点击下面的加号，然后取消Only Show Current Language 选项勾选，然后输入方式列表内容选择Google PinYin：

        可以直接通过Ctrl + 空格切换输入法，如果一直切换失效可以在这里进行手动切换，还是不行就Restart一下：

        接下来就拉去大模型，我们这里选择的是DeepSeek-r1:1.5B，DeepSeek-r1是由深度求索公司设计用于理解和生成代码的开源大型语言模型（LLM）。我们8g的树莓派5实际上也支持7B和8B的模型，不过太大了，先用1.5B试一下：

ollama run deepseek-r1:1.5b

        简单问了两个问题，反应还是挺快的：

        使用Ctrl+d 快捷键或者/bye 可以结束对话。