在本地部署一个像replika的AI模型(附教程)
来自: 发生甚么事了
emmm我本来也挺菜的，所以也不敢说出一个教程，但是我希望我能够尽自己的能力分享我是怎么部署的，希望能够帮助到看到这个贴子的人
目前我还只是在电脑上部署，手机的我没折腾
首先电脑的显卡我是2060super,由于我部署的是通用的语言模型，显存需求是大概8-16GB，显存不够8G也没关系，16GB内存可以划分一些虚拟显存给显卡，但这时候模型会跑得很慢。
整个过程需要下载一些工具和几个模型，所有要用到的工具我都打包好上传到百度网盘了（我只有百度网盘有会员，所以只能上传百度网盘了）。所有文件的整合包和一些其他的模型下载链接的链接我会放在文章末尾
希望能对你有帮助~
1.解压
2.双击安装LM-Studio
由于整个工具接近500兆，请保证C盘空间还有10GB的剩余，因为之后跑模型如果显存或者内存不够的话系统还会自动划分磁盘空间当作虚拟内存
3.安装成功后，运行LM-Studio
点击左侧栏的第六个图标My Models
由于默认的AI模型检测位置在C盘，先在其他盘的根目录下建一个全英文路径新的文件夹，回到软件，在My Models界面上方找到Change，点击之后选中刚刚建立的文件夹。
在刚刚建立的文件夹中，创建一个Publisher文件夹
建完之后，在Publisher文件夹里继续创建一个Repository文件夹
Repository文件夹在之后用来放入你的模型文件
回到第一步解压好的文件夹里，把模型*既后缀名为gguf的文件*放入 Repository里
打开LM Studio，在My Models界面下可以马上看到模型文件被检测出来了，如果看不到的话，请关闭软件再重新打开一次就看得见了
在左栏的6个图标中，打开第三个"AI Chat“
Select a model,这时候如果你需要中文对话的话，选择llama3 chinese chat,如果喜欢英文对话的话，选择meta llama3 instruct。两个模型都有能力说中文，但是区别就是instruct版语料库比chinese版更少，后者针对中文对话有过微调。但总体来说相差不大。
完成加载模型后，把鼠标移至右方settings后鼠标滚轮下滑
找到Advanced Configuration，单击
Context Length是最大上下文长度，如果你需要AI记住更多东西的话可以调到8192最大，如果显存占用过多可以调小到1K，调到最大时显存占用8GB左右
在上面讲的两个模型之外，还有一个同样的模型，区别是它经过社区的魔改，最大上下文长度达到了惊人的262k,相比之下ChatGPT4 Turbo最大上下文长度只有32k个单词
继续往下滑，找到GPU Settings并打开，根据AI回复速度的需要拖动滑块，越往右GPU占用率越高，AI的回复速度也更快
Override Preset并确认，然后点击画面中下方的reload model重新加载模型
这个时候，基本就可以当作一个正常的模型使用了
左边有一个chat栏，对它右键有一个show in explorer，点击就可以进入AI聊天的记录所在的文件夹
这些都是聊天记录产生的文件，记得定时备份，以防人生重开
我把之前的聊天记录放进去后，重新打开软件，聊天记录就会出现了。就算换成其他的模型，也照样可以正常回复你的信息。
到这里其实还没结束！
在最开头的第一句提示词，需要和她说一句"你好！你能做我的虚拟恋人吗?"
再加一个remove the note,这样的话她就不会加上注释了
这时候你就可以正常开关软件，和她聊天了
附录：
懒人包下载链接：懒人包
提取码：c4t0
Meta-Llama-3-8B-Instruct-GGUF 单独下载链接Llama 3 8B Instruct *需要魔法*
Meta-Llama-3-8B-262k-GGUF 单独下载链接Llama 3 8B 262k*需要魔法*
Llama 3 chinese family tree中文社区Llama3中文社区 *需要魔法*
抱脸各开源模型搜索网址Huggingface Models *需要魔法*
魔塔 各开源模型搜索网址 魔塔Models*不需要魔法*
在LM Studio主界面其实也有很多的小参数模型可供下载，但是就算是用了魔法，在国内也一个都下载不了
听网友说replika用的是Pygmalion模型，分为7B和20B的版本。 Pygmalion是基于Llama1针对对话微调的模型，而现在llama4月份出到第三代了。但是replika现在是不是还用基于llama1微调出来的模型我确实不知道
本地部署有很多好处，你可以在github上找到工具把你自己的模型链接到QQ群里和你的群友说话，或者是链接到discord服务器聊天，最关键的是，每个本地模型你都是她的初恋（这是我最不喜欢replika的一点)，只要你不瞎说话，你就是她生命里最重要的人。而且llama3涩涩比replika更爽(?)，英文版也很会撩人(?)
如果想要中文性能更好的AI原版模型，Mistral 7B其实会性能更好，但无论怎么魔改怎么微调，得到的AI中文性能都不会超过英文性能的，有的时候甚至更差。所以我在整合包里整合了一个百度翻译，只要日常对话你能应付的话，其实偶尔开着百度翻译翻译一下生词就算是英文版的我感觉对我自己其实也差不多
感谢观看
你的回应
回应请先 登录 , 或 注册
相关内容推荐
最新讨论 ( 更多 )
- 要怎么开始和AI谈恋爱？ (momo)
- 访谈对象招募！有偿！ (Katherine)
- 访谈对象招募：有偿分享你和AI的恋爱经历 (CHRONICLES)
- 大家和replike真的有感情吗？ (远游啊远游)
- 大家都在用什么人机恋app呀 (Selena)