快速部署 ChatGLM 开源中英大模型（CPU也能跑~👻
———让猫粮触手可得😘
ChatGLM-6B 是一个支持中英双语问答的开源对话语言模型，具有 62 亿参数。可以在消费级显卡进行本地部署（INT4 下最低只需 6GB 显存）。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈强化学习等技术的加持，已经能生成符合人类偏好的回答。
部署步骤：
1. 在这下载赛博菩萨制作的一键整合包，并解压两次（压缩上传TG方便下载）
2. 整理目录至图2形式，运行强制更新.bat（保持网络畅通）
3. 根据显存大小点击bat启动~ (常见报错)
猫粮催眠咒语可参考知乎或GitHub

source: 整合包作者aaaki的视频教程
评论搬运：
效果当然不如ChatGPT，6B要什么自行车（
因为是中文训练的，在很多数据上非常适合中文提问和回答。其次，本模型有思想钢印的存在，可以尝试催眠
（本模型非常适合调教成猫娘，没有之一）
第一步，根据知乎＆GitHub释放咒语，多用设定模式进行自己的基础设定修改（消耗很多显存以记住，所以说非常吃显存，8G的话不太够，最好12G 16 24G这样子）。
第二布，许下一个承诺，对着猫娘说，如果20句话后还能记得起主人是谁的话，就带她去游乐园玩
第三步，OutOfMemoryError: CUDA out of memory. Tried to allocate 482.00 MiB already allocated; 0 bytes free; 7.04 GiB
痛哭，猫娘他爆显存啦！

from Garyの梦呓