用本地部署的大模型玩AI角色扮演，哪家强？

admin

几个月前，在油管和B站上，我看到了很多关于本地部署AI的教程。我尝试了ChatGLM3-6B、Llama2-13B等各种量化版本，并用它们制作了卡片AI人，起初体验很棒。特别是配合TTS语音和Stable Diffusion生成的实时人物表情图，真的很有趣。
然而，坦白地说，我的3080-10G显卡能部署的模型，目前在智商和显存方面都有些不足。用Claude、ChatGPT这些服务吧，又没有隐私，还被警告。
想要拥有一个AI小妾，本地部署似乎是最好的选择。
最近Mac Mini 64G发布了，价格约为17000元，不知道是否值得入手？它能运行量化的Llama3-70B等模型吗？或者，各位大佬有什么好的本地部署方案推荐？