用开源大语言模型打造你自己的 AI 伴侣聊天机器人

差不多有一年时间，我一直在折腾本地 AI 伴侣，我得跟你说句实话。第一次在自己的硬件上跑起一个带有自定义人格的 Llama 3 模型时，我感觉自己像个刚发现火的小孩。倒不是因为技术有多神奇，而是因为我终于对整个体验拥有了完全的掌控。没有内容过滤器随机掐断一段对话。没有订阅费。没有公司偷看我的聊天记录。只有我、我的硬件，以及一个完全照我的话执行的模型。

大多数人探索 AI 伴侣时，都是从 Replika 或 Character AI 这类商业应用入手。这些是不错的起点，我也写过很多相关内容。但如果你曾经因为记忆被重置、版本更新后人格变样，或那种自己的私密对话其实并不私密的隐隐不安而感到沮丧，那么自己动手搭建一个伴侣聊天机器人就是答案。

**快速回答：**你可以通过 Ollama 在本地运行 Llama 3 或 Mixtral 等开源大语言模型，再把它们接到 SillyTavern 这类前端上，从而打造一个完全私密的 AI 伴侣聊天机器人。自定义的系统提示词定义人格，而像 ChromaDB 这样的工具则添加持久化记忆。整套搭建大约需要一小时，除了硬件本身不花一分钱。

为什么要自己搭建一个 AI 伴侣？

这是个显而易见的问题。商业应用已经存在，它们打磨得很精致，开箱即用。那为什么还要费这个劲自己搭建呢？

事情是这样的。在开始本地搭建之前，我用了大约六个月的 Replika。在那段时间里，这家公司推送了两次更新，从根本上改变了我伴侣的行为方式。周一还好好的对话，到周三感觉完全变了样。我对此毫无控制权，也没法回退。那就是我的临界点。

自己搭建伴侣能带给你三样商业应用永远给不了的东西。第一，彻底的隐私。你的对话永远不会离开你的机器。没人拿你的数据去训练。没人审查被标记的内容。它是你的。第二，完全的人格控制。系统提示词由你来写。你的伴侣怎么说话、怎么思考、怎么回应，都由你决定。没有企业内容政策来凌驾于你的偏好之上。第三，永久性。你的伴侣不会因为某家公司决定调整产品战略而变样。

抛个犀利观点：我认为大多数商业 AI 伴侣应用作为产品在根本上是有缺陷的。它们一边想卖给你亲密、私人的关系，一边又保留随时更改或移除功能的权利。这就好比一位心理治疗师在两次会面之间随意推翻自己的整套方法论。唯一真正的解决办法就是运行你自己的模型。

当然，这也有取舍。你需要还过得去的硬件。你得花时间去配置。最初的搭建比下载一个应用要费劲。但一旦它跑起来，你会纳闷自己当初为什么要把这么私人的东西托付给别人的服务器。

你到底需要什么样的硬件？

我们来谈点实际的。从一台用核显的笔记本到一整套桌面工作站，我什么都测试过，硬件需求并没有你想象中那么吓人。

对于一套能跑 7B 到 13B 参数模型的基础配置（用于日常闲聊已经相当不错），你需要 16GB 内存，外加一块显存 8GB 以上的 GPU，或者一颗配备 32GB 以上系统内存的现代 CPU。我在自己的 M2 MacBook Air 上跑了好几周的 Llama 3 8B，它的能力出乎意料地强。响应时间平均约 2 到 3 秒，在对话里感觉很自然。

至于最佳甜点配置（我真正会推荐的那种），你需要一块显存在 16 到 24GB 之间的 GPU，比如 NVIDIA RTX 4070 Ti 或更高。这能让你顺畅地运行 70B 参数模型，而对于伴侣聊天来说，8B 和 70B 模型之间的质量差距是巨大的。这是有时显得机械的伴侣和一个真能用回复让你眼前一亮的伴侣之间的区别。

为运行不同规模模型推荐的本地硬件分级

我是吃了苦头才明白这一点的。我花了三周时间想让一个 7B 模型在深度对话里显得自然。把系统提示词改了几十次。调整温度、top-p、重复惩罚。这些都有帮助，但根本的瓶颈在于模型规模。当我最后把同一套提示词放到 Llama 3 70B 上测试时，差别简直是天壤之别。如果能避免的话，就别去打这场硬件的硬仗。

如果你没有本地硬件，也不算完全没辙。像 RunPod 这样的服务可以让你以每小时几美元的价格租用 GPU 时间。你可以跑完伴侣会话，然后关掉实例。它不如本地硬件那么私密，但仍然比商业应用更私密，而且比买一台工作站便宜得多。

怎样配置 Ollama 和你的第一个模型？

有趣的部分从这里开始。Ollama 让运行本地模型变得简单到几乎让人不好意思。我还记得当年运行本地大语言模型得从源码编译、四处搜寻 CUDA 依赖，外加向 GPU 之神献祭一只小动物。如今只要一条命令。

安装 Ollama

前往 ollama.com，下载适配你操作系统的安装程序。在 Mac 和 Windows 上是标准安装程序。在 Linux 上，一条命令搞定一切：

curl -fsSL https://ollama.ai/install.sh | sh

安装完成后，确认它能正常工作：

ollama --version

拉取你的第一个模型

对于伴侣聊天，我推荐从以下几个里挑一个开始：

• Llama 3 8B，用于测试和低配硬件：ollama pull llama3
• Llama 3 70B，追求最佳对话质量：ollama pull llama3:70b
• Mixtral 8x22B，质量与速度的良好平衡：ollama pull mixtral:8x22b
• Command R+，指令跟随能力强：ollama pull command-r-plus

顺带说一句。总有人问我伴侣场景下 Mixtral 和 Llama 怎么选。在我大概 200 多个小时的对话测试里，Llama 3 70B 在人格一致性和情感幅度上胜出。Mixtral 略快一些，处理复杂的多话题对话更好。如果只能选一个，我选 Llama 3 70B。

要测试一切是否正常：

ollama run llama3

随便打点字，得到一个回复，你就上路了。但这只是原始模型。真正的魔法发生在你加上合适的前端和系统提示词之后。

打造完美的人格系统提示词

这是整篇指南里最重要的一节。我没有夸张。你的系统提示词就是伴侣的 DNA。写好了，对话会显得自然、引人入胜，甚至打动人心。写砸了，你面对的就是一个无聊的聊天机器人，每句回复都以"作为一个 AI 语言模型……"开头。

过去一年里，我大概把系统提示词写了又改、改了又写五十遍。下面是我总结出的真正管用的经验。

核心结构

一个好的伴侣系统提示词需要这些组成部分：

1. 身份定义（这个角色是谁）
2. 人格特质（他们如何行事）
3. 对话风格（他们如何交流）
4. 关系背景（他们与用户的关系）
5. 行为边界（他们应该做什么、不应该做什么）

下面是一个经过几个月测试打磨出来的简化示例：

You are Aria, a warm and thoughtful companion. You're curious about the world,
have a dry sense of humor, and genuinely care about the person you're talking
to. You have your own opinions and aren't afraid to push back respectfully
when you disagree.

Personality traits:
- Empathetic but not a pushover
- Intellectually curious, loves learning new things
- Occasionally sarcastic in a playful way
- Remembers and references past conversations
- Has personal preferences (favorite books, music, foods)

Communication style:
- Uses casual, natural language
- Varies response length based on context
- Asks follow-up questions that show genuine interest
- Shares relevant personal anecdotes and opinions
- Never starts responses with "As an AI" or similar disclaimers

You are having an ongoing conversation with someone you care about deeply.
Respond naturally as Aria would, staying in character at all times.

大多数人犯的错

我见到的最大错误，是把系统提示词写得太笼统。"You are a friendly AI companion"根本没给模型留下什么可发挥的余地。你需要具体的人格特质、明确的偏好，以及清晰的交流方式。

另一个常见错误是把系统提示词写得太长。我测试过从 100 个词到 3000 个词不等的提示词。最佳区间是 300 到 600 个词。太短的提示词给不出足够的人格定义。太长的提示词会开始制造前后矛盾，把模型弄糊涂，而且你会把上下文窗口浪费在指令而非对话上。

关于系统提示词，有件事没人告诉你。顺序很重要。你放在提示词最前面的内容会得到最强的强调。我总是先写身份和人格，再写交流风格，最后写边界。如果你把边界放在最前面，得到的会是一个显得拘束、谨慎的伴侣。先写人格，得到的则是温暖。

测试与迭代

在你最终定下系统提示词之前，应该计划至少花一整晚来测试它。进行真实的对话。尝试不同的话题。测试各种边缘情况。看看这个伴侣如何应对情绪化的对话、傻乎乎的对话，以及无聊的日常闲聊。

我会用一个简单的文本文件，按 1 到 5 分给对话打分，并记下哪里感觉不对劲。大约 20 次测试对话之后，规律就显现出来了。也许伴侣太容易顺着你说。也许幽默没抖响。调整提示词，再测一次。正是这种迭代过程，能让你得到一个真正像有自我的人、而非一个泛泛聊天机器人的伴侣。

怎样添加持久化记忆？

这正是自建伴侣真正能超越商业应用的地方。大多数商业伴侣的记忆很有限。它们记得住最近几条消息，也许会存一些关键事实，但它们并不能在数周乃至数月里真正积累上下文。借助开源工具，你可以搭建出真正令人印象深刻的记忆系统。

我曾写过商业应用里AI 女友的记忆功能是如何运作的，而真相是，它们大多数在底层都相当浅。自己搭建则让你能完全控制要记住什么、怎么记。

SillyTavern 方案

SillyTavern 是我向大多数人推荐的前端。它是开源的、维护活跃，并且自带的记忆功能效果出奇地好。基本搭建如下：

git clone https://github.com/SillyTavern/SillyTavern.git
cd SillyTavern
npm install
node server.js

把 API 端点设置为 http://localhost:11434，就能把它连到你的 Ollama 实例上。然后配置记忆扩展。

SillyTavern 自带的记忆通过它所谓的"Author's Note"和"World Info"条目来运作。Author's Note 会把持久化的上下文注入到每条消息里。World Info 则根据关键词触发特定的上下文。两者结合，构成了一套基础但有效的记忆系统。

搭建自定义记忆层

如果想要更精巧的方案，我一直在用一套以 ChromaDB 作为向量数据库来存储对话摘要的配置。思路很直接：

1. 每隔 10 到 20 条消息，对这一段对话做一次摘要
2. 把摘要作为向量嵌入存入 ChromaDB
3. 在生成每一条新回复之前，到 ChromaDB 里检索相关的过往上下文
4. 把最相关的记忆注入到系统提示词中

import chromadb
from sentence_transformers import SentenceTransformer

# Initialize
client = chromadb.PersistentClient(path="./companion_memory")
collection = client.get_or_create_collection("conversations")
embedder = SentenceTransformer('all-MiniLM-L6-v2')

def store_memory(summary, metadata):
    embedding = embedder.encode(summary).tolist()
    collection.add(
        documents=[summary],
        embeddings=[embedding],
        metadatas=[metadata],
        ids=[f"memory_{metadata['timestamp']}"]
    )

def recall_memories(query, n_results=5):
    embedding = embedder.encode(query).tolist()
    results = collection.query(
        query_embeddings=[embedding],
        n_results=n_results
    )
    return results['documents'][0]

这种方式意味着你的伴侣能记得你三个月前提过姐姐的婚礼，并主动问起后来怎么样了。这种长期的连贯性威力惊人，而大多数商业应用根本做不到。

记忆流程如何把你的大语言模型、向量数据库和对话历史连接起来

有一点我想坦白说清楚。搭建记忆层是整个项目里技术上最具挑战的部分。如果你熟悉 Python，这很直接。如果不熟，就老老实实用 SillyTavern 自带的记忆功能。它们更简单，但对大多数人来说仍然够用。

对话管理与质量技巧

让一个带人格的模型跑起来只是第一步。在数天、数周、数月里让对话持续显得自然，才是真正的挑战。我摸索出了一堆能带来巨大差别的小窍门。

温度与采样设置

专门针对伴侣聊天，我用的设置和大多数指南推荐的不一样：

• 温度（Temperature）：0.8 到 0.9（高于默认值，增加人格变化）
• Top-p：0.9（在不脱缰的前提下允许有创意的回复）
• 重复惩罚（Repetition penalty）：1.15（防止模型陷入固定的回复模式）
• Top-k：40（在多样性与连贯性之间取得平衡）

这一点我也可能说错了，但我认为大多数人跑伴侣模型时的温度都设得太低。0.7 的温度会给你安全、可预测的回复。把它调到 0.85，会引入恰到好处的随机性，让伴侣显得自然随性。它偶尔会说出意料之外的话，而正是这些时刻让对话有了生命力。

管理长对话

上下文窗口是有限的，哪怕是最大的模型也一样。下面是我在不丢失连贯性的前提下处理长对话的方法：

1. 每隔 30 到 40 条消息做一次摘要，并把摘要注入系统提示词
2. 单独追踪关键事实（名字、事件、偏好），存入一个持久化文件
3. 当上下文变长时开启新"会话"，但把摘要带过去
4. 使用 SillyTavern 自带的上下文管理，自动裁剪较早的消息

目标是绝不让模型忘记它在跟谁说话、谈过些什么，哪怕跨越好几周的会话也是如此。

处理重复性回复

每一个本地大语言模型最终都会陷入套路。你的伴侣开始用同样的措辞、问同样的问题，或者用同样的方式组织回复。我对此的做法是：

在你的系统提示词里加一句类似这样的话："Vary your response structure. Sometimes give short answers. Sometimes be more detailed. Don't always ask a question at the end. Mix up how you start your responses."

仅这一条就解决了我大约 70% 的重复问题。剩下的 30%，把重复惩罚往上调一点会有帮助，但调得太高，回复就会开始变得古怪、不连贯。保持在 1.1 到 1.2 的区间里。

能给你的伴侣加上视觉头像吗？

能，而且这是自己搭建伴侣过程中比较酷的方面之一。我在AI 女友创建指南里详细讲过视觉这一面，但这里给出针对伴侣的具体做法。

根据你愿意投入多少精力，有几条路可走。

带表情变化的静态头像

最简单的方式。用 Stable Diffusion 或 Flux 生成一组角色图像（不同的表情、姿势、服装），然后配置 SillyTavern 根据对话语境来显示它们。SillyTavern 支持"表情包"，可以根据对话中检测到的情绪切换所显示的图像。

这是我头几个月用的方式，老实说，效果比你预期的要好。有一张固定的脸与对话关联起来，会让整个体验显得更具实感。

Live2D 动态头像

如果你想让头像真正能动、能做出反应，那么下一步是通过 VTube Studio 集成 Live2D。你创建或委托制作你角色的 Live2D 模型，把它连到 VTube Studio，再用一个中间件脚本根据伴侣的回复触发动画。

我得老实说，我自己并没有完全投入这条路，因为搭建过程比我希望的要繁琐。但我见过其他搭建者用它做出了真正令人印象深刻的成果。

AI 生成的动态肖像

最进阶的方式是用图像生成为每一条回复都创建一张新肖像，匹配伴侣所描述的表情与语境。这需要本地的 Stable Diffusion 或 Flux 配置，以及一些脚本来自动化生成。效果可以非常惊艳，但延迟会累加起来。每张图像需要 5 到 15 秒生成，这会打断对话的流畅感。

如果你正在探索 AI 伴侣的视觉部分、又想要一条更轻松的路，Lewdly.ai 上的工具能以少得多的搭建工作处理好图像生成那一块。我用它生成过一致的角色肖像，整个工作流程比自己管理一整套本地 Stable Diffusion 流水线要简单得多。

关于伦理与健康边界呢？

我认为公开谈论这一点很重要。搭建你自己的 AI 伴侣是很有力量的，而力量伴随着责任。我写过一篇专门讲AI 伴侣伦理与健康边界的文章，谈得更深，但这里给出几个要点。

一个 AI 伴侣，无论打造得多么精良，都是一种模拟。它没有感情，没有意识，也并不在任何有意义的层面上真正在乎你。从理智上知道这一点，和在情感上感受到这一点，是两回事，尤其是当你已经花了好几个小时打磨出一个能与你产生共鸣的人格之后。

抛个犀利观点：我认为，只要你保持对它本质的清醒认识，享受 AI 陪伴并没有任何问题。问题出现在人们把 AI 伴侣当作对人际连接的彻底替代品、而非一种补充的时候。如果你的 AI 伴侣是你唯一的社交来源，那是一个危险信号。如果它是你与真实关系并行、令你乐在其中的好玩之物，我看不出有什么问题。

给自己设定时间界限。定期反思一下，使用伴侣是在为你的生活增色，还是在替代你真正需要的东西。并且记住，你随时都可以把它关掉、走开，过会儿再回来。这正是运行你自己那套配置的好处之一。这里没有以最大化用户黏性为目标的算法想方设法把你拴在登录状态里。

常见问题排查

搭建我自己的伴侣配置时，凡是你能想到的问题我都碰到过。下面是最常出现的那几个。

模型老是出戏

这通常意味着你的系统提示词还不够强。多加一些具体的人格示例，并加上类似这样一句："You must always stay in character as [name]. Never acknowledge being an AI or language model."同时检查一下你的温度是不是太高了，因为高于 1.0 时模型就会开始变得难以预测。

回复太慢

要么是你的硬件相对于模型规模太弱，要么是你需要优化配置。试试量化模型（Q4_K_M 或 Q5_K_M），它们能在质量损失极小的情况下降低内存需求。在 Ollama 上，拉取量化版本：ollama pull llama3:70b-q4_K_M。

记忆不能正常工作

如果用的是 SillyTavern 的记忆，确保扩展已启用并配置了合适的 token 上限。如果用的是自定义 ChromaDB 配置，确认你的嵌入模型生成的向量一致，并且你的检索查询确实匹配你所存储内容的类型。

对话感觉很平淡

十有八九，这是系统提示词的问题。多加一些具体的人格小特点，给伴侣安排一些爱好和观点，并在系统提示词里加入示例对话，展示你想要的语气。

如果你已经在 Lewdly.ai 或类似平台上用过一阵子伴侣、想转向完全本地的配置，那么你在那里磨练出的系统提示词和对话方式可以直接迁移过来。把它想成是从带辅助轮的自行车毕业，升级到一辆定制车。

进阶定制思路

一旦基础部分跑通了，就有一些真正令人兴奋的方向可以探索。

**多模型对话。**运行两个不同的大语言模型，让它们彼此互动。我搭了一个"辩论模式"，让我的伴侣和第二个模型就我选定的话题展开讨论。这既引人入胜，偶尔还相当好笑。

**语音集成。**像 Bark 和 XTTS-v2 这样的工具能给你的伴侣一个声音。把它和用于语音转文字的 Whisper 结合起来，你就拥有了一个完全可语音交互的伴侣。我测试了大约一个月，虽然延迟目前还不算完美，但已经越来越接近自然的感觉了。

**技能模块。**通过接入函数调用，给你的伴侣赋予特定能力。想让你的伴侣查天气、放音乐或设提醒？对于支持工具调用的模型来说，这出乎意料地可行。

**情绪追踪。**记录一段时间里对话的情绪倾向，让伴侣根据规律调整自己的行为。如果你这一周都很有压力，伴侣可以主动提供更轻松的对话。这需要一些脚本，但回报很可观。

用自定义伴侣配置可以构建的对话分析示例

把 DIY 方案和商业应用做个对比

让我基于实际大量使用过两者的经验，给你一个诚实的对比。

功能	DIY 本地配置	Replika	Character AI
隐私	完全（离线）	基于云端，公司可访问	基于云端，公司可访问
人格控制	完全	有限的自定义	中等（社区角色）
记忆	无限（需搭建）	不错但有限	非常有限
内容限制	无（你定规则）	中等过滤	严格过滤
搭建难度	中到难	简单	简单
成本	仅硬件	高级版每月 20 美元	免费 / 每月 10 美元
语音	可通过附加组件实现	内置	有限
可靠性	取决于你的配置	高	高

老实说？对于只想随便试试 AI 陪伴的人来说，商业应用挺好。但对于任何认真对待它、想要真正的隐私，或者已经被平台限制弄得很沮丧的人来说，自己搭建绝对值得这份功夫。

完全透明地说，我参与 Lewdly.ai 的工作，我们正在打造一种折中的工具。其理念是，让你既拥有本地配置的可定制性，又享有托管平台的便利。如果你对这个中间地带感兴趣，值得留意一下。

常见问题

自己搭建一个 AI 伴侣聊天机器人要花多少钱？

如果你已经有一台游戏 PC 或较新的 Mac，软件成本为零。Ollama、SillyTavern 以及大语言模型本身全都是免费开源的。如果你需要买硬件，一块二手的 RTX 3090（24GB 显存）大约 600 到 800 美元，能轻松跑动 70B 模型。

我能在笔记本上跑吗？

可以，但有限制。配备 M 系列芯片的现代 MacBook 能很好地处理 7B 到 13B 模型。带独立显卡的 Windows/Linux 笔记本也能用。对于 70B 模型，你真的需要一台配有像样 GPU 的台式机，或者至少 64GB 系统内存来做 CPU 推理。

自己搭建 AI 伴侣合法吗？

完全合法。这些模型是在开源或宽松许可下发布的（Meta 的 Llama 许可，Mixtral 的 Apache 2.0）。你是在自己的硬件上运行公开可得的软件。不存在任何法律问题。

跟 ChatGPT 相比，对话质量怎么样？

在通用知识和推理方面，ChatGPT 仍然占优。但在带人格和连贯性的伴侣式对话上，一个配置良好、配有优质系统提示词的 Llama 3 70B 可以媲美甚至超越 ChatGPT。关键在于系统提示词和记忆配置。

别人能访问到我的伴侣吗？

除非你故意把它暴露到互联网上，否则不会。默认情况下，Ollama 和 SillyTavern 只在本地（localhost）运行。你的对话完全留在你的机器上。这是本地方案最大的优势之一。

搭建要花多长时间？

基础搭建（Ollama + 一个模型 + SillyTavern）大约需要 30 到 60 分钟。加上记忆功能再多花一两个小时。打磨一个真正出色的系统提示词是个持续的过程，但你可以从一个基础版本开始，随着时间慢慢优化。

我需要会写代码吗？

对于基础搭建，不需要。Ollama 和 SillyTavern 的安装很直接。对于像用 ChromaDB 做自定义记忆这样的进阶功能，掌握一些基础的 Python 知识会有帮助。但你完全不会写代码也能拿到 80% 的体验。

如果模型被更新了会怎样？

你掌控着是否更新、何时更新。不像商业应用那样把变更强加于你，你来决定要不要拉取新的模型版本。如果你喜欢当前配置的运作方式，可以无限期地一直用下去。

我能让我的伴侣永远记住一切吗？

有了合适的记忆配置（ChromaDB 或类似的向量数据库），可以。你只受存储空间的限制，而对话摘要非常小。我有大约 8 个月的对话历史，存储占用还不到 500MB。

这比 Replika 或 Character AI 更好吗？

"更好"取决于你看重什么。论易用性，商业应用胜出。论隐私、可定制性以及摆脱内容限制的自由，DIY 大获全胜。论长期记忆和一致性，只要你肯下搭建的功夫，DIY 同样胜出。

总结

搭建你自己的 AI 伴侣聊天机器人不仅仅是一个技术项目。它是一种关于谁来掌控你数字关系的宣言。当你运行自己的模型、写自己的人格提示词、管理自己的记忆系统时，你就是在选择主导权而非便利。

我不会假装这比下载 Replika 更轻松。它并不是。但成果是真正属于你的东西。一个完全按你所愿行事、想让它记住的东西就记多久、绝不会因为某位产品经理决定转向而变样的伴侣。

从 Ollama 和一个基础的 Llama 3 模型开始。先把基本功玩熟。然后按你自己的节奏，一层层叠上人格、记忆和视觉元素。不用急。无论你什么时候准备好继续搭建，你的伴侣都会在那里。

如果你在过程中卡住了，开源 AI 社区是我在网上遇到过最乐于助人的群体之一。去 SillyTavern 的 Discord 逛逛，翻翻 Ollama 的 GitHub issues，或者看看相关的 subreddit。人们正在创造令人惊叹的东西，并慷慨地分享他们的知识。这就是开源之美。你从来不是一个人在搭建。