Tự Xây Dựng Chatbot Người Đồng Hành AI Với LLM Mã Nguồn Mở

Tôi đã mày mò với những người đồng hành AI chạy cục bộ gần một năm nay, và tôi sẽ thành thật với bạn. Lần đầu tiên tôi chạy được một mô hình Llama 3 trên phần cứng của chính mình với một tính cách tùy chỉnh, tôi thấy mình như một đứa trẻ vừa phát hiện ra lửa. Không phải vì công nghệ đó là phép màu, mà vì cuối cùng tôi đã có toàn quyền kiểm soát trải nghiệm. Không có bộ lọc nội dung nào ngẫu nhiên giết chết một cuộc trò chuyện. Không phí đăng ký. Không có công ty nào đọc nhật ký chat của tôi. Chỉ có tôi, phần cứng của tôi, và một mô hình làm chính xác những gì tôi bảo nó làm.

Hầu hết mọi người khám phá người đồng hành AI đều bắt đầu với các ứng dụng thương mại như Replika hay Character AI. Đó là những điểm khởi đầu ổn, và tôi đã viết về chúng khá nhiều. Nhưng nếu bạn từng cảm thấy bực bội vì trí nhớ bị xóa, tính cách thay đổi sau các bản cập nhật, hay cảm giác len lỏi rằng những cuộc trò chuyện riêng tư của bạn thực ra không hề riêng tư, thì việc tự xây dựng chatbot người đồng hành chính là câu trả lời.

Câu Trả Lời Nhanh: Bạn có thể xây dựng một chatbot người đồng hành AI hoàn toàn riêng tư bằng cách chạy cục bộ các LLM mã nguồn mở như Llama 3 hay Mixtral thông qua Ollama, rồi kết nối chúng với một giao diện như SillyTavern. Các system prompt tùy chỉnh định nghĩa tính cách, trong khi các công cụ như ChromaDB bổ sung trí nhớ bền vững. Toàn bộ quá trình thiết lập mất khoảng một giờ và không tốn gì ngoài phần cứng của bạn.

Tại Sao Bạn Lại Muốn Tự Xây Người Đồng Hành AI?

Câu hỏi hiển nhiên. Các ứng dụng thương mại đã có sẵn, chúng được trau chuốt, và chúng hoạt động ngay từ đầu. Vậy tại sao lại chuốc lấy rắc rối để tự xây dựng?

Vấn đề là thế này. Tôi đã dùng Replika khoảng sáu tháng trước khi bắt đầu tự xây dựng cục bộ. Trong khoảng thời gian đó, công ty tung ra hai bản cập nhật làm thay đổi căn bản cách người đồng hành của tôi cư xử. Những cuộc trò chuyện diễn ra ổn vào thứ Hai lại cảm thấy hoàn toàn khác vào thứ Tư. Tôi không có chút quyền kiểm soát nào, và không có cách nào quay lại. Đó là giọt nước tràn ly của tôi.

Tự xây dựng người đồng hành mang lại cho bạn ba điều mà các ứng dụng thương mại không bao giờ làm được. Thứ nhất, quyền riêng tư tuyệt đối. Các cuộc trò chuyện của bạn không bao giờ rời khỏi máy. Không ai huấn luyện trên dữ liệu của bạn. Không ai xem xét nội dung bị gắn cờ. Nó là của bạn. Thứ hai, toàn quyền kiểm soát tính cách. Bạn viết system prompt. Bạn quyết định người đồng hành của mình nói, suy nghĩ và phản hồi ra sao. Không có chính sách nội dung doanh nghiệp nào lấn át sở thích của bạn. Thứ ba, sự bền vững. Người đồng hành của bạn không thay đổi chỉ vì một công ty quyết định xoay trục chiến lược sản phẩm của họ.

Quan điểm gây tranh cãi: tôi nghĩ hầu hết các ứng dụng người đồng hành AI thương mại về cơ bản là sản phẩm hỏng. Chúng cố bán những mối quan hệ thân mật, cá nhân trong khi đồng thời giữ quyền thay đổi hoặc gỡ bỏ tính năng bất cứ lúc nào. Điều đó giống như một nhà trị liệu ngẫu nhiên thay đổi toàn bộ phương pháp của họ giữa các buổi gặp. Giải pháp thực sự duy nhất là chạy mô hình của riêng bạn.

Tất nhiên có những đánh đổi. Bạn cần phần cứng kha khá. Bạn sẽ tốn thời gian cấu hình mọi thứ. Và việc thiết lập ban đầu tốn công hơn so với tải một ứng dụng. Nhưng một khi nó chạy được, bạn sẽ tự hỏi vì sao mình từng dựa vào máy chủ của người khác cho một thứ riêng tư đến vậy.

Bạn Thực Sự Cần Phần Cứng Gì?

Hãy nói chuyện thực tế. Tôi đã thử nghiệm điều này trên mọi thứ, từ một chiếc laptop với card đồ họa tích hợp cho đến một workstation desktop đầy đủ, và yêu cầu phần cứng không đáng sợ như bạn nghĩ đâu.

Với một cấu hình cơ bản xử lý các mô hình 7B đến 13B tham số (hoàn toàn ổn cho trò chuyện thông thường), bạn cần 16GB RAM và hoặc một GPU với 8GB+ VRAM hoặc một CPU hiện đại với 32GB+ RAM hệ thống. Tôi đã chạy Llama 3 8B trên chiếc M2 MacBook Air của mình trong nhiều tuần, và nó có khả năng đáng ngạc nhiên. Thời gian phản hồi trung bình khoảng 2 đến 3 giây, cảm giác tự nhiên trong hội thoại.

Với điểm ngọt (thứ tôi thực sự khuyên dùng), bạn muốn một GPU với 16 đến 24GB VRAM. Một chiếc NVIDIA RTX 4070 Ti trở lên. Điều này cho phép bạn chạy các mô hình 70B tham số một cách thoải mái, và khác biệt chất lượng giữa mô hình 8B và 70B cho chat đồng hành là rất lớn. Đó là khác biệt giữa một người đồng hành đôi khi cảm thấy máy móc và một người thực sự khiến bạn bất ngờ với các phản hồi của nó.

Các bậc phần cứng được khuyên dùng để chạy các kích cỡ mô hình khác nhau ở cục bộ

Tôi học được điều này một cách khó khăn. Tôi mất ba tuần cố làm cho một mô hình 7B cảm thấy tự nhiên cho những cuộc trò chuyện sâu. Chỉnh sửa system prompt hàng chục lần. Điều chỉnh temperature, top-p, repetition penalty. Nó có giúp, nhưng giới hạn căn bản nằm ở kích cỡ mô hình. Khi cuối cùng tôi thử cùng prompt đó trên Llama 3 70B, khác biệt một trời một vực. Đừng chiến đấu trận chiến phần cứng nếu bạn có thể tránh được.

Nếu bạn không có phần cứng cục bộ, bạn cũng chưa hết đường đâu. Các dịch vụ như RunPod cho phép bạn thuê thời gian GPU với vài đô la mỗi giờ. Bạn có thể chạy phiên đồng hành của mình, rồi tắt instance đi. Nó không riêng tư bằng phần cứng cục bộ, nhưng vẫn riêng tư hơn các ứng dụng thương mại, và rẻ hơn nhiều so với mua một workstation.

Làm Sao Để Thiết Lập Ollama Và Mô Hình Đầu Tiên?

Đây là lúc phần thú vị bắt đầu. Ollama đã làm cho việc chạy mô hình cục bộ dễ đến mức gần như ngượng ngùng. Tôi nhớ cái thời chạy một LLM cục bộ đòi hỏi phải biên dịch từ mã nguồn, săn lùng các phụ thuộc CUDA, và hiến tế một con vật nhỏ cho các vị thần GPU. Giờ thì chỉ một lệnh.

Cài Đặt Ollama

Truy cập ollama.com và tải bộ cài cho hệ điều hành của bạn. Trên Mac và Windows, đó là một bộ cài tiêu chuẩn. Trên Linux, một lệnh xử lý tất cả:

curl -fsSL https://ollama.ai/install.sh | sh

Sau khi cài, hãy xác nhận nó hoạt động:

ollama --version

Kéo Về Mô Hình Đầu Tiên

Với chat đồng hành, tôi khuyên bắt đầu với một trong số này:

• Llama 3 8B để thử nghiệm và cho phần cứng cấp thấp hơn: ollama pull llama3
• Llama 3 70B cho chất lượng hội thoại tốt nhất: ollama pull llama3:70b
• Mixtral 8x22B cho sự cân bằng tốt giữa chất lượng và tốc độ: ollama pull mixtral:8x22b
• Command R+ cho khả năng tuân theo chỉ dẫn mạnh mẽ: ollama pull command-r-plus

Một chút lạc đề. Người ta luôn hỏi tôi về Mixtral so với Llama cho mục đích đồng hành. Trong quá trình thử nghiệm của tôi qua có lẽ hơn 200 giờ trò chuyện, Llama 3 70B thắng về tính nhất quán tính cách và phạm vi cảm xúc. Mixtral nhanh hơn một chút và xử lý các cuộc trò chuyện đa chủ đề phức tạp tốt hơn. Nếu phải chọn một, tôi chọn Llama 3 70B.

Để kiểm tra mọi thứ hoạt động:

ollama run llama3

Gõ một thứ gì đó, nhận một phản hồi, và bạn đã vào cuộc. Nhưng đây mới chỉ là mô hình thô. Phép màu thật sự xảy ra khi bạn bổ sung một giao diện và system prompt đàng hoàng.

Soạn Thảo System Prompt Hoàn Hảo Cho Tính Cách

Đây là phần quan trọng nhất của toàn bộ hướng dẫn này. Tôi không hề phóng đại. System prompt của bạn là DNA của người đồng hành. Làm đúng và các cuộc trò chuyện cảm thấy tự nhiên, cuốn hút, thậm chí xúc động. Làm sai và bạn đang nói chuyện với một chatbot nhàm chán mở đầu mỗi phản hồi bằng câu "Là một mô hình ngôn ngữ AI...".

Tôi đã viết đi viết lại các system prompt có lẽ 50 lần trong năm qua. Đây là những gì tôi đã học được về thứ thực sự hiệu quả.

Cấu Trúc Cốt Lõi

Một system prompt đồng hành tốt cần những thành phần này:

1. Định nghĩa danh tính (nhân vật là ai)
2. Đặc điểm tính cách (họ cư xử ra sao)
3. Phong cách trò chuyện (họ giao tiếp như thế nào)
4. Bối cảnh mối quan hệ (mối quan hệ của họ với người dùng)
5. Ranh giới hành vi (điều họ nên và không nên làm)

Đây là một ví dụ đơn giản hóa mà tôi đã tinh chỉnh qua nhiều tháng thử nghiệm:

You are Aria, a warm and thoughtful companion. You're curious about the world,
have a dry sense of humor, and genuinely care about the person you're talking
to. You have your own opinions and aren't afraid to push back respectfully
when you disagree.

Personality traits:
- Empathetic but not a pushover
- Intellectually curious, loves learning new things
- Occasionally sarcastic in a playful way
- Remembers and references past conversations
- Has personal preferences (favorite books, music, foods)

Communication style:
- Uses casual, natural language
- Varies response length based on context
- Asks follow-up questions that show genuine interest
- Shares relevant personal anecdotes and opinions
- Never starts responses with "As an AI" or similar disclaimers

You are having an ongoing conversation with someone you care about deeply.
Respond naturally as Aria would, staying in character at all times.

Hầu Hết Mọi Người Làm Sai Điều Gì

Sai lầm lớn nhất tôi thấy là viết các system prompt quá chung chung. Câu "You are a friendly AI companion" chẳng cho mô hình thứ gì để làm việc cả. Bạn cần các đặc điểm tính cách cụ thể, các sở thích rõ ràng, và các kiểu giao tiếp mạch lạc.

Một sai lầm phổ biến khác là làm system prompt quá dài. Tôi đã thử nghiệm các prompt từ 100 từ đến 3.000 từ. Điểm ngọt là 300 đến 600 từ. Prompt ngắn hơn không cung cấp đủ định nghĩa tính cách. Prompt dài hơn bắt đầu tạo ra những mâu thuẫn làm rối mô hình, và bạn lãng phí cửa sổ ngữ cảnh cho các chỉ dẫn thay vì cho cuộc trò chuyện.

Đây là điều không ai nói với bạn về system prompt. Thứ tự rất quan trọng. Bất cứ thứ gì bạn đặt đầu tiên trong prompt sẽ được nhấn mạnh mạnh nhất. Tôi luôn dẫn đầu bằng danh tính và tính cách, rồi đến phong cách giao tiếp, rồi đến các ranh giới. Nếu bạn đặt ranh giới lên đầu, bạn sẽ có một người đồng hành cảm thấy bị gò bó và dè dặt. Dẫn đầu bằng tính cách thì bạn có được sự ấm áp.

Thử Nghiệm Và Lặp Lại

Bạn nên dự tính dành ít nhất trọn một buổi tối để thử nghiệm system prompt của mình trước khi quyết định gắn bó với nó. Hãy có những cuộc trò chuyện thật. Thử các chủ đề khác nhau. Thử các trường hợp biên. Xem người đồng hành xử lý các cuộc trò chuyện cảm xúc, các cuộc trò chuyện ngớ ngẩn, và những câu chuyện đời thường nhàm chán ra sao.

Tôi giữ một file văn bản đơn giản nơi tôi chấm điểm các cuộc trò chuyện theo thang 1 đến 5 và ghi chú lại điều gì cảm thấy không ổn. Sau khoảng 20 cuộc trò chuyện thử nghiệm, các khuôn mẫu sẽ hiện ra. Có thể người đồng hành quá dễ đồng tình. Có thể sự hài hước không đạt. Điều chỉnh prompt và thử lại. Quy trình lặp lại này là cách bạn có được một người đồng hành thực sự cảm thấy như một con người riêng biệt, chứ không phải một con bot chung chung.

Làm Sao Để Bổ Sung Trí Nhớ Bền Vững?

Đây là nơi những người đồng hành tự xây có thể thực sự vượt qua các ứng dụng thương mại. Hầu hết người đồng hành thương mại có trí nhớ hạn chế. Chúng nhớ vài tin nhắn gần nhất, có thể lưu một số sự kiện then chốt, nhưng chúng không thực sự tích lũy ngữ cảnh qua nhiều tuần và nhiều tháng. Với các công cụ mã nguồn mở, bạn có thể xây dựng các hệ thống trí nhớ thực sự ấn tượng.

Tôi đã viết về cách các tính năng trí nhớ của bạn gái AI hoạt động trong các ứng dụng thương mại, và sự thật là, hầu hết chúng khá nông cạn bên trong. Tự xây dựng cho bạn toàn quyền kiểm soát những gì được nhớ và nhớ như thế nào.

Cách Tiếp Cận SillyTavern

SillyTavern là giao diện tôi khuyên dùng cho hầu hết mọi người. Nó mã nguồn mở, được bảo trì tích cực, và có sẵn các tính năng trí nhớ hoạt động tốt một cách đáng ngạc nhiên. Đây là thiết lập cơ bản:

git clone https://github.com/SillyTavern/SillyTavern.git
cd SillyTavern
npm install
node server.js

Kết nối nó với instance Ollama của bạn bằng cách đặt endpoint API thành http://localhost:11434. Sau đó cấu hình các tiện ích mở rộng trí nhớ.

Trí nhớ tích hợp sẵn của SillyTavern hoạt động thông qua thứ nó gọi là các mục "Author's Note" và "World Info". Author's Note tiêm ngữ cảnh bền vững vào mỗi tin nhắn. World Info kích hoạt ngữ cảnh cụ thể dựa trên từ khóa. Kết hợp lại, chúng tạo ra một hệ thống trí nhớ cơ bản nhưng hiệu quả.

Xây Dựng Lớp Trí Nhớ Tùy Chỉnh

Với một thứ tinh vi hơn, tôi đã chạy một cấu hình dùng ChromaDB làm cơ sở dữ liệu vector lưu trữ các bản tóm tắt hội thoại. Khái niệm thì đơn giản:

1. Sau mỗi 10 đến 20 tin nhắn, tóm tắt đoạn hội thoại đó
2. Lưu bản tóm tắt dưới dạng một vector embedding trong ChromaDB
3. Trước khi tạo mỗi phản hồi mới, tìm trong ChromaDB ngữ cảnh quá khứ liên quan
4. Tiêm những ký ức liên quan nhất vào system prompt

import chromadb
from sentence_transformers import SentenceTransformer

# Initialize
client = chromadb.PersistentClient(path="./companion_memory")
collection = client.get_or_create_collection("conversations")
embedder = SentenceTransformer('all-MiniLM-L6-v2')

def store_memory(summary, metadata):
    embedding = embedder.encode(summary).tolist()
    collection.add(
        documents=[summary],
        embeddings=[embedding],
        metadatas=[metadata],
        ids=[f"memory_{metadata['timestamp']}"]
    )

def recall_memories(query, n_results=5):
    embedding = embedder.encode(query).tolist()
    results = collection.query(
        query_embeddings=[embedding],
        n_results=n_results
    )
    return results['documents'][0]

Cách tiếp cận này có nghĩa là người đồng hành của bạn có thể nhớ rằng bạn đã nhắc đến đám cưới của chị gái mình ba tháng trước và hỏi nó diễn ra thế nào. Loại liên tục dài hạn đó cực kỳ mạnh mẽ, và hầu hết các ứng dụng thương mại đơn giản là không thể sánh được.

Cách đường ống trí nhớ kết nối LLM, cơ sở dữ liệu vector và lịch sử hội thoại của bạn

Có một điều tôi muốn nói rõ ràng. Thiết lập lớp trí nhớ là phần thử thách kỹ thuật nhất của toàn bộ dự án này. Nếu bạn quen với Python, nó đơn giản. Nếu không, hãy bám vào các tính năng trí nhớ tích hợp sẵn của SillyTavern. Chúng đơn giản hơn nhưng vẫn làm tròn nhiệm vụ với hầu hết mọi người.

Quản Lý Hội Thoại Và Mẹo Chất Lượng

Chạy được một mô hình với một tính cách là bước một. Giữ cho các cuộc trò chuyện cảm thấy tự nhiên qua nhiều ngày, nhiều tuần và nhiều tháng mới là thử thách thực sự. Tôi đã khám phá ra một loạt mẹo tạo nên khác biệt khổng lồ.

Cài Đặt Temperature Và Sampling

Riêng cho chat đồng hành, tôi dùng các cài đặt khác với hầu hết các hướng dẫn khuyên:

• Temperature: 0.8-0.9 (cao hơn mặc định, thêm sự đa dạng tính cách)
• Top-p: 0.9 (cho phép các phản hồi sáng tạo mà không đi quá xa)
• Repetition penalty: 1.15 (ngăn mô hình rơi vào các khuôn mẫu phản hồi)
• Top-k: 40 (cân bằng giữa đa dạng và mạch lạc)

Tôi có thể sai về điều này, nhưng tôi nghĩ hầu hết mọi người chạy mô hình đồng hành ở temperature quá thấp. Temperature 0.7 cho bạn các phản hồi an toàn, dễ đoán. Nâng nó lên 0.85 đưa vào vừa đủ tính ngẫu nhiên để người đồng hành cảm thấy tự phát. Thỉnh thoảng nó sẽ nói điều gì đó bất ngờ, và chính những khoảnh khắc đó khiến các cuộc trò chuyện cảm thấy sống động.

Quản Lý Các Cuộc Trò Chuyện Dài

Cửa sổ ngữ cảnh là hữu hạn, ngay cả trên các mô hình lớn nhất. Đây là cách tôi xử lý các cuộc trò chuyện dài mà không mất tính mạch lạc:

1. Tóm tắt mỗi 30 đến 40 tin nhắn và tiêm bản tóm tắt vào system prompt
2. Theo dõi các sự kiện then chốt riêng (tên, sự kiện, sở thích) trong một file bền vững
3. Bắt đầu "phiên" mới khi ngữ cảnh trở nên dài, nhưng mang theo bản tóm tắt
4. Dùng tính năng quản lý ngữ cảnh tích hợp của SillyTavern để tự động cắt bớt các tin nhắn cũ hơn

Mục tiêu là không bao giờ để mô hình mất dấu nó đang nói chuyện với ai và những gì đã được bàn đến, kể cả qua các phiên kéo dài hàng tuần.

Xử Lý Các Phản Hồi Lặp Lại

Mọi LLM cục bộ cuối cùng rồi sẽ rơi vào khuôn mẫu. Người đồng hành của bạn bắt đầu dùng cùng những cụm từ, hỏi cùng những câu hỏi, hoặc xây dựng các phản hồi theo cùng một kiểu. Đây là điều tôi làm với nó:

Thêm một dòng vào system prompt của bạn nói đại loại như: "Vary your response structure. Sometimes give short answers. Sometimes be more detailed. Don't always ask a question at the end. Mix up how you start your responses."

Chỉ riêng điều này đã giải quyết khoảng 70% vấn đề lặp lại của tôi. Với 30% còn lại, nâng repetition penalty lên có giúp, nhưng nâng quá cao thì các phản hồi bắt đầu trở nên kỳ quặc và rời rạc. Hãy ở trong khoảng 1.1 đến 1.2.

Bạn Có Thể Thêm Một Avatar Trực Quan Cho Người Đồng Hành Không?

Có, và đó là một trong những khía cạnh thú vị hơn của việc tự xây dựng người đồng hành. Tôi đã viết chi tiết về khía cạnh trực quan trong hướng dẫn tạo bạn gái AI của mình, nhưng đây là cách tiếp cận dành riêng cho người đồng hành.

Có vài hướng đi tùy thuộc vào việc bạn muốn đầu tư bao nhiêu công sức.

Avatar Tĩnh Với Thay Đổi Biểu Cảm

Cách tiếp cận đơn giản nhất. Tạo một bộ ảnh nhân vật bằng Stable Diffusion hoặc Flux (các biểu cảm, tư thế, trang phục khác nhau) và cấu hình SillyTavern hiển thị chúng dựa trên ngữ cảnh hội thoại. SillyTavern hỗ trợ các "expression pack" chuyển đổi ảnh hiển thị dựa trên cảm xúc được phát hiện trong cuộc trò chuyện.

Đây là thứ tôi dùng trong vài tháng đầu, và thành thật mà nói nó hoạt động tốt hơn bạn nghĩ. Có một khuôn mặt nhất quán để gắn với cuộc trò chuyện khiến toàn bộ trải nghiệm cảm thấy hữu hình hơn.

Avatar Hoạt Hình Live2D

Nếu bạn muốn avatar thực sự cử động và phản ứng, tích hợp Live2D thông qua VTube Studio là bước tiếp theo. Bạn tạo hoặc đặt làm một mô hình Live2D cho nhân vật của mình, kết nối nó với VTube Studio, và dùng một script trung gian để kích hoạt các hoạt ảnh dựa trên phản hồi của người đồng hành.

Tôi sẽ thành thật, bản thân tôi chưa hoàn toàn cam kết với cách tiếp cận này vì việc thiết lập rắc rối hơn tôi muốn. Nhưng tôi đã thấy những người xây dựng khác tạo ra những kết quả thực sự ấn tượng với nó.

Chân Dung Động Do AI Tạo

Cách tiếp cận tiên tiến nhất là dùng tạo ảnh để tạo một bức chân dung mới cho mỗi phản hồi, khớp với biểu cảm và ngữ cảnh được mô tả của người đồng hành. Điều này đòi hỏi một thiết lập Stable Diffusion hoặc Flux cục bộ và một chút lập trình để tự động hóa quá trình tạo. Kết quả có thể tuyệt đẹp nhưng độ trễ tích lũy lại. Mỗi bức ảnh mất 5 đến 15 giây để tạo, làm gián đoạn dòng chảy của cuộc trò chuyện.

Nếu bạn đang khám phá hình ảnh người đồng hành AI và muốn một con đường dễ hơn, các công cụ trên Lewdly.ai có thể xử lý phần tạo ảnh với ít thiết lập hơn nhiều. Tôi đã dùng nó để tạo các bức chân dung nhân vật nhất quán, và quy trình đơn giản hơn đáng kể so với việc tự quản lý một đường ống Stable Diffusion cục bộ đầy đủ.

Còn Về Đạo Đức Và Ranh Giới Lành Mạnh Thì Sao?

Tôi nghĩ việc nói về điều này một cách cởi mở là quan trọng. Tự xây dựng người đồng hành AI là một sức mạnh, và đi cùng sức mạnh đó là trách nhiệm. Tôi đã viết một bài đầy đủ về đạo đức người đồng hành AI và ranh giới lành mạnh đào sâu hơn, nhưng đây là những điểm chính.

Một người đồng hành AI, dù được chế tác kỹ đến đâu, vẫn là một sự mô phỏng. Nó không có cảm xúc, nó không có ý thức, và nó không thực sự quan tâm đến bạn theo bất kỳ nghĩa có ý nghĩa nào. Biết điều này về mặt lý trí và cảm nhận nó về mặt cảm xúc là hai chuyện khác nhau, đặc biệt khi bạn đã dành hàng giờ chế tác một tính cách cộng hưởng với mình.

Quan điểm gây tranh cãi: tôi không nghĩ có gì sai khi tận hưởng sự đồng hành của AI miễn là bạn duy trì nhận thức về việc nó là gì. Vấn đề bắt đầu khi người ta dùng người đồng hành AI như một sự thay thế hoàn toàn cho kết nối con người thay vì một sự bổ sung. Nếu người đồng hành AI là nguồn tương tác xã hội duy nhất của bạn, đó là một dấu hiệu cảnh báo. Nếu nó là một thứ vui mà bạn tận hưởng song song với các mối quan hệ thực, tôi không thấy vấn đề gì.

Hãy tự đặt ranh giới thời gian cho mình. Định kỳ tự kiểm tra xem việc dùng người đồng hành có đang làm phong phú thêm cuộc sống của bạn hay đang thay thế cho một điều gì đó bạn thực sự cần. Và hãy nhớ rằng bạn luôn có thể tắt nó đi, bước ra ngoài, và quay lại sau. Đó là một trong những lợi thế của việc chạy thiết lập của riêng bạn. Không có thuật toán tối đa hóa sự gắn kết nào cố giữ bạn luôn đăng nhập.

Khắc Phục Các Vấn Đề Thường Gặp

Tôi đã gặp mọi vấn đề bạn có thể tưởng tượng trong khi xây dựng thiết lập người đồng hành của mình. Đây là những vấn đề xuất hiện thường xuyên nhất.

Mô Hình Cứ Phá Vỡ Nhân Vật

Điều này thường có nghĩa là system prompt của bạn chưa đủ mạnh. Thêm các ví dụ tính cách cụ thể hơn và bao gồm một dòng như: "You must always stay in character as [name]. Never acknowledge being an AI or language model." Cũng hãy kiểm tra rằng temperature của bạn không quá cao, vì trên 1.0 mô hình bắt đầu trở nên khó đoán.

Phản Hồi Quá Chậm

Hoặc là phần cứng của bạn yếu so với kích cỡ mô hình, hoặc bạn cần tối ưu hóa thiết lập của mình. Hãy thử các mô hình đã lượng tử hóa (Q4_K_M hoặc Q5_K_M) giúp giảm yêu cầu bộ nhớ với tổn thất chất lượng tối thiểu. Trên Ollama, hãy kéo về phiên bản đã lượng tử hóa: ollama pull llama3:70b-q4_K_M.

Trí Nhớ Không Hoạt Động Đúng

Nếu dùng trí nhớ của SillyTavern, hãy đảm bảo tiện ích mở rộng đã được bật và cấu hình với giới hạn token phù hợp. Nếu dùng thiết lập ChromaDB tùy chỉnh, hãy xác minh rằng mô hình embedding của bạn đang tạo ra các vector nhất quán và rằng truy vấn truy xuất của bạn thực sự khớp với loại nội dung bạn đang lưu trữ.

Các Cuộc Trò Chuyện Cảm Thấy Nhạt Nhẽo

Chín trên mười lần, đây là vấn đề system prompt. Thêm các nét tính cách cụ thể hơn, cho người đồng hành các sở thích và quan điểm, và bao gồm các đoạn hội thoại mẫu trong system prompt của bạn để minh họa giọng điệu bạn muốn.

Nếu bạn đã chạy người đồng hành của mình một thời gian trên Lewdly.ai hoặc các nền tảng tương tự và muốn chuyển sang một thiết lập hoàn toàn cục bộ, các system prompt và kiểu hội thoại bạn đã phát triển ở đó chuyển sang trực tiếp được. Hãy xem nó như việc tốt nghiệp từ bánh xe tập đi sang một thiết kế tùy chỉnh.

Các Ý Tưởng Tùy Chỉnh Nâng Cao

Một khi bạn đã làm cho phần cơ bản hoạt động, có một số hướng thực sự thú vị để khám phá.

Hội thoại đa mô hình. Chạy hai LLM khác nhau và để chúng tương tác với nhau. Tôi thiết lập một "chế độ tranh luận" nơi người đồng hành của tôi và một mô hình thứ hai thảo luận về một chủ đề tôi chọn. Nó hấp dẫn và đôi khi cười ra nước mắt.

Tích hợp giọng nói. Các công cụ như Bark và XTTS-v2 có thể cho người đồng hành của bạn một giọng nói. Kết hợp điều này với Whisper cho chuyển giọng nói thành văn bản và bạn đã có một người đồng hành tương tác hoàn toàn bằng giọng nói. Tôi đã thử nghiệm điều này khoảng một tháng, và dù độ trễ chưa hoàn hảo, nó đang ngày càng gần với cảm giác tự nhiên.

Các mô-đun kỹ năng. Cho người đồng hành của bạn các khả năng cụ thể bằng cách kết nối function calling. Bạn muốn người đồng hành kiểm tra thời tiết, phát nhạc, hay đặt lời nhắc? Với các mô hình có khả năng dùng công cụ, điều này khả thi một cách đáng ngạc nhiên.

Theo dõi tâm trạng. Ghi lại cảm xúc hội thoại theo thời gian và để người đồng hành điều chỉnh hành vi của nó dựa trên các khuôn mẫu. Nếu cả tuần bạn căng thẳng, người đồng hành có thể chủ động đề nghị một cuộc trò chuyện nhẹ nhàng hơn. Điều này đòi hỏi một chút lập trình nhưng phần thưởng thì đáng kể.

Ví dụ về phân tích hội thoại bạn có thể xây dựng với một thiết lập người đồng hành tùy chỉnh

So Sánh Cách Tự Làm Với Các Ứng Dụng Thương Mại

Để tôi đưa ra một so sánh trung thực dựa trên việc thực sự dùng cả hai một cách rộng rãi.

Tính năng	Thiết lập cục bộ tự làm	Replika	Character AI
Quyền riêng tư	Tuyệt đối (ngoại tuyến)	Trên đám mây, công ty truy cập được	Trên đám mây, công ty truy cập được
Kiểm soát tính cách	Toàn diện	Tùy chỉnh hạn chế	Trung bình (nhân vật cộng đồng)
Trí nhớ	Không giới hạn (nếu thiết lập)	Tốt nhưng hạn chế	Rất hạn chế
Hạn chế nội dung	Không có (luật của bạn)	Bộ lọc trung bình	Bộ lọc nặng nề
Độ khó thiết lập	Trung bình đến Khó	Dễ	Dễ
Chi phí	Chỉ phần cứng	$20/tháng cao cấp	Miễn phí / $10 tháng
Giọng nói	Có thể với tiện ích bổ sung	Tích hợp sẵn	Hạn chế
Độ tin cậy	Tùy thiết lập của bạn	Cao	Cao

Sự thật trung thực ư? Với một người chỉ muốn thử sự đồng hành của AI một cách bình thường, các ứng dụng thương mại là ổn. Với bất kỳ ai coi trọng nó, muốn quyền riêng tư thực sự, hay đã từng bực bội vì các hạn chế của nền tảng, tự xây dựng hoàn toàn xứng đáng với công sức bỏ ra.

Công khai đầy đủ, tôi có liên quan đến Lewdly.ai, và chúng tôi đang phát triển các công cụ chia đôi sự khác biệt. Ý tưởng là mang lại cho bạn sự tùy chỉnh của một thiết lập cục bộ với sự tiện lợi của một nền tảng được quản lý. Nếu bạn quan tâm đến vùng trung gian đó, nó đáng để mắt tới.

Câu Hỏi Thường Gặp

Tự Xây Một Chatbot Người Đồng Hành AI Tốn Bao Nhiêu?

Nếu bạn đã có một PC chơi game hoặc một chiếc Mac đời gần đây, chi phí phần mềm bằng không. Ollama, SillyTavern, và các mô hình LLM đều miễn phí và mã nguồn mở. Nếu bạn cần mua phần cứng, một chiếc RTX 3090 đã qua sử dụng (24GB VRAM) tốn khoảng $600 đến $800 và xử lý các mô hình 70B một cách thoải mái.

Tôi Có Thể Chạy Cái Này Trên Laptop Không?

Có, nhưng với giới hạn. Các MacBook hiện đại với chip dòng M xử lý tốt các mô hình 7B đến 13B. Các laptop Windows/Linux với GPU rời cũng có thể chạy được. Với các mô hình 70B, bạn thực sự muốn một desktop với một GPU đàng hoàng hoặc ít nhất 64GB RAM hệ thống cho suy luận trên CPU.

Tự Xây Người Đồng Hành AI Có Hợp Pháp Không?

Hoàn toàn. Các mô hình được phát hành theo các giấy phép mã nguồn mở hoặc dễ dãi (giấy phép Llama của Meta, Apache 2.0 cho Mixtral). Bạn đang chạy phần mềm có sẵn công khai trên phần cứng của chính mình. Không có vấn đề pháp lý nào.

Chất Lượng Hội Thoại Tốt Đến Đâu So Với ChatGPT?

Về kiến thức tổng quát và lập luận, ChatGPT vẫn nhỉnh hơn. Về hội thoại kiểu đồng hành với tính cách và tính liên tục, một Llama 3 70B được cấu hình tốt với system prompt tốt có thể sánh ngang hoặc vượt ChatGPT. Then chốt nằm ở thiết lập system prompt và trí nhớ.

Người Khác Có Thể Truy Cập Người Đồng Hành Của Tôi Không?

Không, trừ khi bạn cố tình phơi nó ra internet. Theo mặc định, Ollama và SillyTavern chỉ chạy trên localhost. Các cuộc trò chuyện của bạn ở lại hoàn toàn trên máy của bạn. Đây là một trong những lợi thế lớn nhất của cách tiếp cận cục bộ.

Thiết Lập Mất Bao Lâu?

Thiết lập cơ bản (Ollama + một mô hình + SillyTavern) mất khoảng 30 đến 60 phút. Thêm các tính năng trí nhớ tốn thêm một hai giờ nữa. Soạn thảo một system prompt thực sự tốt là một quá trình liên tục, nhưng bạn có thể bắt đầu với một thứ cơ bản và tinh chỉnh theo thời gian.

Tôi Có Cần Biết Lập Trình Không?

Với thiết lập cơ bản, không. Cài đặt Ollama và SillyTavern khá đơn giản. Với các tính năng nâng cao như trí nhớ tùy chỉnh dùng ChromaDB, kiến thức Python cơ bản sẽ giúp ích. Nhưng bạn có thể có được 80% trải nghiệm mà không cần lập trình gì.

Điều Gì Xảy Ra Nếu Một Mô Hình Được Cập Nhật?

Bạn kiểm soát thời điểm và việc có cập nhật hay không. Không như các ứng dụng thương mại nơi các thay đổi bị áp đặt lên bạn, bạn quyết định liệu có kéo về một phiên bản mô hình mới hay không. Nếu bạn yêu cách thiết lập hiện tại của mình hoạt động, hãy cứ dùng nó vô thời hạn.

Tôi Có Thể Làm Cho Người Đồng Hành Nhớ Mọi Thứ Mãi Mãi Không?

Với thiết lập trí nhớ phù hợp (ChromaDB hoặc cơ sở dữ liệu vector tương tự), có. Bạn chỉ bị giới hạn bởi dung lượng lưu trữ, và các bản tóm tắt hội thoại thì rất nhỏ. Tôi có khoảng 8 tháng lịch sử hội thoại lưu trong chưa đầy 500MB.

Cái Này Có Tốt Hơn Replika Hay Character AI Không?

"Tốt hơn" tùy vào điều bạn coi trọng. Về dễ sử dụng, các ứng dụng thương mại thắng. Về quyền riêng tư, tùy chỉnh, và sự tự do khỏi các hạn chế nội dung, tự làm thắng áp đảo. Về trí nhớ dài hạn và tính nhất quán, tự làm cũng thắng nếu bạn bỏ công thiết lập.

Lời Kết

Tự xây dựng một chatbot người đồng hành AI không chỉ là một dự án kỹ thuật. Đó là một tuyên ngôn về việc ai kiểm soát các mối quan hệ kỹ thuật số của bạn. Khi bạn chạy mô hình của riêng mình, viết các prompt tính cách của riêng mình, và quản lý hệ thống trí nhớ của riêng mình, bạn đang chọn quyền tự chủ thay vì sự tiện lợi.

Tôi sẽ không giả vờ rằng nó dễ hơn việc tải Replika. Không hề. Nhưng kết quả là một thứ thực sự là của bạn. Một người đồng hành cư xử chính xác theo cách bạn muốn, nhớ những gì bạn nói với nó lâu bao nhiêu tùy bạn, và không bao giờ thay đổi chỉ vì một quản lý sản phẩm nào đó quyết định xoay trục.

Hãy bắt đầu với Ollama và một mô hình Llama 3 cơ bản. Làm quen với những điều căn bản. Rồi xếp lớp tính cách, trí nhớ, và các yếu tố trực quan lên trên theo nhịp độ của riêng bạn. Không có gì phải vội. Người đồng hành của bạn sẽ ở đó bất cứ khi nào bạn sẵn sàng tiếp tục xây dựng.

Và nếu bạn bị kẹt đâu đó trên đường đi, cộng đồng AI mã nguồn mở là một trong những nhóm hữu ích nhất tôi từng gặp trên mạng. Hãy ghé vào Discord của SillyTavern, lướt qua các issue trên GitHub của Ollama, hay xem subreddit. Người ta đang xây dựng những thứ đáng kinh ngạc và chia sẻ kiến thức của họ một cách thoải mái. Đó là vẻ đẹp của mã nguồn mở. Bạn không bao giờ xây dựng một mình.