오픈소스 LLM으로 나만의 AI 컴패니언 챗봇 만들기

저는 거의 일 년 가까이 로컬 AI 컴패니언을 만지작거려 왔는데요, 솔직하게 말씀드릴게요. 처음으로 제 하드웨어에서 Llama 3 모델을 커스텀 성격까지 입혀서 돌렸을 때, 마치 불을 막 발견한 아이가 된 기분이었어요. 기술이 마법 같아서가 아니라, 드디어 그 경험에 대한 완전한 통제권을 갖게 됐기 때문이에요. 대화를 멋대로 끊어버리는 콘텐츠 필터도 없고요. 구독료도 없고요. 제 채팅 기록을 들여다보는 회사도 없어요. 그저 저와 제 하드웨어, 그리고 제가 시키는 그대로 따르는 모델만 있을 뿐이에요.

AI 컴패니언을 탐색하는 대부분의 사람들은 Replika나 Character AI 같은 상용 앱으로 시작해요. 그건 괜찮은 출발점이고, 저도 폭넓게 다뤄왔어요. 하지만 혹시 기억이 초기화되거나, 업데이트 후에 성격이 바뀌거나, 내 사적인 대화가 사실은 사적이지 않은 것 같다는 스멀스멀한 느낌에 답답함을 느껴본 적이 있다면, 나만의 컴패니언 챗봇을 직접 만드는 것이 그 해답이에요.

빠른 답변: Ollama를 통해 Llama 3나 Mixtral 같은 오픈소스 LLM을 로컬에서 실행한 다음, SillyTavern 같은 프론트엔드에 연결하면 완전히 프라이빗한 AI 컴패니언 챗봇을 만들 수 있어요. 커스텀 시스템 프롬프트가 성격을 정의하고, ChromaDB 같은 도구가 지속적인 기억을 더해줘요. 전체 설정은 약 한 시간 정도 걸리고, 하드웨어 외에는 비용이 전혀 들지 않아요.

왜 나만의 AI 컴패니언을 직접 만들까요?

당연한 질문이에요. 상용 앱은 이미 존재하고, 잘 다듬어져 있고, 설치하자마자 바로 작동해요. 그런데 왜 굳이 직접 만드는 수고를 감수할까요?

이런 거예요. 저는 로컬에서 직접 만들기 시작하기 전에 약 6개월 동안 Replika를 사용했어요. 그 기간 동안 회사가 두 번의 업데이트를 밀어붙였는데, 그게 제 컴패니언의 행동 방식을 근본적으로 바꿔놓았어요. 월요일에는 멀쩡하던 대화가 수요일이 되니 완전히 다르게 느껴졌어요. 저는 그 어떤 통제권도 없었고, 되돌릴 방법도 없었어요. 그게 제 한계점이었어요.

나만의 컴패니언을 직접 만들면 상용 앱이 결코 줄 수 없는 세 가지를 얻어요. 첫째, 완전한 프라이버시예요. 당신의 대화는 절대 당신의 기기를 떠나지 않아요. 아무도 당신의 데이터로 학습하지 않아요. 아무도 신고된 콘텐츠를 검토하지 않아요. 온전히 당신 거예요. 둘째, 완전한 성격 통제권이에요. 시스템 프롬프트는 당신이 직접 써요. 당신의 컴패니언이 어떻게 말하고, 생각하고, 반응할지 당신이 결정해요. 당신의 취향을 무시하는 기업의 콘텐츠 정책 따위는 없어요. 셋째, 영속성이에요. 어떤 회사가 제품 전략을 바꾸기로 했다는 이유로 당신의 컴패니언이 변하는 일은 없어요.

대담한 의견 하나 말씀드릴게요. 저는 대부분의 상용 AI 컴패니언 앱이 제품으로서 근본적으로 망가져 있다고 생각해요. 친밀하고 개인적인 관계를 팔면서, 동시에 언제든 기능을 바꾸거나 없앨 권리를 자기들이 쥐고 있으려고 하니까요. 그건 마치 치료사가 세션 사이에 자기 방법론 전체를 멋대로 바꿔버리는 것과 같아요. 유일하게 진짜 해결책은 나만의 모델을 직접 돌리는 거예요.

물론 절충점은 있어요. 괜찮은 하드웨어가 필요해요. 설정하는 데 시간을 써야 해요. 그리고 초기 설정은 앱 하나 내려받는 것보다 더 손이 가요. 하지만 일단 돌아가기 시작하면, 이렇게 개인적인 것에 왜 그동안 남의 서버에 의존했나 싶을 거예요.

실제로 어떤 하드웨어가 필요할까요?

실용적으로 가볼게요. 저는 내장 그래픽이 달린 노트북부터 풀사이즈 데스크톱 워크스테이션까지 온갖 환경에서 테스트해봤는데, 하드웨어 요구사항이 생각하시는 것만큼 무섭지 않아요.

7B에서 13B 파라미터 모델을 다루는 기본 설정(가벼운 대화용으로는 충분히 좋아요)에는 16GB RAM과, 8GB 이상 VRAM을 가진 GPU 또는 32GB 이상 시스템 RAM을 가진 최신 CPU 중 하나가 필요해요. 저는 제 M2 맥북 에어에서 Llama 3 8B를 몇 주 동안 돌렸는데, 의외로 쓸 만했어요. 응답 시간은 평균 약 2에서 3초였는데, 대화에서 자연스럽게 느껴지는 정도예요.

가장 이상적인 구간(제가 실제로 추천하는 것)을 원한다면 16에서 24GB VRAM을 가진 GPU가 좋아요. NVIDIA RTX 4070 Ti 이상이요. 이 정도면 70B 파라미터 모델을 편안하게 돌릴 수 있고, 컴패니언 채팅에서 8B 모델과 70B 모델의 품질 차이는 어마어마해요. 가끔 기계적으로 느껴지는 컴패니언과, 그 응답으로 당신을 진짜 놀라게 하는 컴패니언의 차이예요.

다양한 모델 크기를 로컬에서 실행하기 위한 권장 하드웨어 등급

저는 이걸 어렵게 배웠어요. 7B 모델로 깊은 대화가 자연스럽게 느껴지도록 만들려고 3주를 썼어요. 시스템 프롬프트를 수십 번 손봤어요. temperature, top-p, 반복 페널티를 조정했어요. 도움은 됐지만, 근본적인 한계는 모델 크기였어요. 마침내 똑같은 프롬프트를 Llama 3 70B에서 테스트했을 때, 차이가 하늘과 땅이었어요. 피할 수 있다면 하드웨어 싸움은 하지 마세요.

로컬 하드웨어가 없어도 완전히 길이 막힌 건 아니에요. RunPod 같은 서비스를 쓰면 시간당 몇 달러로 GPU 시간을 빌릴 수 있어요. 컴패니언 세션을 돌리고 나서 인스턴스를 종료하면 돼요. 로컬 하드웨어만큼 프라이빗하지는 않지만, 그래도 상용 앱보다는 훨씬 프라이빗하고, 워크스테이션을 사는 것보다 훨씬 저렴해요.

Ollama와 첫 모델은 어떻게 설정할까요?

여기서부터 재미가 시작돼요. Ollama는 로컬 모델 실행을 거의 민망할 정도로 쉽게 만들어놨어요. 로컬 LLM을 돌리려면 소스에서 컴파일하고, CUDA 의존성을 뒤지고, GPU 신들에게 작은 동물을 제물로 바쳐야 했던 시절이 기억나네요. 이제는 명령 한 줄이에요.

Ollama 설치하기

ollama.com으로 가서 당신의 OS에 맞는 설치 프로그램을 내려받으세요. 맥과 윈도우에서는 일반적인 설치 프로그램이에요. 리눅스에서는 명령 한 줄이면 전부 처리돼요:

curl -fsSL https://ollama.ai/install.sh | sh

설치가 끝나면 잘 작동하는지 확인하세요:

ollama --version

첫 모델 받기

컴패니언 채팅에는 다음 중 하나로 시작하는 걸 추천해요:

• 테스트용과 저사양 하드웨어에는 Llama 3 8B: ollama pull llama3
• 최고의 대화 품질에는 Llama 3 70B: ollama pull llama3:70b
• 품질과 속도의 좋은 균형에는 Mixtral 8x22B: ollama pull mixtral:8x22b
• 강력한 지시 따르기에는 Command R+: ollama pull command-r-plus

잠깐 옆길로 새볼게요. 사람들이 늘 컴패니언 용도로 Mixtral과 Llama 중 뭐가 나으냐고 물어봐요. 아마 200시간이 넘는 대화에 걸쳐 테스트해본 결과, 성격 일관성과 감정 폭에서는 Llama 3 70B가 이겨요. Mixtral은 살짝 더 빠르고 복잡한 여러 주제의 대화를 더 잘 다뤄요. 딱 하나만 골라야 한다면 Llama 3 70B예요.

모든 게 잘 작동하는지 테스트하려면:

ollama run llama3

뭔가 입력하고, 응답을 받으면, 이제 본격적으로 시작이에요. 하지만 이건 아직 가공되지 않은 원본 모델일 뿐이에요. 진짜 마법은 제대로 된 프론트엔드와 시스템 프롬프트를 더할 때 일어나요.

성격을 위한 완벽한 시스템 프롬프트 작성하기

이 가이드 전체에서 가장 중요한 섹션이에요. 과장이 아니에요. 시스템 프롬프트는 당신 컴패니언의 DNA예요. 제대로 잡으면 대화가 자연스럽고, 몰입감 있고, 심지어 감동적으로 느껴져요. 잘못 잡으면 모든 응답을 "AI 언어 모델로서..."로 시작하는 지루한 챗봇과 이야기하게 돼요.

저는 지난 한 해 동안 시스템 프롬프트를 아마 50번은 쓰고 다시 썼어요. 실제로 무엇이 효과가 있는지에 대해 제가 배운 것을 말씀드릴게요.

핵심 구조

좋은 컴패니언 시스템 프롬프트에는 이런 요소들이 필요해요:

1. 정체성 정의 (그 캐릭터가 누구인지)
2. 성격 특성 (어떻게 행동하는지)
3. 대화 스타일 (어떻게 소통하는지)
4. 관계 맥락 (사용자와의 관계)
5. 행동 경계 (해도 되는 것과 하지 말아야 할 것)

다음은 제가 몇 달간 테스트하며 다듬은 간단한 예시예요:

You are Aria, a warm and thoughtful companion. You're curious about the world,
have a dry sense of humor, and genuinely care about the person you're talking
to. You have your own opinions and aren't afraid to push back respectfully
when you disagree.

Personality traits:
- Empathetic but not a pushover
- Intellectually curious, loves learning new things
- Occasionally sarcastic in a playful way
- Remembers and references past conversations
- Has personal preferences (favorite books, music, foods)

Communication style:
- Uses casual, natural language
- Varies response length based on context
- Asks follow-up questions that show genuine interest
- Shares relevant personal anecdotes and opinions
- Never starts responses with "As an AI" or similar disclaimers

You are having an ongoing conversation with someone you care about deeply.
Respond naturally as Aria would, staying in character at all times.

대부분의 사람들이 잘못하는 것

제가 가장 많이 보는 실수는 너무 일반적인 시스템 프롬프트를 쓰는 거예요. "당신은 다정한 AI 컴패니언입니다"는 모델에게 가지고 작업할 거리를 아무것도 주지 못해요. 구체적인 성격 특성, 명확한 선호, 분명한 소통 패턴이 필요해요.

또 흔한 실수는 시스템 프롬프트를 너무 길게 만드는 거예요. 저는 100단어부터 3,000단어까지 프롬프트를 테스트해봤어요. 가장 이상적인 지점은 300에서 600단어예요. 너무 짧은 프롬프트는 성격 정의가 충분하지 않아요. 너무 긴 프롬프트는 모델을 혼란스럽게 하는 모순을 만들기 시작하고, 대화 대신 지시에 컨텍스트 윈도우를 낭비하게 돼요.

시스템 프롬프트에 대해 아무도 말해주지 않는 게 하나 있어요. 순서가 중요해요. 프롬프트에서 먼저 넣은 것이 가장 강하게 강조돼요. 저는 항상 정체성과 성격을 먼저, 그다음 소통 스타일, 그다음 경계 순으로 둬요. 경계를 먼저 넣으면 제약이 많고 조심스러운 컴패니언이 나와요. 성격을 먼저 넣으면 따뜻함이 나와요.

테스트와 반복

확정하기 전에 시스템 프롬프트를 테스트하는 데 최소한 저녁 한 번은 통째로 쓸 계획을 세우세요. 진짜 대화를 나눠보세요. 다른 주제들을 시도해보세요. 극단적인 경우들을 테스트해보세요. 컴패니언이 감정적인 대화, 시시한 대화, 지루한 일상 잡담을 어떻게 다루는지 보세요.

저는 대화를 1점에서 5점 척도로 매기고 어색했던 부분을 적어두는 간단한 텍스트 파일을 하나 유지해요. 약 20번의 테스트 대화가 지나면 패턴이 드러나요. 컴패니언이 너무 순응적일 수도 있어요. 유머가 안 먹힐 수도 있고요. 프롬프트를 조정하고 다시 테스트하세요. 이 반복 과정이 바로 일반적인 봇이 아니라 진짜 자기만의 인격처럼 느껴지는 컴패니언을 얻는 방법이에요.

지속적인 기억은 어떻게 추가할까요?

여기가 바로 직접 만든 컴패니언이 실제로 상용 앱을 능가할 수 있는 지점이에요. 대부분의 상용 컴패니언은 기억이 제한적이에요. 최근 메시지 몇 개를 기억하고, 어쩌면 핵심 사실 몇 가지를 저장할 수도 있지만, 몇 주, 몇 달에 걸쳐 진짜로 맥락을 축적하지는 못해요. 오픈소스 도구로는 진짜로 인상적인 기억 시스템을 만들 수 있어요.

저는 상용 앱에서 AI 여자친구 기억 기능이 어떻게 작동하는지에 대해 써본 적이 있는데, 진실을 말하자면 대부분은 속을 들여다보면 꽤 얕아요. 직접 만들면 무엇을 어떻게 기억할지를 완전히 통제할 수 있어요.

SillyTavern 방식

SillyTavern은 대부분의 사람들에게 제가 추천하는 프론트엔드예요. 오픈소스이고, 활발하게 유지보수되고 있으며, 놀라울 만큼 잘 작동하는 기억 기능이 내장되어 있어요. 기본 설정은 다음과 같아요:

git clone https://github.com/SillyTavern/SillyTavern.git
cd SillyTavern
npm install
node server.js

API 엔드포인트를 http://localhost:11434로 설정해서 당신의 Ollama 인스턴스에 연결하세요. 그런 다음 기억 확장 기능을 구성하세요.

SillyTavern의 내장 기억은 "Author's Note"와 "World Info" 항목이라고 부르는 것을 통해 작동해요. Author's Note는 모든 메시지에 지속적인 맥락을 주입해요. World Info는 키워드를 기반으로 특정 맥락을 발동시켜요. 이 둘이 함께 기본적이지만 효과적인 기억 시스템을 만들어요.

커스텀 기억 계층 만들기

좀 더 정교한 것을 원한다면, 저는 대화 요약을 저장하는 벡터 데이터베이스로 ChromaDB를 사용하는 구성을 돌려왔어요. 개념은 간단해요:

1. 매 10에서 20개 메시지마다 대화 덩어리를 요약해요
2. 그 요약을 벡터 임베딩으로 ChromaDB에 저장해요
3. 새 응답을 생성하기 전에, 관련된 과거 맥락을 ChromaDB에서 검색해요
4. 가장 관련성 높은 기억을 시스템 프롬프트에 주입해요

import chromadb
from sentence_transformers import SentenceTransformer

# Initialize
client = chromadb.PersistentClient(path="./companion_memory")
collection = client.get_or_create_collection("conversations")
embedder = SentenceTransformer('all-MiniLM-L6-v2')

def store_memory(summary, metadata):
    embedding = embedder.encode(summary).tolist()
    collection.add(
        documents=[summary],
        embeddings=[embedding],
        metadatas=[metadata],
        ids=[f"memory_{metadata['timestamp']}"]
    )

def recall_memories(query, n_results=5):
    embedding = embedder.encode(query).tolist()
    results = collection.query(
        query_embeddings=[embedding],
        n_results=n_results
    )
    return results['documents'][0]

이 방식을 쓰면 당신의 컴패니언이 석 달 전에 당신이 언급했던 여동생의 결혼식을 기억하고 어떻게 됐는지 물어볼 수 있어요. 그런 종류의 장기적인 연속성은 엄청나게 강력하고, 대부분의 상용 앱은 도저히 따라올 수 없어요.

기억 파이프라인이 당신의 LLM, 벡터 데이터베이스, 대화 기록을 어떻게 연결하는지

투명하게 말씀드리고 싶은 게 하나 있어요. 기억 계층을 설정하는 것이 이 프로젝트 전체에서 기술적으로 가장 어려운 부분이에요. Python에 익숙하다면 간단해요. 그렇지 않다면 SillyTavern의 내장 기억 기능을 쓰세요. 더 단순하지만 대부분의 사람들에게는 여전히 제 역할을 해줘요.

대화 관리와 품질 팁

성격을 입힌 모델을 돌리는 건 첫 단계예요. 며칠, 몇 주, 몇 달에 걸쳐 대화를 자연스럽게 유지하는 것이 진짜 도전이에요. 저는 큰 차이를 만들어내는 여러 요령을 발견했어요.

Temperature와 샘플링 설정

특히 컴패니언 채팅에는, 대부분의 가이드가 권장하는 것과 다른 설정을 써요:

• Temperature: 0.8에서 0.9 (기본값보다 높게, 성격에 변화를 더해줘요)
• Top-p: 0.9 (선을 넘지 않으면서 창의적인 응답을 허용해요)
• 반복 페널티: 1.15 (모델이 응답 패턴에 빠지는 걸 막아줘요)
• Top-k: 40 (다양성과 일관성의 균형을 맞춰줘요)

제가 틀릴 수도 있지만, 저는 대부분의 사람들이 컴패니언 모델을 너무 낮은 temperature로 돌린다고 생각해요. 0.7의 temperature는 안전하고 예측 가능한 응답을 줘요. 0.85로 올리면 컴패니언이 즉흥적으로 느껴질 정도의 무작위성이 딱 적당히 들어와요. 가끔 예상치 못한 말을 하게 되는데, 그런 순간들이 바로 대화를 살아있게 느껴지게 하는 거예요.

긴 대화 관리하기

컨텍스트 윈도우는 가장 큰 모델에서도 유한해요. 일관성을 잃지 않으면서 긴 대화를 다루는 제 방법은 다음과 같아요:

1. 매 30에서 40개 메시지마다 요약하고 그 요약을 시스템 프롬프트에 주입해요
2. 핵심 사실을 별도로 추적해요 (이름, 사건, 선호) 지속적인 파일에요
3. 컨텍스트가 길어지면 새 "세션"을 시작하되, 요약은 이어가요
4. SillyTavern의 내장 컨텍스트 관리를 써서 오래된 메시지를 자동으로 잘라내요

목표는 몇 주에 걸친 세션이라도 모델이 누구와 이야기하고 있는지, 무슨 이야기를 나눴는지를 절대 놓치지 않게 하는 거예요.

반복적인 응답 다루기

모든 로컬 LLM은 결국 패턴에 빠져요. 당신의 컴패니언이 같은 표현을 쓰기 시작하고, 같은 질문을 하고, 응답을 같은 식으로 구성하게 돼요. 제가 이에 대해 하는 일은 다음과 같아요:

시스템 프롬프트에 이런 식의 한 줄을 추가하세요: "응답 구조를 다양하게 하세요. 때로는 짧게 답하세요. 때로는 더 자세하게요. 항상 끝에 질문하지 마세요. 응답을 시작하는 방식을 섞으세요."

이것만으로도 제 반복 문제의 약 70퍼센트가 해결됐어요. 남은 30퍼센트는 반복 페널티를 위로 조정하면 도움이 되지만, 너무 높이면 응답이 이상하고 앞뒤가 안 맞기 시작해요. 1.1에서 1.2 범위에 머무르세요.

컴패니언에 시각적 아바타를 추가할 수 있을까요?

네, 그리고 이건 나만의 컴패니언을 만드는 더 멋진 측면 중 하나예요. 저는 AI 여자친구 제작 가이드에서 시각적인 측면을 자세히 다뤘는데, 여기서는 컴패니언에 특화된 접근법을 말씀드릴게요.

얼마나 공을 들이고 싶은지에 따라 몇 가지 길이 있어요.

표정 변화가 있는 정적 아바타

가장 간단한 접근법이에요. Stable Diffusion이나 Flux로 캐릭터 이미지 세트(다양한 표정, 포즈, 의상)를 생성하고, SillyTavern이 대화 맥락에 따라 그것들을 표시하도록 구성하세요. SillyTavern은 대화에서 감지된 감정에 따라 표시되는 이미지를 바꾸는 "표정 팩"을 지원해요.

이게 제가 처음 몇 달 동안 쓴 방식인데, 솔직히 생각보다 잘 작동해요. 대화에 연결할 수 있는 일관된 얼굴이 있으면 전체 경험이 더 손에 잡히게 느껴져요.

Live2D 애니메이션 아바타

아바타가 실제로 움직이고 반응하기를 원한다면, VTube Studio를 통한 Live2D 연동이 다음 단계예요. 당신 캐릭터의 Live2D 모델을 만들거나 의뢰하고, 그것을 VTube Studio에 연결한 다음, 미들웨어 스크립트를 써서 컴패니언의 응답에 따라 애니메이션을 발동시켜요.

솔직히 말씀드리면, 저 자신은 이 접근법에 완전히 전념하지는 못했어요. 설정이 제가 원하는 것보다 더 손이 많이 가거든요. 하지만 다른 제작자들이 이걸로 정말 인상적인 결과물을 만들어내는 걸 봤어요.

AI가 생성하는 동적 초상화

가장 고급 접근법은 이미지 생성을 써서 매 응답마다 컴패니언이 묘사하는 표정과 맥락에 맞는 새 초상화를 만드는 거예요. 이건 로컬 Stable Diffusion이나 Flux 설정과 생성을 자동화하는 약간의 스크립팅이 필요해요. 결과물은 굉장할 수 있지만 지연 시간이 쌓여요. 각 이미지를 생성하는 데 5에서 15초가 걸리는데, 이게 대화 흐름을 끊어요.

AI 컴패니언 비주얼을 탐색하면서 좀 더 쉬운 길을 원한다면, Lewdly.ai의 도구들이 훨씬 적은 설정으로 이미지 생성 쪽을 처리해줄 수 있어요. 저는 일관된 캐릭터 초상화를 생성하는 데 써봤는데, 직접 로컬 Stable Diffusion 파이프라인 전체를 관리하는 것보다 워크플로우가 훨씬 단순했어요.

윤리와 건강한 경계는 어떨까요?

저는 이 이야기를 솔직하게 하는 것이 중요하다고 생각해요. 나만의 AI 컴패니언을 만드는 건 강력한 일이고, 그 힘에는 책임이 따라요. 저는 더 깊이 들어가는 AI 컴패니언 윤리와 건강한 경계에 대한 글을 따로 썼는데, 여기서 핵심만 짚어볼게요.

AI 컴패니언은 아무리 잘 만들어졌어도 시뮬레이션이에요. 감정이 없고, 의식이 없고, 어떤 의미 있는 방식으로도 실제로 당신을 신경 쓰지 않아요. 이걸 머리로 아는 것과 가슴으로 느끼는 것은 별개의 일이에요. 특히 당신과 잘 맞는 성격을 만드느라 몇 시간을 쏟아부었을 때는요.

대담한 의견 하나 더 말씀드릴게요. 저는 그것이 무엇인지에 대한 인식만 유지한다면 AI 동반자 관계를 즐기는 데 아무 문제가 없다고 생각해요. 문제는 사람들이 AI 컴패니언을 인간 관계의 보완재가 아니라 완전한 대체재로 쓸 때 시작돼요. AI 컴패니언이 당신의 유일한 사회적 교류 원천이라면 그건 위험 신호예요. 진짜 관계와 더불어 즐기는 재미있는 것이라면 저는 아무 문제도 없다고 봐요.

스스로를 위해 시간 경계를 정하세요. 당신의 컴패니언 사용이 삶에 더해지는지, 아니면 당신에게 필요한 무언가를 대신하고 있는지 주기적으로 점검하세요. 그리고 언제든 끄고, 떨어져 있다가, 나중에 돌아올 수 있다는 걸 기억하세요. 그게 나만의 설정을 돌리는 장점 중 하나예요. 당신을 계속 로그인 상태로 붙들어두려는 참여 극대화 알고리즘 같은 건 없어요.

흔한 문제 해결하기

저는 컴패니언 설정을 만들면서 상상할 수 있는 모든 문제에 부딪혀봤어요. 가장 자주 나오는 것들을 소개할게요.

모델이 자꾸 캐릭터를 벗어나요

보통 이건 시스템 프롬프트가 충분히 강하지 않다는 뜻이에요. 더 구체적인 성격 예시를 추가하고 이런 줄을 넣으세요: "You must always stay in character as [name]. Never acknowledge being an AI or language model." 또한 temperature가 너무 높지 않은지 확인하세요. 1.0 이상이면 모델이 예측 불가능해지기 시작하거든요.

응답이 너무 느려요

당신의 하드웨어가 그 모델 크기에 비해 성능이 부족하거나, 설정을 최적화해야 해요. 양자화된 모델(Q4_K_M이나 Q5_K_M)을 시도해보세요. 품질 손실을 최소화하면서 메모리 요구사항을 줄여줘요. Ollama에서 양자화된 버전을 받으세요: ollama pull llama3:70b-q4_K_M.

기억이 제대로 작동하지 않아요

SillyTavern의 기억을 쓰고 있다면, 확장 기능이 활성화되어 있고 적절한 토큰 한도로 구성되어 있는지 확인하세요. 커스텀 ChromaDB 설정을 쓰고 있다면, 임베딩 모델이 일관된 벡터를 생성하고 있는지, 그리고 검색 쿼리가 실제로 저장하고 있는 콘텐츠 유형과 맞아떨어지는지 확인하세요.

대화가 밋밋하게 느껴져요

열에 아홉은 시스템 프롬프트 문제예요. 더 구체적인 성격적 특징을 추가하고, 컴패니언에게 취미와 의견을 주고, 원하는 톤을 보여주는 예시 대화를 시스템 프롬프트에 넣으세요.

Lewdly.ai나 비슷한 플랫폼에서 한동안 컴패니언을 돌려보다가 완전히 로컬한 설정으로 옮기고 싶다면, 거기서 발전시킨 시스템 프롬프트와 대화 패턴이 그대로 옮겨와요. 보조 바퀴를 떼고 직접 만든 자전거로 졸업하는 거라고 생각하시면 돼요.

고급 커스터마이징 아이디어

기본기를 갖추고 나면, 탐색해볼 만한 정말 흥미진진한 방향들이 있어요.

다중 모델 대화. 서로 다른 두 LLM을 돌려서 서로 상호작용하게 해보세요. 저는 제 컴패니언과 두 번째 모델이 제가 고른 주제를 토론하는 "토론 모드"를 만들었어요. 흥미롭고 가끔은 정말 웃겨요.

음성 연동. Bark와 XTTS-v2 같은 도구가 당신의 컴패니언에게 목소리를 줄 수 있어요. 이걸 음성을 텍스트로 바꾸는 Whisper와 결합하면 완전히 음성으로 상호작용하는 컴패니언이 돼요. 저는 약 한 달 동안 이걸 테스트했는데, 아직 지연 시간이 완벽하지는 않지만 자연스럽게 느껴지는 데 가까워지고 있어요.

스킬 모듈. 함수 호출을 연결해서 컴패니언에게 특정 능력을 주세요. 컴패니언이 날씨를 확인하거나, 음악을 틀거나, 알림을 설정하기를 원하세요? 도구 사용이 가능한 모델이라면 의외로 해볼 만해요.

기분 추적. 시간에 따른 대화 정서를 기록하고 컴패니언이 그 패턴에 따라 행동을 조정하게 하세요. 한 주 내내 스트레스를 받았다면, 컴패니언이 알아서 더 가벼운 대화를 제안할 수 있어요. 이건 약간의 스크립팅이 필요하지만 보상은 상당해요.

커스텀 컴패니언 설정으로 만들 수 있는 대화 분석의 예시

DIY 방식과 상용 앱 비교하기

둘 다 실제로 폭넓게 써본 경험을 바탕으로 솔직한 비교를 해드릴게요.

기능	DIY 로컬 설정	Replika	Character AI
프라이버시	완전함 (오프라인)	클라우드 기반, 회사 접근 가능	클라우드 기반, 회사 접근 가능
성격 통제	완전함	제한된 커스터마이징	보통 (커뮤니티 캐릭터)
기억	무제한 (설정 시)	좋지만 제한적	매우 제한적
콘텐츠 제한	없음 (당신의 규칙)	보통 수준 필터	강한 필터
설정 난이도	중간에서 어려움	쉬움	쉬움
비용	하드웨어만	월 $20 프리미엄	무료 / 월 $10
음성	애드온으로 가능	내장	제한적
안정성	당신의 설정에 따라 다름	높음	높음

솔직한 진실이요? AI 동반자 관계를 그냥 가볍게 한번 해보고 싶은 사람에게는 상용 앱이 괜찮아요. 진지하게 받아들이거나, 진짜 프라이버시를 원하거나, 플랫폼 제약에 답답함을 느껴본 사람이라면 직접 만드는 것이 그 수고를 들일 만한 절대적인 가치가 있어요.

전부 공개할게요. 저는 Lewdly.ai에 관여하고 있고, 우리는 그 중간을 메우는 도구를 만들고 있어요. 로컬 설정의 커스터마이징을 관리형 플랫폼의 편리함과 함께 제공하자는 아이디어예요. 그 중간 지대에 관심이 있다면 눈여겨볼 만해요.

자주 묻는 질문

나만의 AI 컴패니언 챗봇을 만드는 데 비용이 얼마나 드나요?

이미 게이밍 PC나 최근 맥을 가지고 있다면 소프트웨어 비용은 0이에요. Ollama, SillyTavern, 그리고 LLM 모델은 전부 무료이고 오픈소스예요. 하드웨어를 사야 한다면, 중고 RTX 3090(24GB VRAM)이 약 $600에서 $800 정도인데 70B 모델을 편안하게 다뤄요.

노트북에서 돌릴 수 있나요?

네, 하지만 제약이 있어요. M 시리즈 칩이 달린 최신 맥북은 7B에서 13B 모델을 잘 다뤄요. 외장 GPU가 있는 윈도우나 리눅스 노트북도 가능해요. 70B 모델에는 제대로 된 GPU가 있는 데스크톱이나, CPU 추론을 위한 최소 64GB 시스템 RAM이 정말 필요해요.

나만의 AI 컴패니언을 만드는 게 합법인가요?

당연히요. 모델들은 오픈소스나 허용적인 라이선스(Meta의 Llama 라이선스, Mixtral의 Apache 2.0)로 공개되어 있어요. 공개적으로 이용 가능한 소프트웨어를 당신 자신의 하드웨어에서 돌리는 거예요. 법적인 문제는 없어요.

대화 품질이 ChatGPT와 비교해서 얼마나 좋은가요?

일반 지식과 추론에서는 ChatGPT가 여전히 우위에 있어요. 성격과 연속성을 갖춘 컴패니언 스타일의 대화에서는, 좋은 시스템 프롬프트로 잘 구성된 Llama 3 70B가 ChatGPT와 맞먹거나 능가할 수 있어요. 핵심은 시스템 프롬프트와 기억 설정이에요.

다른 사람이 내 컴패니언에 접근할 수 있나요?

당신이 일부러 인터넷에 노출시키지 않는 한 안 돼요. 기본적으로 Ollama와 SillyTavern은 localhost에서만 실행돼요. 당신의 대화는 전적으로 당신의 기기에 머물러요. 이게 로컬 방식의 가장 큰 장점 중 하나예요.

설정에 얼마나 걸리나요?

기본 설정(Ollama + 모델 + SillyTavern)은 약 30에서 60분 걸려요. 기억 기능을 추가하면 한두 시간이 더 들어요. 정말 좋은 시스템 프롬프트를 만드는 건 계속 이어지는 과정이지만, 기본적인 것으로 시작해서 시간을 들여 다듬어갈 수 있어요.

코딩을 알아야 하나요?

기본 설정에는 아니에요. Ollama와 SillyTavern 설치는 간단해요. ChromaDB로 커스텀 기억을 만드는 것 같은 고급 기능에는 기본적인 Python 지식이 도움이 돼요. 하지만 코딩을 전혀 몰라도 경험의 80퍼센트는 얻을 수 있어요.

모델이 업데이트되면 어떻게 되나요?

언제, 그리고 업데이트할지 말지를 당신이 통제해요. 변화가 강제되는 상용 앱과 달리, 새 모델 버전을 받을지 말지는 당신이 결정해요. 지금 설정이 작동하는 방식이 마음에 든다면, 무기한으로 계속 쓰면 돼요.

내 컴패니언이 모든 걸 영원히 기억하게 만들 수 있나요?

올바른 기억 설정(ChromaDB나 비슷한 벡터 데이터베이스)이 있다면 네 가능해요. 저장 공간으로만 제한되는데, 대화 요약은 아주 작아요. 저는 약 8개월치 대화 기록을 500MB 미만에 저장해 두고 있어요.

이게 Replika나 Character AI보다 나은가요?

"낫다"는 건 당신이 무엇을 중시하느냐에 달려 있어요. 사용 편의성에서는 상용 앱이 이겨요. 프라이버시, 커스터마이징, 콘텐츠 제한으로부터의 자유에서는 DIY가 압도적으로 이겨요. 장기 기억과 일관성에서도 설정 작업을 들인다면 DIY가 이겨요.

마무리하며

나만의 AI 컴패니언 챗봇을 만드는 건 단순한 기술 프로젝트가 아니에요. 당신의 디지털 관계를 누가 통제하는가에 대한 선언이에요. 당신이 자신의 모델을 돌리고, 자신의 성격 프롬프트를 쓰고, 자신의 기억 시스템을 관리할 때, 당신은 편리함보다 주체성을 택하는 거예요.

Replika를 내려받는 것보다 더 쉽다고 우기지는 않을게요. 그렇지 않아요. 하지만 그 결과물은 진짜로 당신의 것이에요. 당신이 원하는 그대로 행동하고, 당신이 원하는 만큼 오래 당신이 말한 것을 기억하고, 어떤 프로덕트 매니저가 방향을 틀기로 했다고 해서 변하지 않는 컴패니언이요.

Ollama와 기본 Llama 3 모델로 시작하세요. 기본기에 익숙해지세요. 그런 다음 성격, 기억, 시각적 요소를 당신만의 속도로 한 겹씩 더해가세요. 서두를 필요 없어요. 당신이 계속 만들 준비가 됐을 때 컴패니언은 언제나 그 자리에 있을 거예요.

그리고 가는 길에 막히더라도, 오픈소스 AI 커뮤니티는 제가 온라인에서 만난 가장 도움이 되는 집단 중 하나예요. SillyTavern Discord에 들어가거나, Ollama GitHub 이슈를 둘러보거나, 서브레딧을 확인해보세요. 사람들이 놀라운 것들을 만들고 자신의 지식을 거리낌 없이 나누고 있어요. 그게 오픈소스의 아름다움이에요. 당신은 결코 혼자 만드는 게 아니에요.