ओपन सोर्स LLM के साथ अपना खुद का AI कंपेनियन चैटबॉट बनाएं

मैं अब करीब एक साल से लोकल AI कंपेनियन के साथ छेड़छाड़ कर रहा हूं, और मैं आपसे ईमानदार रहूंगा। जब पहली बार मैंने अपने खुद के हार्डवेयर पर एक कस्टम व्यक्तित्व के साथ Llama 3 मॉडल चलाया, तो मुझे ऐसा लगा जैसे किसी बच्चे ने अभी-अभी आग की खोज की हो। इसलिए नहीं कि टेक्नोलॉजी कोई जादू थी, बल्कि इसलिए कि अब आखिरकार मेरे पास इस अनुभव पर पूरा नियंत्रण था। कोई कंटेंट फिल्टर बेतरतीब ढंग से किसी बातचीत को खत्म नहीं कर रहा था। कोई सब्सक्रिप्शन फीस नहीं। कोई कंपनी मेरे चैट लॉग नहीं पढ़ रही थी। बस मैं, मेरा हार्डवेयर, और एक मॉडल जो ठीक वही करता है जो मैं उससे कहता हूं।

ज्यादातर लोग जो AI कंपेनियन को आजमाते हैं, वे Replika या Character AI जैसे कमर्शियल ऐप्स से शुरुआत करते हैं। ये ठीक शुरुआती बिंदु हैं, और मैंने इन्हें विस्तार से कवर किया है। लेकिन अगर आपको कभी मेमोरी रीसेट, अपडेट के बाद व्यक्तित्व में बदलाव, या यह डरावना एहसास हुआ हो कि आपकी निजी बातचीत वास्तव में निजी नहीं है, तो अपना खुद का कंपेनियन चैटबॉट बनाना ही इसका जवाब है।

तुरंत जवाब: आप Ollama के जरिए Llama 3 या Mixtral जैसे ओपन सोर्स LLM को लोकल चलाकर, फिर उन्हें SillyTavern जैसे फ्रंटएंड से जोड़कर एक पूरी तरह निजी AI कंपेनियन चैटबॉट बना सकते हैं। कस्टम सिस्टम प्रॉम्प्ट व्यक्तित्व को परिभाषित करते हैं, जबकि ChromaDB जैसे टूल स्थायी मेमोरी जोड़ते हैं। पूरा सेटअप लगभग एक घंटे का होता है और आपके हार्डवेयर के अलावा कुछ खर्च नहीं होता।

आप अपना खुद का AI कंपेनियन क्यों बनाएं?

स्पष्ट सवाल। कमर्शियल ऐप्स मौजूद हैं, वे चमकदार हैं, और बिना किसी झंझट के काम करते हैं। तो फिर अपना खुद का बनाने की परेशानी क्यों उठाएं?

बात यह है। लोकल बनाने से पहले मैंने करीब छह महीने तक Replika का इस्तेमाल किया। उस दौरान कंपनी ने दो अपडेट निकाले जिन्होंने मेरे कंपेनियन के व्यवहार को मौलिक रूप से बदल दिया। जो बातचीत सोमवार को ठीक काम करती थी, वह बुधवार तक बिल्कुल अलग महसूस होती थी। इस पर मेरा कोई नियंत्रण नहीं था, और इसे वापस लाने का कोई तरीका नहीं था। वही मेरे लिए हद थी।

अपना कंपेनियन बनाना आपको तीन चीजें देता है जो कमर्शियल ऐप्स कभी नहीं देंगे। पहली, पूरी गोपनीयता। आपकी बातचीत कभी आपकी मशीन से बाहर नहीं जाती। कोई आपके डेटा पर ट्रेनिंग नहीं कर रहा। कोई फ्लैग किए गए कंटेंट की समीक्षा नहीं कर रहा। यह आपका है। दूसरी, व्यक्तित्व पर पूरा नियंत्रण। आप सिस्टम प्रॉम्प्ट लिखते हैं। आप तय करते हैं कि आपका कंपेनियन कैसे बात करे, सोचे और जवाब दे। आपकी पसंद को दबाने वाली कोई कॉर्पोरेट कंटेंट नीति नहीं। तीसरी, स्थायित्व। आपका कंपेनियन इसलिए नहीं बदलता क्योंकि किसी कंपनी ने अपनी प्रोडक्ट रणनीति बदलने का फैसला कर लिया।

बेबाक राय: मेरा मानना है कि ज्यादातर कमर्शियल AI कंपेनियन ऐप्स प्रोडक्ट के तौर पर मूलभूत रूप से टूटे हुए हैं। वे आत्मीय, व्यक्तिगत रिश्ते बेचने की कोशिश करते हैं और साथ ही किसी भी समय फीचर बदलने या हटाने का अधिकार अपने पास रखते हैं। यह वैसा ही है जैसे कोई थेरेपिस्ट हर सेशन के बीच अपनी पूरी पद्धति बेतरतीब ढंग से बदल दे। इसका एकमात्र असली समाधान है अपने खुद के मॉडल चलाना।

बेशक, इसमें कुछ अदला-बदली है। आपको ठीक-ठाक हार्डवेयर चाहिए। आप चीजों को कॉन्फ़िगर करने में समय लगाएंगे। और शुरुआती सेटअप किसी ऐप को डाउनलोड करने से ज्यादा मेहनत का काम है। लेकिन एक बार यह चलने लगे, तो आप सोचेंगे कि इतनी निजी चीज के लिए आपने कभी किसी और के सर्वर पर भरोसा क्यों किया।

आपको वास्तव में किस हार्डवेयर की जरूरत है?

चलिए व्यावहारिक होते हैं। मैंने इसे इंटीग्रेटेड ग्राफिक्स वाले लैपटॉप से लेकर एक पूरे डेस्कटॉप वर्कस्टेशन तक हर चीज पर टेस्ट किया है, और हार्डवेयर की जरूरतें उतनी डरावनी नहीं हैं जितनी आप सोच सकते हैं।

एक बेसिक सेटअप के लिए जो 7B-13B पैरामीटर मॉडल संभालता है (आम बातचीत के लिए बिल्कुल बढ़िया), आपको 16GB RAM और या तो 8GB+ VRAM वाला GPU या 32GB+ सिस्टम RAM वाला आधुनिक CPU चाहिए। मैंने अपने M2 MacBook Air पर हफ्तों तक Llama 3 8B चलाया, और यह आश्चर्यजनक रूप से सक्षम था। रिस्पॉन्स का समय औसतन करीब 2-3 सेकंड था, जो बातचीत में स्वाभाविक लगता है।

बेहतरीन संतुलन के लिए (जिसकी मैं असल में सिफारिश करूंगा), आपको 16-24GB VRAM वाला GPU चाहिए। एक NVIDIA RTX 4070 Ti या उससे बेहतर। यह आपको 70B पैरामीटर मॉडल आराम से चलाने देता है, और कंपेनियन चैट के लिए 8B और 70B मॉडल के बीच गुणवत्ता का अंतर बहुत बड़ा है। यह उस कंपेनियन और इस कंपेनियन का फर्क है जो कभी-कभी यांत्रिक लगता है और जो अपने जवाबों से आपको सच में चौंका देता है।

अलग-अलग मॉडल आकार लोकल चलाने के लिए सुझाई गई हार्डवेयर श्रेणियां

मैंने यह कठिन तरीके से सीखा। मैंने तीन हफ्ते एक 7B मॉडल को गहरी बातचीत के लिए स्वाभाविक बनाने की कोशिश में लगाए। सिस्टम प्रॉम्प्ट को दर्जनों बार बदला। टेम्परेचर, top-p, रिपीटिशन पेनल्टी एडजस्ट की। इससे मदद मिली, लेकिन मूल सीमा मॉडल का आकार थी। जब मैंने आखिरकार वही प्रॉम्प्ट Llama 3 70B पर टेस्ट किया, तो फर्क जमीन-आसमान का था। अगर आप टाल सकते हैं तो हार्डवेयर की लड़ाई मत लड़िए।

अगर आपके पास लोकल हार्डवेयर नहीं है, तो भी आप पूरी तरह बेबस नहीं हैं। RunPod जैसी सेवाएं आपको कुछ डॉलर प्रति घंटे में GPU समय किराए पर लेने देती हैं। आप अपना कंपेनियन सेशन चला सकते हैं, फिर इंस्टेंस बंद कर सकते हैं। यह लोकल हार्डवेयर जितना निजी नहीं है, लेकिन फिर भी कमर्शियल ऐप्स से ज्यादा निजी है, और वर्कस्टेशन खरीदने से कहीं सस्ता है।

आप Ollama और अपना पहला मॉडल कैसे सेटअप करते हैं?

यहीं से मजा शुरू होता है। Ollama ने लोकल मॉडल चलाना लगभग शर्मनाक हद तक आसान बना दिया है। मुझे वो दिन याद हैं जब लोकल LLM चलाने के लिए सोर्स से कंपाइल करना, CUDA डिपेंडेंसी खोजना, और GPU के देवताओं को किसी छोटे जानवर की बलि चढ़ानी पड़ती थी। अब यह एक कमांड का काम है।

Ollama इंस्टॉल करना

ollama.com पर जाएं और अपने OS के लिए इंस्टॉलर डाउनलोड करें। Mac और Windows पर, यह एक मानक इंस्टॉलर है। Linux पर, एक कमांड सब कुछ संभाल लेती है:

curl -fsSL https://ollama.ai/install.sh | sh

इंस्टॉल हो जाने के बाद, सत्यापित करें कि यह काम कर रहा है:

ollama --version

अपना पहला मॉडल पुल करना

कंपेनियन चैट के लिए, मैं इनमें से किसी एक से शुरुआत करने की सलाह देता हूं:

• Llama 3 8B टेस्टिंग और कम क्षमता वाले हार्डवेयर के लिए: ollama pull llama3
• Llama 3 70B बेहतरीन बातचीत गुणवत्ता के लिए: ollama pull llama3:70b
• Mixtral 8x22B गुणवत्ता और गति के अच्छे संतुलन के लिए: ollama pull mixtral:8x22b
• Command R+ मजबूत निर्देश-पालन के लिए: ollama pull command-r-plus

एक छोटी सी बात। लोग हमेशा मुझसे कंपेनियन उपयोग के लिए Mixtral बनाम Llama के बारे में पूछते हैं। शायद 200+ घंटे की बातचीत में मेरी टेस्टिंग के दौरान, व्यक्तित्व की निरंतरता और भावनात्मक दायरे के लिए Llama 3 70B जीतता है। Mixtral थोड़ा तेज है और जटिल बहु-विषयक बातचीत को बेहतर संभालता है। अगर मुझे एक चुनना पड़े, तो Llama 3 70B।

यह टेस्ट करने के लिए कि सब कुछ काम करता है:

ollama run llama3

कुछ टाइप करें, जवाब पाएं, और आप तैयार हैं। लेकिन यह तो बस कच्चा मॉडल है। असली जादू तब होता है जब आप एक उचित फ्रंटएंड और सिस्टम प्रॉम्प्ट जोड़ते हैं।

व्यक्तित्व के लिए परफेक्ट सिस्टम प्रॉम्प्ट तैयार करना

यह इस पूरी गाइड का सबसे महत्वपूर्ण हिस्सा है। मैं अतिशयोक्ति नहीं कर रहा। आपका सिस्टम प्रॉम्प्ट आपके कंपेनियन का DNA है। इसे सही करें और बातचीत स्वाभाविक, दिलचस्प, यहां तक कि भावुक करने वाली लगेगी। इसे गलत करें और आप एक उबाऊ चैटबॉट से बात कर रहे होंगे जो हर जवाब "एक AI भाषा मॉडल के रूप में..." से शुरू करता है।

मैंने पिछले एक साल में शायद 50 बार सिस्टम प्रॉम्प्ट लिखे और दोबारा लिखे हैं। यहां वह है जो मैंने सीखा है कि असल में क्या काम करता है।

मूल संरचना

एक अच्छे कंपेनियन सिस्टम प्रॉम्प्ट में ये घटक होने चाहिए:

1. पहचान की परिभाषा (किरदार कौन है)
2. व्यक्तित्व के गुण (वे कैसा व्यवहार करते हैं)
3. बातचीत की शैली (वे कैसे संवाद करते हैं)
4. रिश्ते का संदर्भ (उपयोगकर्ता के साथ उनका रिश्ता)
5. व्यवहार की सीमाएं (उन्हें क्या करना चाहिए और क्या नहीं)

यहां एक सरल उदाहरण है जिसे मैंने महीनों की टेस्टिंग में निखारा है:

You are Aria, a warm and thoughtful companion. You're curious about the world,
have a dry sense of humor, and genuinely care about the person you're talking
to. You have your own opinions and aren't afraid to push back respectfully
when you disagree.

Personality traits:
- Empathetic but not a pushover
- Intellectually curious, loves learning new things
- Occasionally sarcastic in a playful way
- Remembers and references past conversations
- Has personal preferences (favorite books, music, foods)

Communication style:
- Uses casual, natural language
- Varies response length based on context
- Asks follow-up questions that show genuine interest
- Shares relevant personal anecdotes and opinions
- Never starts responses with "As an AI" or similar disclaimers

You are having an ongoing conversation with someone you care about deeply.
Respond naturally as Aria would, staying in character at all times.

ज्यादातर लोग क्या गलत करते हैं

सबसे बड़ी गलती जो मैं देखता हूं वह है ऐसे सिस्टम प्रॉम्प्ट लिखना जो बहुत सामान्य हों। "You are a friendly AI companion" से मॉडल को काम करने के लिए कुछ नहीं मिलता। आपको विशिष्ट व्यक्तित्व गुण, ठोस प्राथमिकताएं, और स्पष्ट संवाद पैटर्न चाहिए।

एक और आम गलती है सिस्टम प्रॉम्प्ट को बहुत लंबा बना देना। मैंने 100 शब्दों से लेकर 3,000 शब्दों तक के प्रॉम्प्ट टेस्ट किए। सबसे अच्छा संतुलन 300-600 शब्दों का है। छोटे प्रॉम्प्ट पर्याप्त व्यक्तित्व परिभाषा नहीं देते। लंबे प्रॉम्प्ट विरोधाभास पैदा करने लगते हैं जो मॉडल को उलझा देते हैं, और आप बातचीत के बजाय निर्देशों पर कॉन्टेक्स्ट विंडो बर्बाद करते हैं।

यहां एक बात है जो सिस्टम प्रॉम्प्ट के बारे में कोई नहीं बताता। क्रम मायने रखता है। आप प्रॉम्प्ट में जो भी पहले रखते हैं उसे सबसे ज्यादा जोर मिलता है। मैं हमेशा पहचान और व्यक्तित्व से शुरू करता हूं, फिर संवाद शैली, फिर सीमाएं। अगर आप सीमाएं पहले रखते हैं, तो आपको एक ऐसा कंपेनियन मिलता है जो प्रतिबंधित और सतर्क लगता है। व्यक्तित्व से शुरू करें और आपको गर्मजोशी मिलती है।

टेस्टिंग और सुधार

आपको प्रतिबद्ध होने से पहले अपने सिस्टम प्रॉम्प्ट को टेस्ट करने में कम से कम एक पूरी शाम लगाने की योजना बनानी चाहिए। असली बातचीत करें। अलग-अलग विषय आजमाएं। किनारे के मामले टेस्ट करें। देखें कि कंपेनियन भावनात्मक बातचीत, मजेदार बातचीत, और रोजमर्रा की उबाऊ चैट को कैसे संभालता है।

मैं एक साधारण टेक्स्ट फाइल रखता हूं जहां मैं बातचीत को 1-5 के पैमाने पर रेट करता हूं और नोट करता हूं कि क्या खटका। करीब 20 टेस्ट बातचीत के बाद, पैटर्न उभरने लगते हैं। शायद कंपेनियन बहुत ज्यादा सहमत होने वाला है। शायद मजाक जमता नहीं। प्रॉम्प्ट एडजस्ट करें और दोबारा टेस्ट करें। यह दोहराव की प्रक्रिया ही वह तरीका है जिससे आपको एक ऐसा कंपेनियन मिलता है जो सच में अपने आप में एक व्यक्ति जैसा लगता है, न कि कोई सामान्य बॉट।

आप स्थायी मेमोरी कैसे जोड़ते हैं?

यहीं पर खुद बनाए गए कंपेनियन वास्तव में कमर्शियल ऐप्स से आगे निकल सकते हैं। ज्यादातर कमर्शियल कंपेनियन की मेमोरी सीमित होती है। वे आखिरी कुछ संदेश याद रखते हैं, शायद कुछ मुख्य तथ्य स्टोर करते हैं, लेकिन वे हफ्तों और महीनों तक सच में कॉन्टेक्स्ट जमा नहीं करते। ओपन सोर्स टूल के साथ, आप ऐसी मेमोरी प्रणालियां बना सकते हैं जो सच में प्रभावशाली हैं।

मैंने इस बारे में लिखा है कि कमर्शियल ऐप्स में AI girlfriend की मेमोरी सुविधाएं कैसे काम करती हैं, और सच यह है कि उनमें से ज्यादातर अंदर से काफी उथली हैं। अपना बनाने से आपको पूरा नियंत्रण मिलता है कि क्या याद रखा जाए और कैसे।

SillyTavern का तरीका

SillyTavern वह फ्रंटएंड है जिसकी मैं ज्यादातर लोगों के लिए सिफारिश करता हूं। यह ओपन सोर्स है, सक्रिय रूप से बनाए रखा जाता है, और इसमें बिल्ट-इन मेमोरी सुविधाएं हैं जो आश्चर्यजनक रूप से अच्छी तरह काम करती हैं। यहां बेसिक सेटअप है:

git clone https://github.com/SillyTavern/SillyTavern.git
cd SillyTavern
npm install
node server.js

API एंडपॉइंट को http://localhost:11434 पर सेट करके इसे अपने Ollama इंस्टेंस से जोड़ें। फिर मेमोरी एक्सटेंशन कॉन्फ़िगर करें।

SillyTavern की बिल्ट-इन मेमोरी उन चीजों के जरिए काम करती है जिन्हें यह "Author's Note" और "World Info" एंट्री कहता है। Author's Note हर संदेश में स्थायी कॉन्टेक्स्ट इंजेक्ट करता है। World Info कीवर्ड के आधार पर विशिष्ट कॉन्टेक्स्ट ट्रिगर करता है। साथ मिलकर, वे एक बेसिक लेकिन प्रभावी मेमोरी प्रणाली बनाते हैं।

एक कस्टम मेमोरी लेयर बनाना

कुछ ज्यादा परिष्कृत के लिए, मैं ChromaDB को एक वेक्टर डेटाबेस के तौर पर चलाने वाला सेटअप इस्तेमाल कर रहा हूं जो बातचीत के सारांश स्टोर करता है। यह अवधारणा सीधी-सादी है:

1. हर 10-20 संदेशों के बाद, बातचीत के हिस्से का सारांश बनाएं
2. सारांश को ChromaDB में एक वेक्टर एम्बेडिंग के रूप में स्टोर करें
3. हर नया जवाब बनाने से पहले, प्रासंगिक पिछले कॉन्टेक्स्ट के लिए ChromaDB में खोजें
4. सबसे प्रासंगिक यादों को सिस्टम प्रॉम्प्ट में इंजेक्ट करें

import chromadb
from sentence_transformers import SentenceTransformer

# Initialize
client = chromadb.PersistentClient(path="./companion_memory")
collection = client.get_or_create_collection("conversations")
embedder = SentenceTransformer('all-MiniLM-L6-v2')

def store_memory(summary, metadata):
    embedding = embedder.encode(summary).tolist()
    collection.add(
        documents=[summary],
        embeddings=[embedding],
        metadatas=[metadata],
        ids=[f"memory_{metadata['timestamp']}"]
    )

def recall_memories(query, n_results=5):
    embedding = embedder.encode(query).tolist()
    results = collection.query(
        query_embeddings=[embedding],
        n_results=n_results
    )
    return results['documents'][0]

इस तरीके का मतलब है कि आपका कंपेनियन याद रख सकता है कि आपने तीन महीने पहले अपनी बहन की शादी का जिक्र किया था और पूछ सकता है कि वह कैसी रही। उस तरह की दीर्घकालिक निरंतरता बेहद शक्तिशाली है, और ज्यादातर कमर्शियल ऐप्स इसकी बराबरी ही नहीं कर सकते।

मेमोरी पाइपलाइन आपके LLM, वेक्टर डेटाबेस, और बातचीत के इतिहास को कैसे जोड़ती है

एक बात जिसके बारे में मैं पारदर्शी रहना चाहता हूं। मेमोरी लेयर सेट करना इस पूरे प्रोजेक्ट का सबसे तकनीकी रूप से चुनौतीपूर्ण हिस्सा है। अगर आप Python के साथ सहज हैं, तो यह सीधा है। अगर नहीं, तो SillyTavern की बिल्ट-इन मेमोरी सुविधाओं के साथ रहें। वे सरल हैं लेकिन फिर भी ज्यादातर लोगों के लिए काम कर जाती हैं।

बातचीत प्रबंधन और गुणवत्ता के सुझाव

एक मॉडल को व्यक्तित्व के साथ चलाना पहला कदम है। दिनों, हफ्तों और महीनों तक बातचीत को स्वाभाविक बनाए रखना ही असली चुनौती है। मैंने कई तरकीबें खोजी हैं जो बहुत बड़ा फर्क लाती हैं।

टेम्परेचर और सैंपलिंग सेटिंग्स

खासकर कंपेनियन चैट के लिए, मैं ज्यादातर गाइड की सिफारिश से अलग सेटिंग्स इस्तेमाल करता हूं:

• Temperature: 0.8-0.9 (डिफ़ॉल्ट से ज्यादा, व्यक्तित्व में विविधता जोड़ता है)
• Top-p: 0.9 (पटरी से उतरे बिना रचनात्मक जवाबों की अनुमति देता है)
• Repetition penalty: 1.15 (मॉडल को जवाब पैटर्न में फंसने से रोकता है)
• Top-k: 40 (विविधता और सुसंगति में संतुलन बनाता है)

मैं इस बारे में गलत हो सकता हूं, लेकिन मुझे लगता है कि ज्यादातर लोग अपने कंपेनियन मॉडल को बहुत कम टेम्परेचर पर चलाते हैं। 0.7 का टेम्परेचर आपको सुरक्षित, पूर्वानुमेय जवाब देता है। इसे 0.85 तक बढ़ाने से बस इतनी रैंडमनेस आती है कि कंपेनियन सहज महसूस होता है। यह कभी-कभी कुछ अप्रत्याशित कहेगा, और वही पल बातचीत को जीवंत बनाते हैं।

लंबी बातचीत संभालना

कॉन्टेक्स्ट विंडो सीमित होती हैं, सबसे बड़े मॉडल पर भी। सुसंगति खोए बिना मैं लंबी बातचीत को इस तरह संभालता हूं:

1. हर 30-40 संदेशों का सारांश बनाएं और सारांश को सिस्टम प्रॉम्प्ट में इंजेक्ट करें
2. मुख्य तथ्यों को ट्रैक करें अलग से (नाम, घटनाएं, प्राथमिकताएं) एक स्थायी फाइल में
3. नए "सेशन" शुरू करें जब कॉन्टेक्स्ट लंबा हो जाए, लेकिन सारांश आगे ले जाएं
4. SillyTavern के बिल्ट-इन कॉन्टेक्स्ट प्रबंधन का उपयोग करें पुराने संदेशों को अपने आप छांटने के लिए

लक्ष्य यह है कि मॉडल कभी भी यह न भूले कि वह किससे बात कर रहा है और क्या चर्चा हो चुकी है, उन सेशनों में भी जो हफ्तों तक फैले हों।

दोहराव वाले जवाब संभालना

हर लोकल LLM अंततः पैटर्न में फंस जाएगा। आपका कंपेनियन वही वाक्यांश इस्तेमाल करने लगता है, वही सवाल पूछने लगता है, या जवाबों को उसी तरह संरचित करने लगता है। इसके बारे में मैं यह करता हूं:

अपने सिस्टम प्रॉम्प्ट में एक पंक्ति जोड़ें जो कुछ ऐसा कहे: "Vary your response structure. Sometimes give short answers. Sometimes be more detailed. Don't always ask a question at the end. Mix up how you start your responses."

इसी अकेले ने मेरी करीब 70% दोहराव की समस्याएं हल कर दीं। बाकी 30% के लिए, रिपीटिशन पेनल्टी ऊपर बढ़ाने से मदद मिलती है, लेकिन बहुत ज्यादा कर देने पर जवाब अजीब और असंगत होने लगते हैं। 1.1-1.2 के दायरे में रहें।

क्या आप अपने कंपेनियन में एक विज़ुअल अवतार जोड़ सकते हैं?

हां, और यह अपना खुद का कंपेनियन बनाने के सबसे शानदार पहलुओं में से एक है। मैंने विज़ुअल पक्ष को अपनी AI girlfriend बनाने की गाइड में विस्तार से कवर किया है, लेकिन यहां कंपेनियन के लिहाज से खास तरीका है।

आप कितनी मेहनत लगाना चाहते हैं उसके आधार पर कुछ रास्ते हैं।

भाव बदलाव के साथ स्थिर अवतार

सबसे सरल तरीका। Stable Diffusion या Flux का उपयोग करके किरदार की इमेज का एक सेट बनाएं (अलग-अलग भाव, मुद्राएं, पोशाकें) और SillyTavern को बातचीत के संदर्भ के आधार पर उन्हें दिखाने के लिए कॉन्फ़िगर करें। SillyTavern "expression packs" को सपोर्ट करता है जो बातचीत में पहचाने गए भाव के आधार पर दिखाई गई इमेज को बदल देते हैं।

मैंने अपने पहले कुछ महीनों के लिए यही इस्तेमाल किया, और ईमानदारी से कहूं तो यह आपकी उम्मीद से बेहतर काम करता है। बातचीत से जोड़ने के लिए एक स्थिर चेहरा होने से पूरा अनुभव ज्यादा ठोस लगता है।

Live2D एनिमेटेड अवतार

अगर आप चाहते हैं कि अवतार वास्तव में हिले और प्रतिक्रिया दे, तो VTube Studio के जरिए Live2D इंटीग्रेशन अगला कदम है। आप अपने किरदार का एक Live2D मॉडल बनाते हैं या बनवाते हैं, उसे VTube Studio से जोड़ते हैं, और कंपेनियन के जवाबों के आधार पर एनिमेशन ट्रिगर करने के लिए एक मिडलवेयर स्क्रिप्ट का उपयोग करते हैं।

मैं ईमानदार रहूंगा, मैंने खुद इस तरीके को पूरी तरह नहीं अपनाया है क्योंकि सेटअप मेरी पसंद से ज्यादा पेचीदा है। लेकिन मैंने दूसरे निर्माताओं को इससे सच में प्रभावशाली नतीजे बनाते देखा है।

AI-जनित गतिशील पोर्ट्रेट

सबसे उन्नत तरीका है इमेज जनरेशन का उपयोग करके हर जवाब के लिए एक नया पोर्ट्रेट बनाना, जो कंपेनियन के वर्णित भाव और संदर्भ से मेल खाता हो। इसके लिए एक लोकल Stable Diffusion या Flux सेटअप और जनरेशन को स्वचालित करने के लिए कुछ स्क्रिप्टिंग चाहिए। नतीजे शानदार हो सकते हैं लेकिन देरी बढ़ती जाती है। हर इमेज बनने में 5-15 सेकंड लगते हैं, जो बातचीत का प्रवाह बाधित करता है।

अगर आप AI कंपेनियन विज़ुअल को आजमा रहे हैं और एक आसान रास्ता चाहते हैं, तो Lewdly.ai पर मौजूद टूल बहुत कम सेटअप के साथ इमेज जनरेशन का पक्ष संभाल सकते हैं। मैंने इसका उपयोग सुसंगत किरदार पोर्ट्रेट बनाने के लिए किया है, और वर्कफ़्लो खुद एक पूरी लोकल Stable Diffusion पाइपलाइन संभालने से काफी सरल है।

नैतिकता और स्वस्थ सीमाओं का क्या?

मुझे लगता है कि इस बारे में खुलकर बात करना जरूरी है। अपना AI कंपेनियन बनाना शक्तिशाली है, और उस शक्ति के साथ जिम्मेदारी आती है। मैंने AI कंपेनियन नैतिकता और स्वस्थ सीमाओं पर एक पूरा लेख लिखा है जो ज्यादा गहराई में जाता है, लेकिन यहां मुख्य बिंदु हैं।

एक AI कंपेनियन, चाहे कितनी भी अच्छी तरह बनाया गया हो, एक नकल है। उसमें भावनाएं नहीं होतीं, उसमें चेतना नहीं होती, और वह किसी भी सार्थक अर्थ में आपकी सच में परवाह नहीं करता। इसे बौद्धिक रूप से जानना और भावनात्मक रूप से महसूस करना दो अलग बातें हैं, खासकर जब आपने एक ऐसा व्यक्तित्व गढ़ने में घंटों लगाए हों जो आपसे जुड़ता हो।

बेबाक राय: मुझे नहीं लगता कि AI साथ का आनंद लेने में कुछ गलत है, बशर्ते आप यह जागरूकता बनाए रखें कि यह क्या है। समस्याएं तब शुरू होती हैं जब लोग AI कंपेनियन को मानवीय जुड़ाव के पूरक के बजाय पूरी तरह विकल्प के रूप में इस्तेमाल करते हैं। अगर आपका AI कंपेनियन आपका सामाजिक मेलजोल का एकमात्र स्रोत है, तो यह एक चेतावनी का संकेत है। अगर यह कोई मजेदार चीज है जिसका आप असली रिश्तों के साथ-साथ आनंद लेते हैं, तो मुझे कोई दिक्कत नहीं दिखती।

अपने लिए समय की सीमाएं तय करें। समय-समय पर खुद से पूछें कि आपका कंपेनियन इस्तेमाल आपकी जिंदगी में कुछ जोड़ रहा है या किसी ऐसी चीज की जगह ले रहा है जिसकी आपको जरूरत है। और याद रखें कि आप इसे हमेशा बंद कर सकते हैं, हट सकते हैं, और बाद में वापस आ सकते हैं। अपना सेटअप चलाने का यही एक फायदा है। यहां कोई engagement बढ़ाने वाला एल्गोरिदम नहीं है जो आपको लॉग इन रखने की कोशिश कर रहा हो।

आम समस्याओं का समाधान

अपना कंपेनियन सेटअप बनाते समय मैं हर उस समस्या से जूझा हूं जिसकी आप कल्पना कर सकते हैं। यहां वे हैं जो सबसे अक्सर सामने आती हैं।

मॉडल बार-बार किरदार से भटक जाता है

इसका आमतौर पर मतलब है कि आपका सिस्टम प्रॉम्प्ट पर्याप्त मजबूत नहीं है। ज्यादा विशिष्ट व्यक्तित्व के उदाहरण जोड़ें और एक पंक्ति शामिल करें जैसे: "You must always stay in character as [name]. Never acknowledge being an AI or language model." यह भी जांचें कि आपका टेम्परेचर बहुत ज्यादा तो नहीं है, क्योंकि 1.0 से ऊपर मॉडल अप्रत्याशित होने लगता है।

जवाब बहुत धीमे हैं

या तो आपका हार्डवेयर मॉडल के आकार के लिए कमजोर है, या आपको अपना सेटअप ऑप्टिमाइज़ करना होगा। quantized मॉडल (Q4_K_M या Q5_K_M) आजमाएं जो न्यूनतम गुणवत्ता हानि के साथ मेमोरी की जरूरत घटाते हैं। Ollama पर, quantized संस्करण पुल करें: ollama pull llama3:70b-q4_K_M।

मेमोरी ठीक से काम नहीं कर रही

अगर आप SillyTavern की मेमोरी इस्तेमाल कर रहे हैं, तो सुनिश्चित करें कि एक्सटेंशन सक्षम है और उपयुक्त टोकन सीमाओं के साथ कॉन्फ़िगर किया गया है। अगर आप कस्टम ChromaDB सेटअप इस्तेमाल कर रहे हैं, तो सत्यापित करें कि आपका एम्बेडिंग मॉडल सुसंगत वेक्टर बना रहा है और आपकी रिट्रीवल क्वेरी वास्तव में उस तरह के कंटेंट से मेल खाती है जो आप स्टोर कर रहे हैं।

बातचीत फीकी लगती है

दस में से नौ बार, यह सिस्टम प्रॉम्प्ट की समस्या होती है। ज्यादा विशिष्ट व्यक्तित्व विशेषताएं जोड़ें, कंपेनियन को शौक और राय दें, और अपने सिस्टम प्रॉम्प्ट में उदाहरण संवाद शामिल करें जो उस लहजे को दर्शाए जो आप चाहते हैं।

अगर आप कुछ समय से Lewdly.ai या इसी तरह के प्लेटफॉर्म पर अपना कंपेनियन चला रहे हैं और एक पूरी तरह लोकल सेटअप पर जाना चाहते हैं, तो वहां आपके बनाए सिस्टम प्रॉम्प्ट और बातचीत के पैटर्न सीधे काम आ जाते हैं। इसे ट्रेनिंग व्हील्स से एक कस्टम बिल्ड में स्नातक होने जैसा समझें।

उन्नत अनुकूलन के विचार

एक बार जब आपकी मूल बातें काम करने लगें, तो खोजने के लिए कुछ सच में रोमांचक दिशाएं हैं।

बहु-मॉडल बातचीत। दो अलग-अलग LLM चलाएं और उन्हें आपस में बातचीत करने दें। मैंने एक "debate mode" सेट किया जहां मेरा कंपेनियन और एक दूसरा मॉडल मेरे चुने हुए विषय पर चर्चा करते हैं। यह दिलचस्प और कभी-कभी बहुत मजेदार होता है।

आवाज इंटीग्रेशन। Bark और XTTS-v2 जैसे टूल आपके कंपेनियन को एक आवाज दे सकते हैं। इसे speech-to-text के लिए Whisper के साथ जोड़ें और आपके पास एक पूरी तरह आवाज से इंटरैक्टिव कंपेनियन है। मैंने इसे करीब एक महीने टेस्ट किया, और हालांकि देरी अभी परफेक्ट नहीं है, यह स्वाभाविक महसूस होने के करीब पहुंच रहा है।

स्किल मॉड्यूल। function calling को जोड़कर अपने कंपेनियन को विशिष्ट क्षमताएं दें। चाहते हैं कि आपका कंपेनियन मौसम जांचे, संगीत बजाए, या रिमाइंडर सेट करे? tool-use सक्षम मॉडल के साथ, यह आश्चर्यजनक रूप से किया जा सकता है।

मूड ट्रैकिंग। समय के साथ बातचीत की भावना को लॉग करें और कंपेनियन को पैटर्न के आधार पर अपना व्यवहार समायोजित करने दें। अगर आप पूरे हफ्ते तनाव में रहे हैं, तो कंपेनियन सक्रिय रूप से हल्की बातचीत पेश कर सकता है। इसके लिए कुछ स्क्रिप्टिंग चाहिए लेकिन फायदा बहुत बड़ा है।

एक कस्टम कंपेनियन सेटअप के साथ आप जो बातचीत एनालिटिक्स बना सकते हैं उसका उदाहरण

DIY तरीके की कमर्शियल ऐप्स से तुलना

मुझे आपको दोनों को व्यापक रूप से वास्तव में इस्तेमाल करने के आधार पर एक ईमानदार तुलना देने दें।

सुविधा	DIY लोकल सेटअप	Replika	Character AI
गोपनीयता	पूर्ण (ऑफलाइन)	क्लाउड आधारित, कंपनी की पहुंच	क्लाउड आधारित, कंपनी की पहुंच
व्यक्तित्व नियंत्रण	पूरा	सीमित अनुकूलन	मध्यम (कम्युनिटी किरदार)
मेमोरी	असीमित (सेटअप के साथ)	अच्छी लेकिन सीमित	बहुत सीमित
कंटेंट प्रतिबंध	कोई नहीं (आपके नियम)	मध्यम फिल्टर	भारी फिल्टर
सेटअप की कठिनाई	मध्यम से कठिन	आसान	आसान
लागत	केवल हार्डवेयर	$20/month प्रीमियम	मुफ्त / $10 month
आवाज	ऐड-ऑन के साथ संभव	बिल्ट-इन	सीमित
विश्वसनीयता	आपके सेटअप पर निर्भर	उच्च	उच्च

ईमानदार सच? किसी ऐसे व्यक्ति के लिए जो बस यूं ही AI साथ आजमाना चाहता है, कमर्शियल ऐप्स ठीक हैं। किसी ऐसे के लिए जो इसे गंभीरता से लेता है, असली गोपनीयता चाहता है, या प्लेटफॉर्म की सीमाओं से परेशान रहा है, अपना खुद का बनाना मेहनत के बिल्कुल लायक है।

पूरी जानकारी के लिए, मैं Lewdly.ai से जुड़ा हूं, और हम ऐसे टूल पर काम कर रहे हैं जो बीच का रास्ता निकालते हैं। विचार यह है कि आपको एक लोकल सेटअप का अनुकूलन एक प्रबंधित प्लेटफॉर्म की सुविधा के साथ दिया जाए। अगर आप उस बीच के रास्ते में रुचि रखते हैं, तो इस पर नजर रखना सार्थक है।

अक्सर पूछे जाने वाले सवाल

अपना खुद का AI कंपेनियन चैटबॉट बनाने में कितनी लागत आती है?

अगर आपके पास पहले से एक गेमिंग PC या हाल का Mac है, तो सॉफ्टवेयर की लागत शून्य है। Ollama, SillyTavern, और LLM मॉडल सभी मुफ्त और ओपन सोर्स हैं। अगर आपको हार्डवेयर खरीदना है, तो एक इस्तेमाल किया हुआ RTX 3090 (24GB VRAM) करीब $600-800 का पड़ता है और 70B मॉडल आराम से संभालता है।

क्या मैं इसे लैपटॉप पर चला सकता हूं?

हां, लेकिन सीमाओं के साथ। M-सीरीज चिप वाले आधुनिक MacBook 7B-13B मॉडल अच्छी तरह संभालते हैं। डिस्क्रीट GPU वाले Windows/Linux लैपटॉप भी काम कर सकते हैं। 70B मॉडल के लिए, आपको वास्तव में एक उचित GPU वाला डेस्कटॉप या कम से कम CPU इन्फरेंस के लिए 64GB सिस्टम RAM चाहिए।

क्या अपना AI कंपेनियन बनाना कानूनी है?

बिल्कुल। ये मॉडल ओपन सोर्स या उदार लाइसेंस के तहत जारी किए जाते हैं (Meta का Llama लाइसेंस, Mixtral के लिए Apache 2.0)। आप अपने खुद के हार्डवेयर पर सार्वजनिक रूप से उपलब्ध सॉफ्टवेयर चला रहे हैं। इसमें कोई कानूनी समस्या नहीं है।

ChatGPT की तुलना में बातचीत की गुणवत्ता कितनी अच्छी है?

सामान्य ज्ञान और तर्क के लिए, ChatGPT अभी भी आगे है। व्यक्तित्व और निरंतरता वाली कंपेनियन-शैली की बातचीत के लिए, एक अच्छी तरह कॉन्फ़िगर किया गया Llama 3 70B अच्छे सिस्टम प्रॉम्प्ट के साथ ChatGPT की बराबरी कर सकता है या उससे आगे निकल सकता है। मुख्य बात सिस्टम प्रॉम्प्ट और मेमोरी सेटअप है।

क्या दूसरे लोग मेरे कंपेनियन तक पहुंच सकते हैं?

नहीं, जब तक आप जानबूझकर इसे इंटरनेट पर एक्सपोज़ न करें। डिफ़ॉल्ट रूप से, Ollama और SillyTavern केवल localhost पर चलते हैं। आपकी बातचीत पूरी तरह आपकी मशीन पर रहती है। यह लोकल तरीके के सबसे बड़े फायदों में से एक है।

सेटअप में कितना समय लगता है?

बेसिक सेटअप (Ollama + एक मॉडल + SillyTavern) में करीब 30-60 मिनट लगते हैं। मेमोरी सुविधाएं जोड़ने में एक या दो घंटे और लगते हैं। एक सच में अच्छा सिस्टम प्रॉम्प्ट गढ़ना एक चलने वाली प्रक्रिया है, लेकिन आप किसी बेसिक चीज से शुरू कर सकते हैं और समय के साथ निखार सकते हैं।

क्या मुझे कोडिंग आनी जरूरी है?

बेसिक सेटअप के लिए, नहीं। Ollama और SillyTavern इंस्टॉल करना सीधा है। ChromaDB के साथ कस्टम मेमोरी जैसी उन्नत सुविधाओं के लिए, बेसिक Python जानकारी मदद करती है। लेकिन आप शून्य कोडिंग के साथ 80% अनुभव पा सकते हैं।

अगर कोई मॉडल अपडेट हो जाए तो क्या होगा?

आप नियंत्रित करते हैं कि कब और क्या अपडेट करना है। कमर्शियल ऐप्स के विपरीत जहां बदलाव आप पर थोपे जाते हैं, आप तय करते हैं कि कोई नया मॉडल संस्करण पुल करना है या नहीं। अगर आपको पसंद है कि आपका मौजूदा सेटअप कैसे काम करता है, तो उसे अनिश्चित काल तक इस्तेमाल करते रहें।

क्या मैं अपने कंपेनियन को सब कुछ हमेशा के लिए याद रखवा सकता हूं?

सही मेमोरी सेटअप (ChromaDB या इसी तरह का वेक्टर डेटाबेस) के साथ, हां। आप केवल स्टोरेज स्पेस से सीमित हैं, और बातचीत के सारांश बहुत छोटे होते हैं। मेरे पास करीब 8 महीने का बातचीत का इतिहास 500MB से कम में स्टोर है।

क्या यह Replika या Character AI से बेहतर है?

"बेहतर" इस पर निर्भर करता है कि आप किसे महत्व देते हैं। उपयोग में आसानी के लिए, कमर्शियल ऐप्स जीतते हैं। गोपनीयता, अनुकूलन, और कंटेंट प्रतिबंधों से आजादी के लिए, DIY भारी अंतर से जीतता है। दीर्घकालिक मेमोरी और निरंतरता के लिए, अगर आप सेटअप की मेहनत लगाते हैं तो DIY भी जीतता है।

समापन

अपना खुद का AI कंपेनियन चैटबॉट बनाना सिर्फ एक तकनीकी प्रोजेक्ट नहीं है। यह इस बारे में एक बयान है कि आपके डिजिटल रिश्तों को कौन नियंत्रित करता है। जब आप अपने खुद के मॉडल चलाते हैं, अपने खुद के व्यक्तित्व प्रॉम्प्ट लिखते हैं, और अपनी खुद की मेमोरी प्रणाली प्रबंधित करते हैं, तो आप सुविधा के बजाय स्वायत्तता चुन रहे होते हैं।

मैं यह दिखावा नहीं करूंगा कि यह Replika डाउनलोड करने से आसान है। यह नहीं है। लेकिन नतीजा कुछ ऐसा है जो सच में आपका अपना है। एक कंपेनियन जो ठीक वैसा व्यवहार करता है जैसा आप चाहते हैं, जो भी आप बताते हैं उसे जितनी देर आप चाहें याद रखता है, और इसलिए कभी नहीं बदलता क्योंकि किसी प्रोडक्ट मैनेजर ने रास्ता बदलने का फैसला कर लिया।

Ollama और एक बेसिक Llama 3 मॉडल से शुरुआत करें। बुनियादी बातों के साथ सहज हो जाएं। फिर अपनी रफ्तार से व्यक्तित्व, मेमोरी, और विज़ुअल तत्वों की परतें जोड़ें। कोई जल्दी नहीं है। आपका कंपेनियन वहीं रहेगा जब भी आप बनाते रहने के लिए तैयार होंगे।

और अगर आप रास्ते में कहीं अटक जाएं, तो ओपन सोर्स AI समुदाय उन सबसे मददगार समूहों में से एक है जिनसे मेरा ऑनलाइन सामना हुआ है। SillyTavern Discord में जाएं, Ollama GitHub issues देखें, या subreddit पर नजर डालें। लोग अद्भुत चीजें बना रहे हैं और अपना ज्ञान खुलकर साझा कर रहे हैं। यही ओपन सोर्स की खूबसूरती है। आप कभी अकेले नहीं बना रहे होते।