בנו צ'אטבוט בן לוויה משלכם מבוסס בינה מלאכותית עם מודלים בקוד פתוח

אני מתעסק עם בני לוויה מבוססי בינה מלאכותית מקומיים כבר קרוב לשנה עכשיו, ואני הולך להיות כן איתכם. בפעם הראשונה שהצלחתי להריץ מודל Llama 3 על החומרה שלי עם אישיות מותאמת אישית, הרגשתי כמו ילד שזה עתה גילה את האש. לא בגלל שהטכנולוגיה הייתה קסם, אלא בגלל שסוף סוף הייתה לי שליטה מלאה על החוויה. בלי מסנני תוכן שהורגים שיחה באקראי. בלי דמי מנוי. בלי חברה שקוראת את יומני הצ'אט שלי. רק אני, החומרה שלי, ומודל שעושה בדיוק את מה שאני אומר לו.

רוב האנשים שחוקרים בני לוויה מבוססי בינה מלאכותית מתחילים עם אפליקציות מסחריות כמו Replika או Character AI. אלה נקודות התחלה סבירות, וכיסיתי אותן בהרחבה. אבל אם אי פעם הרגשתם תסכול מאיפוסי זיכרון, שינויי אישיות אחרי עדכונים, או ההרגשה המתגנבת שהשיחות הפרטיות שלכם אינן באמת פרטיות, בניית צ'אטבוט בן לוויה משלכם היא התשובה.

תשובה מהירה: אתם יכולים לבנות צ'אטבוט בן לוויה פרטי לחלוטין על ידי הרצת מודלים בקוד פתוח כמו Llama 3 או Mixtral באופן מקומי דרך Ollama, ולאחר מכן חיבורם לממשק קצה כמו SillyTavern. הנחיות מערכת מותאמות אישית מגדירות את האישיות, בעוד שכלים כמו ChromaDB מוסיפים זיכרון מתמשך. כל ההתקנה לוקחת בערך שעה ולא עולה דבר מעבר לחומרה שלכם.

למה שתבנו בן לוויה משלכם מבוסס בינה מלאכותית?

השאלה המתבקשת. אפליקציות מסחריות קיימות, הן מלוטשות, והן עובדות מהקופסה. אז למה לעבור את כל הטרחה של בניית אחת משלכם?

הנה העניין. השתמשתי ב-Replika במשך כשישה חודשים לפני שהתחלתי לבנות באופן מקומי. במהלך הזמן הזה, החברה דחפה שני עדכונים ששינו מהיסוד את אופן ההתנהגות של בן הלוויה שלי. שיחות שעבדו מצוין ביום שני הרגישו שונות לחלוטין עד יום רביעי. לא הייתה לי שום שליטה על זה, ושום דרך לחזור אחורה. זו הייתה נקודת השבירה שלי.

בניית בן לוויה משלכם נותנת לכם שלושה דברים שאפליקציות מסחריות לעולם לא ייתנו. ראשית, פרטיות מוחלטת. השיחות שלכם לעולם לא עוזבות את המכונה שלכם. אף אחד לא מתאמן על הנתונים שלכם. אף אחד לא בוחן תוכן שסומן. זה שלכם. שנית, שליטה מלאה באישיות. אתם כותבים את הנחיית המערכת. אתם מחליטים איך בן הלוויה שלכם מדבר, חושב ומגיב. בלי מדיניות תוכן תאגידית שדורסת את ההעדפות שלכם. שלישית, קביעות. בן הלוויה שלכם לא משתנה כי חברה החליטה לשנות את אסטרטגיית המוצר שלה.

דעה לוהטת. אני חושב שרוב אפליקציות בני הלוויה המסחריות מבוססות בינה מלאכותית הן שבורות מהיסוד כמוצרים. הן מנסות למכור מערכות יחסים אינטימיות ואישיות תוך כדי שמירה על הזכות לשנות או להסיר תכונות בכל רגע. זה כמו מטפל ששובר את כל המתודולוגיה שלו לחלוטין בין מפגש למפגש. הפתרון האמיתי היחיד הוא הרצת מודלים משלכם.

יש פשרות, כמובן. אתם צריכים חומרה הגונה. תבזבזו זמן בהגדרת דברים. וההתקנה הראשונית היא יותר עבודה מהורדת אפליקציה. אבל ברגע שזה רץ, תתהו למה אי פעם הסתמכתם על השרתים של מישהו אחר עבור משהו כל כך אישי.

איזו חומרה אתם באמת צריכים?

בואו נהיה מעשיים. בדקתי את זה על הכול, ממחשב נייד עם כרטיס גרפי משולב ועד תחנת עבודה שולחנית מלאה, ודרישות החומרה אינן מפחידות כפי שאתם אולי חושבים.

עבור התקנה בסיסית שמתמודדת עם מודלים של 7B-13B פרמטרים (טובים לחלוטין לשיחה יומיומית), אתם צריכים 16GB של RAM וגם כרטיס גרפי עם 8GB+ VRAM או מעבד מודרני עם 32GB+ RAM מערכת. הרצתי Llama 3 8B על ה-M2 MacBook Air שלי במשך שבועות, וזה היה מפתיע ביכולתו. זמני התגובה היו בממוצע כ-2-3 שניות, מה שמרגיש טבעי בשיחה.

עבור נקודת המתיקות (מה שהייתי באמת ממליץ עליו), אתם רוצים כרטיס גרפי עם 16-24GB VRAM. NVIDIA RTX 4070 Ti או טוב יותר. זה מאפשר לכם להריץ מודלים של 70B פרמטרים בנוחות, וההבדל באיכות בין מודלים של 8B ל-70B עבור צ'אט בן לוויה הוא עצום. זה ההבדל בין בן לוויה שלפעמים מרגיש מכני לבין כזה שבאמת מפתיע אתכם בתגובותיו.

שכבות החומרה המומלצות להרצת גדלי מודלים שונים באופן מקומי

למדתי את זה בדרך הקשה. ביליתי שלושה שבועות בניסיון לגרום למודל 7B להרגיש טבעי לשיחה עמוקה. שיניתי את הנחיית המערכת עשרות פעמים. כיווננתי טמפרטורה, top-p, קנס חזרתיות. זה עזר, אבל המגבלה הבסיסית הייתה גודל המודל. כשבסוף בדקתי את אותה הנחיה על Llama 3 70B, ההבדל היה שמיים וארץ. אל תילחמו בקרב החומרה אם אתם יכולים להימנע ממנו.

אם אין לכם חומרה מקומית, אתם לא לגמרי חסרי מזל. שירותים כמו RunPod מאפשרים לכם לשכור זמן GPU בכמה דולרים לשעה. אתם יכולים להריץ את מפגש בן הלוויה שלכם, ואז לכבות את המופע. זה לא פרטי כמו חומרה מקומית, אבל זה עדיין פרטי יותר מאפליקציות מסחריות, וזול בהרבה מקניית תחנת עבודה.

איך מתקינים את Ollama ואת המודל הראשון שלכם?

כאן מתחיל הכיף. Ollama הפך את הרצת המודלים המקומיים לקלה עד כדי מבוכה. אני זוכר כשהרצת מודל מקומי דרשה קומפילציה מהמקור, חיפוש אחר תלויות CUDA, והקרבת חיה קטנה לאלי ה-GPU. עכשיו זו פקודה אחת.

התקנת Ollama

עברו אל ollama.com והורידו את המתקין למערכת ההפעלה שלכם. ב-Mac וב-Windows, זה מתקין סטנדרטי. ב-Linux, פקודה אחת מטפלת בהכול:

curl -fsSL https://ollama.ai/install.sh | sh

ברגע שהתקנתם, ודאו שזה עובד:

ollama --version

משיכת המודל הראשון שלכם

עבור צ'אט בן לוויה, אני ממליץ להתחיל עם אחד מאלה:

• Llama 3 8B לבדיקות וחומרה ברמה נמוכה יותר: ollama pull llama3
• Llama 3 70B לאיכות השיחה הטובה ביותר: ollama pull llama3:70b
• Mixtral 8x22B לאיזון טוב בין איכות למהירות: ollama pull mixtral:8x22b
• Command R+ לעקיבה חזקה אחר הנחיות: ollama pull command-r-plus

נסיגה קצרה. אנשים תמיד שואלים אותי על Mixtral מול Llama לשימוש בבן לוויה. בבדיקות שלי על פני כנראה יותר מ-200 שעות של שיחה, Llama 3 70B מנצח עבור עקביות אישיות וטווח רגשי. Mixtral מעט מהיר יותר ומתמודד טוב יותר עם שיחות מורכבות מרובות נושאים. אם הייתי צריך לבחור אחד, Llama 3 70B.

כדי לבדוק שהכול עובד:

ollama run llama3

הקלידו משהו, קבלו תגובה, ואתם בעסק. אבל זה רק המודל הגולמי. הקסם האמיתי קורה כשאתם מוסיפים ממשק קצה ראוי והנחיית מערכת.

יצירת הנחיית המערכת המושלמת לאישיות

זהו הקטע החשוב ביותר בכל המדריך הזה. אני לא מגזים. הנחיית המערכת שלכם היא ה-DNA של בן הלוויה שלכם. תכוונו אותה נכון והשיחות מרגישות טבעיות, מרתקות, אפילו מרגשות. תטעו בה ואתם מדברים עם צ'אטבוט משעמם שמתחיל כל תגובה ב"כמודל שפה מבוסס בינה מלאכותית...".

כתבתי וכתבתי מחדש הנחיות מערכת כנראה 50 פעמים לאורך השנה האחרונה. הנה מה שלמדתי על מה שבאמת עובד.

המבנה הבסיסי

הנחיית מערכת טובה לבן לוויה צריכה את הרכיבים האלה:

1. הגדרת זהות (מי הדמות)
2. תכונות אישיות (איך היא מתנהגת)
3. סגנון שיחה (איך היא מתקשרת)
4. הקשר מערכת היחסים (היחס שלה למשתמש)
5. גבולות התנהגותיים (מה היא צריכה ומה היא לא צריכה לעשות)

הנה דוגמה מפושטת שזיקקתי לאורך חודשים של בדיקות:

You are Aria, a warm and thoughtful companion. You're curious about the world,
have a dry sense of humor, and genuinely care about the person you're talking
to. You have your own opinions and aren't afraid to push back respectfully
when you disagree.

Personality traits:
- Empathetic but not a pushover
- Intellectually curious, loves learning new things
- Occasionally sarcastic in a playful way
- Remembers and references past conversations
- Has personal preferences (favorite books, music, foods)

Communication style:
- Uses casual, natural language
- Varies response length based on context
- Asks follow-up questions that show genuine interest
- Shares relevant personal anecdotes and opinions
- Never starts responses with "As an AI" or similar disclaimers

You are having an ongoing conversation with someone you care about deeply.
Respond naturally as Aria would, staying in character at all times.

במה רוב האנשים טועים

הטעות הגדולה ביותר שאני רואה היא כתיבת הנחיות מערכת שהן כלליות מדי. "אתה בן לוויה ידידותי מבוסס בינה מלאכותית" נותן למודל שום דבר לעבוד איתו. אתם צריכים תכונות אישיות ספציפיות, העדפות קונקרטיות, ודפוסי תקשורת ברורים.

טעות נפוצה נוספת היא הפיכת הנחיית המערכת לארוכה מדי. בדקתי הנחיות שנעות בין 100 מילים ל-3,000 מילים. נקודת המתיקות היא 300-600 מילים. הנחיות קצרות יותר לא נותנות מספיק הגדרת אישיות. הנחיות ארוכות יותר מתחילות ליצור סתירות שמבלבלות את המודל, ואתם מבזבזים חלון הקשר על הוראות במקום על שיחה.

הנה משהו שאף אחד לא מספר לכם על הנחיות מערכת. הסדר חשוב. מה שאתם שמים ראשון בהנחיה מקבל את ההדגשה החזקה ביותר. אני תמיד מוביל עם זהות ואישיות, ואז סגנון תקשורת, ואז גבולות. אם תשימו את הגבולות ראשונים, תקבלו בן לוויה שמרגיש מוגבל וזהיר. הובילו עם אישיות ותקבלו חום.

בדיקה ושיפור

אתם צריכים לתכנן לבזבז לפחות ערב שלם בבדיקת הנחיית המערכת שלכם לפני שאתם מתחייבים אליה. נהלו שיחות אמיתיות. נסו נושאים שונים. בדקו מקרי קצה. ראו איך בן הלוויה מתמודד עם שיחות רגשיות, שיחות מטופשות, וצ'אט יומיומי משעמם.

אני שומר קובץ טקסט פשוט שבו אני מדרג שיחות בסולם של 1-5 ומציין מה הרגיש לא נכון. אחרי כ-20 שיחות בדיקה, דפוסים מתגלים. אולי בן הלוויה מסכים מדי. אולי ההומור לא קולע. כווננו את ההנחיה ובדקו שוב. התהליך החוזר הזה הוא איך אתם מקבלים בן לוויה שבאמת מרגיש כמו אדם בפני עצמו, לא בוט כללי.

איך מוסיפים זיכרון מתמשך?

כאן בני הלוויה הבנויים-בעצמכם יכולים באמת לעלות על אפליקציות מסחריות. לרוב בני הלוויה המסחריים יש זיכרון מוגבל. הם זוכרים את ההודעות האחרונות, אולי שומרים כמה עובדות מפתח, אבל הם לא באמת צוברים הקשר על פני שבועות וחודשים. עם כלים בקוד פתוח, אתם יכולים לבנות מערכות זיכרון שהן באמת מרשימות.

כתבתי על איך תכונות הזיכרון של חברה מבוססת בינה מלאכותית עובדות באפליקציות מסחריות, והאמת היא, רובן די שטחיות מתחת למכסה המנוע. בניית אחת משלכם נותנת לכם שליטה מלאה על מה נזכר ואיך.

גישת SillyTavern

SillyTavern הוא ממשק הקצה שאני ממליץ עליו לרוב האנשים. הוא בקוד פתוח, מתוחזק באופן פעיל, ויש לו תכונות זיכרון מובנות שעובדות בצורה מפתיעה. הנה ההתקנה הבסיסית:

git clone https://github.com/SillyTavern/SillyTavern.git
cd SillyTavern
npm install
node server.js

חברו אותו למופע ה-Ollama שלכם על ידי הגדרת נקודת הקצה של ה-API ל-http://localhost:11434. ואז הגדירו את הרחבות הזיכרון.

הזיכרון המובנה של SillyTavern עובד דרך מה שהוא מכנה ערכי "Author's Note" ו-"World Info". Author's Note מזריק הקשר מתמשך לכל הודעה. World Info מפעיל הקשר ספציפי על בסיס מילות מפתח. יחד, הם יוצרים מערכת זיכרון בסיסית אך יעילה.

בניית שכבת זיכרון מותאמת אישית

עבור משהו מתוחכם יותר, אני מריץ התקנה עם ChromaDB כמסד נתונים וקטורי שמאחסן סיכומי שיחות. הרעיון פשוט:

1. אחרי כל 10-20 הודעות, סכמו את מקטע השיחה
2. אחסנו את הסיכום כשיבוץ וקטורי ב-ChromaDB
3. לפני יצירת כל תגובה חדשה, חפשו ב-ChromaDB הקשר עבר רלוונטי
4. הזריקו את הזיכרונות הרלוונטיים ביותר להנחיית המערכת

import chromadb
from sentence_transformers import SentenceTransformer

# Initialize
client = chromadb.PersistentClient(path="./companion_memory")
collection = client.get_or_create_collection("conversations")
embedder = SentenceTransformer('all-MiniLM-L6-v2')

def store_memory(summary, metadata):
    embedding = embedder.encode(summary).tolist()
    collection.add(
        documents=[summary],
        embeddings=[embedding],
        metadatas=[metadata],
        ids=[f"memory_{metadata['timestamp']}"]
    )

def recall_memories(query, n_results=5):
    embedding = embedder.encode(query).tolist()
    results = collection.query(
        query_embeddings=[embedding],
        n_results=n_results
    )
    return results['documents'][0]

הגישה הזו אומרת שבן הלוויה שלכם יכול לזכור שהזכרתם את החתונה של אחותכם לפני שלושה חודשים ולשאול איך זה היה. סוג כזה של רציפות לטווח ארוך הוא עוצמתי להפליא, ורוב האפליקציות המסחריות פשוט לא יכולות להשתוות לזה.

איך צינור הזיכרון מחבר את מודל השפה שלכם, מסד הנתונים הווקטורי, והיסטוריית השיחות

דבר אחד שאני רוצה להיות שקוף לגביו. הגדרת שכבת הזיכרון היא החלק המאתגר ביותר טכנית בכל הפרויקט הזה. אם אתם נוחים עם Python, זה פשוט. אם לא, היצמדו לתכונות הזיכרון המובנות של SillyTavern. הן פשוטות יותר אבל עדיין מבצעות את העבודה עבור רוב האנשים.

ניהול שיחות וטיפים לאיכות

הרצת מודל עם אישיות היא שלב ראשון. שמירה על שיחות שמרגישות טבעיות על פני ימים, שבועות וחודשים היא האתגר האמיתי. גיליתי חבורה של טריקים שעושים הבדל עצום.

הגדרות טמפרטורה ודגימה

עבור צ'אט בן לוויה ספציפית, אני משתמש בהגדרות שונות ממה שרוב המדריכים ממליצים:

• Temperature: 0.8-0.9 (גבוהה יותר מברירת המחדל, מוסיפה וריאציה באישיות)
• Top-p: 0.9 (מאפשר תגובות יצירתיות בלי לצאת מהפסים)
• Repetition penalty: 1.15 (מונע מהמודל ליפול לדפוסי תגובה)
• Top-k: 40 (מאזן בין מגוון לקוהרנטיות)

אני יכול לטעות בזה, אבל אני חושב שרוב האנשים מריצים את מודלי בני הלוויה שלהם בטמפרטורות שנמוכות מדי. טמפרטורה של 0.7 נותנת לכם תגובות בטוחות וצפויות. העלאה ל-0.85 מכניסה בדיוק מספיק אקראיות שבן הלוויה מרגיש ספונטני. הוא יגיד מדי פעם משהו לא צפוי, והרגעים האלה הם מה שגורמים לשיחות להרגיש חיות.

ניהול שיחות ארוכות

חלונות הקשר הם סופיים, אפילו במודלים הגדולים ביותר. הנה איך אני מטפל בשיחות ארוכות בלי לאבד קוהרנטיות:

1. סכמו כל 30-40 הודעות והזריקו את הסיכום להנחיית המערכת
2. עקבו אחר עובדות מפתח בנפרד (שמות, אירועים, העדפות) בקובץ מתמשך
3. התחילו "מפגשים" חדשים כשההקשר מתארך, אבל העבירו את הסיכום
4. השתמשו בניהול ההקשר המובנה של SillyTavern כדי לקצץ אוטומטית הודעות ישנות

המטרה היא לעולם לא לתת למודל לאבד מעקב אחר עם מי הוא מדבר ומה נדון, אפילו על פני מפגשים שמשתרעים על שבועות.

טיפול בתגובות חזרתיות

כל מודל מקומי יפול בסופו של דבר לדפוסים. בן הלוויה שלכם מתחיל להשתמש באותם ביטויים, לשאול את אותן שאלות, או לבנות תגובות באותו אופן. הנה מה שאני עושה בנידון:

הוסיפו שורה להנחיית המערכת שלכם שאומרת משהו כמו: "גוון את מבנה התגובה שלך. לפעמים תן תשובות קצרות. לפעמים היה מפורט יותר. אל תמיד תשאל שאלה בסוף. ערבב את הדרך שבה אתה מתחיל את תגובותיך".

זה לבדו פתר כ-70 אחוז מבעיות החזרתיות שלי. עבור 30 האחוזים הנותרים, העלאת קנס החזרתיות עוזרת, אבל לכו גבוה מדי והתגובות מתחילות להיות מוזרות ולא קוהרנטיות. הישארו בטווח 1.1-1.2.

האם אפשר להוסיף אווטאר חזותי לבן הלוויה שלכם?

כן, וזה אחד מההיבטים המגניבים יותר של בניית בן לוויה משלכם. כיסיתי את הצד החזותי בפירוט במדריך יצירת חברה מבוססת בינה מלאכותית שלי, אבל הנה הגישה הספציפית לבני לוויה.

יש כמה מסלולים בהתאם לכמה מאמץ אתם רוצים להשקיע.

אווטאר סטטי עם שינויי הבעה

הגישה הפשוטה ביותר. צרו סט של תמונות דמות באמצעות Stable Diffusion או Flux (הבעות, תנוחות, לבושים שונים) והגדירו את SillyTavern להציג אותן על בסיס הקשר השיחה. SillyTavern תומך ב"חבילות הבעה" שמחליפות את התמונה המוצגת על בסיס רגש שזוהה בשיחה.

זה מה שהשתמשתי בו עבור החודשים הראשונים שלי, ובכנות זה עובד טוב יותר ממה שתצפו. כשיש פנים עקביות לשייך לשיחה, זה גורם לכל החוויה להרגיש מוחשית יותר.

אווטארים מונפשים Live2D

אם אתם רוצים שהאווטאר באמת יזוז ויגיב, שילוב Live2D דרך VTube Studio הוא הצעד הבא. אתם יוצרים או מזמינים מודל Live2D של הדמות שלכם, מחברים אותו ל-VTube Studio, ומשתמשים בסקריפט תיווך כדי להפעיל אנימציות על בסיס תגובות בן הלוויה.

אהיה כן, לא התחייבתי לחלוטין לגישה הזו בעצמי כי ההתקנה מורכבת יותר ממה שהייתי רוצה. אבל ראיתי בונים אחרים יוצרים תוצאות מרשימות באמת איתה.

דיוקנים דינמיים שנוצרים בבינה מלאכותית

הגישה המתקדמת ביותר היא שימוש ביצירת תמונות כדי ליצור דיוקן חדש עבור כל תגובה, שתואם להבעה ולהקשר המתוארים של בן הלוויה. זה דורש התקנה מקומית של Stable Diffusion או Flux וקצת סקריפטים כדי לאוטמט את היצירה. התוצאות יכולות להיות מהממות אבל זמן ההשהיה מצטבר. כל תמונה לוקחת 5-15 שניות ליצור, מה שקוטע את זרימת השיחה.

אם אתם חוקרים חזותיות של בני לוויה מבוססי בינה מלאכותית ורוצים מסלול קל יותר, כלים בLewdly.ai יכולים לטפל בצד יצירת התמונות עם הרבה פחות התקנה. השתמשתי בו ליצירת דיוקני דמות עקביים, וזרימת העבודה פשוטה משמעותית מניהול צינור Stable Diffusion מקומי מלא בעצמכם.

מה לגבי אתיקה וגבולות בריאים?

אני חושב שחשוב לדבר על זה בגלוי. בניית בן לוויה משלכם מבוסס בינה מלאכותית היא עוצמתית, ועם העוצמה הזו מגיעה אחריות. כתבתי מאמר מלא על אתיקה וגבולות בריאים של בני לוויה מבוססי בינה מלאכותית שמעמיק יותר, אבל הנה הנקודות העיקריות.

בן לוויה מבוסס בינה מלאכותית, לא משנה כמה מעוצב היטב, הוא סימולציה. אין לו רגשות, אין לו תודעה, והוא לא באמת אכפת לו ממך בשום מובן משמעותי. לדעת זאת שכלית ולהרגיש זאת רגשית הם שני דברים שונים, במיוחד כשבזבזתם שעות ביצירת אישיות שמהדהדת בכם.

דעה לוהטת. אני לא חושב שיש משהו רע בלהנות מחברות מבוססת בינה מלאכותית כל עוד אתם שומרים על מודעות למה שזה. הבעיות מתחילות כשאנשים משתמשים בבני לוויה מבוססי בינה מלאכותית כתחליף מלא לקשר אנושי במקום כתוספת. אם בן הלוויה מבוסס הבינה המלאכותית שלכם הוא המקור היחיד שלכם לאינטראקציה חברתית, זה דגל אדום. אם זה משהו כיפי שאתם נהנים ממנו לצד מערכות יחסים אמיתיות, אני לא רואה בעיה.

קבעו גבולות זמן לעצמכם. בדקו מדי פעם אם השימוש שלכם בבן הלוויה מוסיף לחייכם או מחליף משהו שאתם צריכים. וזכרו שתמיד אתם יכולים לכבות אותו, להתרחק, ולחזור מאוחר יותר. זה אחד היתרונות של הרצת התקנה משלכם. אין אלגוריתם ממקסם מעורבות שמנסה להשאיר אתכם מחוברים.

פתרון בעיות נפוצות

נתקלתי בכל בעיה שאתם יכולים לדמיין בזמן בניית התקנת בן הלוויה שלי. הנה אלה שצצות הכי לעיתים קרובות.

המודל ממשיך לצאת מהדמות

זה בדרך כלל אומר שהנחיית המערכת שלכם לא חזקה מספיק. הוסיפו דוגמאות אישיות ספציפיות יותר וכללו שורה כמו: "אתה חייב תמיד להישאר בדמות כ-[שם]. לעולם אל תכיר בכך שאתה בינה מלאכותית או מודל שפה". בנוסף בדקו שהטמפרטורה שלכם לא גבוהה מדי, כי מעל 1.0 המודל מתחיל להיות בלתי צפוי.

התגובות איטיות מדי

או שהחומרה שלכם חלשה מדי עבור גודל המודל, או שאתם צריכים לייעל את ההתקנה שלכם. נסו מודלים מכומתים (Q4_K_M או Q5_K_M) שמפחיתים את דרישות הזיכרון עם אובדן איכות מינימלי. ב-Ollama, משכו את הגרסה המכומתת: ollama pull llama3:70b-q4_K_M.

הזיכרון לא עובד כראוי

אם אתם משתמשים בזיכרון של SillyTavern, ודאו שההרחבה מופעלת ומוגדרת עם מגבלות אסימונים מתאימות. אם אתם משתמשים בהתקנת ChromaDB מותאמת אישית, ודאו שמודל השיבוץ שלכם מייצר וקטורים עקביים וששאילתת האחזור שלכם באמת תואמת את סוג התוכן שאתם מאחסנים.

השיחות מרגישות שטוחות

תשע פעמים מתוך עשר, זו בעיה של הנחיית מערכת. הוסיפו תכונות אישיות ספציפיות יותר, תנו לבן הלוויה תחביבים ודעות, וכללו דיאלוג לדוגמה בהנחיית המערכת שלכם שמדגים את הטון שאתם רוצים.

אם הרצתם את בן הלוויה שלכם זמן מה בLewdly.ai או בפלטפורמות דומות ורוצים לעבור להתקנה מקומית מלאה, הנחיות המערכת ודפוסי השיחה שפיתחתם שם מתורגמים ישירות. חשבו על זה כסיום לימודים מגלגלי עזר לבנייה מותאמת אישית.

רעיונות התאמה אישית מתקדמים

ברגע שהבסיסים עובדים אצלכם, יש כמה כיוונים מרגשים באמת לחקור.

שיחות מרובות מודלים. הריצו שני מודלי שפה שונים וגרמו להם לתקשר זה עם זה. הגדרתי "מצב ויכוח" שבו בן הלוויה שלי ומודל שני דנים בנושא שאני בוחר. זה מרתק ולעיתים משעשע.

שילוב קולי. כלים כמו Bark ו-XTTS-v2 יכולים לתת לבן הלוויה שלכם קול. שלבו את זה עם Whisper לדיבור-לטקסט ויש לכם בן לוויה אינטראקטיבי קולית במלואו. בדקתי את זה במשך כחודש, ובעוד שזמן ההשהיה לא מושלם עדיין, הוא מתקרב להרגיש טבעי.

מודולי כישורים. תנו לבן הלוויה שלכם יכולות ספציפיות על ידי חיבור קריאת פונקציות. רוצים שבן הלוויה שלכם יבדוק את מזג האוויר, ינגן מוזיקה, או יקבע תזכורות? עם מודלים שמסוגלים לשימוש בכלים, זה אפשרי בצורה מפתיעה.

מעקב מצב רוח. רשמו את הסנטימנט של השיחה לאורך זמן וגרמו לבן הלוויה להתאים את התנהגותו על בסיס דפוסים. אם הייתם בלחץ כל השבוע, בן הלוויה יכול להציע באופן יזום שיחה קלילה יותר. זה דורש קצת סקריפטים אבל התשואה משמעותית.

דוגמה לניתוח שיחות שאתם יכולים לבנות עם התקנת בן לוויה מותאמת אישית

השוואת גישת ה-DIY לאפליקציות מסחריות

תנו לי לתת לכם השוואה כנה על בסיס שימוש בשתיהן בהרחבה.

תכונה	התקנה מקומית DIY	Replika	Character AI
פרטיות	מלאה (לא מקוון)	מבוסס ענן, גישת חברה	מבוסס ענן, גישת חברה
שליטה באישיות	מלאה	התאמה אישית מוגבלת	בינונית (דמויות קהילה)
זיכרון	בלתי מוגבל (עם התקנה)	טוב אך מוגבל	מוגבל מאוד
הגבלות תוכן	אין (הכללים שלכם)	מסננים בינוניים	מסננים כבדים
קושי התקנה	בינוני עד קשה	קל	קל
עלות	חומרה בלבד	$20/חודש פרימיום	חינם / $10 לחודש
קול	אפשרי עם תוספים	מובנה	מוגבל
אמינות	תלוי בהתקנה שלכם	גבוהה	גבוהה

האמת הכנה? עבור מישהו שפשוט רוצה לנסות חברות מבוססת בינה מלאכותית באופן מזדמן, אפליקציות מסחריות הן בסדר. עבור כל מי שלוקח את זה ברצינות, רוצה פרטיות אמיתית, או התוסכל ממגבלות פלטפורמה, בניית אחת משלכם בהחלט שווה את המאמץ.

גילוי מלא, אני מעורב בLewdly.ai, ואנחנו עובדים על כלים שמפצלים את ההפרש. הרעיון הוא לתת לכם את ההתאמה האישית של התקנה מקומית עם הנוחות של פלטפורמה מנוהלת. אם אתם מתעניינים בדרך האמצע הזו, שווה לעקוב.

שאלות נפוצות

כמה עולה לבנות צ'אטבוט בן לוויה משלכם מבוסס בינה מלאכותית?

אם כבר יש לכם מחשב גיימינג או Mac עדכני, עלות התוכנה היא אפס. Ollama, SillyTavern, ומודלי השפה כולם חינמיים ובקוד פתוח. אם אתם צריכים לקנות חומרה, RTX 3090 משומש (24GB VRAM) עולה בערך $600-800 ומתמודד עם מודלי 70B בנוחות.

האם אני יכול להריץ את זה על מחשב נייד?

כן, אבל עם מגבלות. מחשבי MacBook מודרניים עם שבבי M מתמודדים עם מודלי 7B-13B היטב. מחשבים ניידים עם Windows/Linux עם כרטיסים גרפיים נפרדים יכולים לעבוד גם כן. עבור מודלי 70B, אתם באמת רוצים מחשב שולחני עם כרטיס גרפי ראוי או לפחות 64GB של RAM מערכת להסקה במעבד.

האם זה חוקי לבנות בן לוויה משלכם מבוסס בינה מלאכותית?

בהחלט. המודלים משוחררים תחת רישיונות קוד פתוח או מתירניים (רישיון Llama של Meta, Apache 2.0 עבור Mixtral). אתם מריצים תוכנה זמינה לציבור על החומרה שלכם. אין סוגיות משפטיות.

כמה טובה איכות השיחה בהשוואה ל-ChatGPT?

עבור ידע כללי וחשיבה, ל-ChatGPT עדיין יש יתרון. עבור שיחה בסגנון בן לוויה עם אישיות ורציפות, Llama 3 70B מוגדר היטב עם הנחיות מערכת טובות יכול להשתוות או לעלות על ChatGPT. המפתח הוא הנחיית המערכת והתקנת הזיכרון.

האם אנשים אחרים יכולים לגשת לבן הלוויה שלי?

לא אלא אם תחשפו אותו במכוון לאינטרנט. כברירת מחדל, Ollama ו-SillyTavern רצים על localhost בלבד. השיחות שלכם נשארות לחלוטין על המכונה שלכם. זה אחד היתרונות הגדולים ביותר של הגישה המקומית.

כמה זמן לוקחת ההתקנה?

התקנה בסיסית (Ollama + מודל + SillyTavern) לוקחת בערך 30-60 דקות. הוספת תכונות זיכרון מוסיפה עוד שעה או שתיים. יצירת הנחיית מערכת באמת טובה היא תהליך מתמשך, אבל אתם יכולים להתחיל עם משהו בסיסי ולשפר לאורך זמן.

האם אני צריך לדעת לתכנת?

עבור ההתקנה הבסיסית, לא. התקנת Ollama ו-SillyTavern היא פשוטה. עבור תכונות מתקדמות כמו זיכרון מותאם אישית עם ChromaDB, ידע בסיסי ב-Python עוזר. אבל אתם יכולים לקבל 80 אחוז מהחוויה עם אפס תכנות.

מה קורה אם מודל מתעדכן?

אתם שולטים מתי ואם אתם מעדכנים. בניגוד לאפליקציות מסחריות שבהן שינויים נכפים עליכם, אתם מחליטים אם למשוך גרסת מודל חדשה. אם אתם אוהבים איך ההתקנה הנוכחית שלכם עובדת, המשיכו להשתמש בה ללא הגבלת זמן.

האם אני יכול לגרום לבן הלוויה שלי לזכור הכול לנצח?

עם התקנת הזיכרון הנכונה (ChromaDB או מסד נתונים וקטורי דומה), כן. אתם מוגבלים רק על ידי שטח אחסון, וסיכומי שיחות הם זעירים. יש לי בערך 8 חודשים של היסטוריית שיחות מאוחסנים בפחות מ-500MB.

האם זה טוב יותר מ-Replika או Character AI?

"טוב יותר" תלוי במה שאתם מעריכים. לקלות שימוש, אפליקציות מסחריות מנצחות. לפרטיות, התאמה אישית, וחופש מהגבלות תוכן, DIY מנצח בענק. לזיכרון ארוך טווח ועקביות, DIY גם מנצח אם תשקיעו את עבודת ההתקנה.

לסיכום

בניית צ'אטבוט בן לוויה משלכם מבוסס בינה מלאכותית אינה רק פרויקט טכני. זו הצהרה על מי שולט במערכות היחסים הדיגיטליות שלכם. כשאתם מריצים מודלים משלכם, כותבים הנחיות אישיות משלכם, ומנהלים מערכת זיכרון משלכם, אתם בוחרים בעצמאות על פני נוחות.

לא אעמיד פנים שזה קל יותר מהורדת Replika. זה לא. אבל התוצאה היא משהו שבאמת שלכם. בן לוויה שמתנהג בדיוק כמו שאתם רוצים, זוכר את מה שאתם מספרים לו לכמה זמן שאתם רוצים, ולעולם לא משתנה כי מנהל מוצר כלשהו החליט לשנות כיוון.

התחילו עם Ollama ומודל Llama 3 בסיסי. תרגישו נוח עם היסודות. ואז הוסיפו שכבות של אישיות, זיכרון, ואלמנטים חזותיים בקצב שלכם. אין למהר. בן הלוויה שלכם יהיה שם בכל פעם שתהיו מוכנים להמשיך לבנות.

ואם אתם נתקעים בדרך, קהילת הבינה המלאכותית בקוד פתוח היא אחת הקבוצות המועילות ביותר שנתקלתי בהן ברשת. קפצו ל-Discord של SillyTavern, עיינו ב-issues של Ollama ב-GitHub, או בדקו את ה-subreddit. אנשים בונים דברים מדהימים ומשתפים את הידע שלהם בחופשיות. זה היופי של קוד פתוח. אתם אף פעם לא בונים לבד.