בניית דמות חברה וירטואלית מבוססת בינה מלאכותית ב-ComfyUI: זרימת עבודה לעקביות חזותית

אם אי פעם ניסיתם לייצר דמות חברה וירטואלית עקבית על פני כמה תמונות, אתם כבר מכירים את הכאב. אתם מקבלים דיוקן מהמם אחד, מנסים לשחזר את אותם פנים בתנוחה אחרת, ופתאום יש לה אף שונה לחלוטין, קו לסת אחר, ואיכשהו היא הזדקנה בחמש עשרה שנים. זה מטריף. שרפתי אלפי הפקות במרדף אחר עקביות לפני שסוף סוף הצלחתי לסגור זרימת עבודה ב-ComfyUI שבאמת עובדת.

הנשק הסודי כאן הוא שילוב של IPAdapter עם FaceID בתוך ComfyUI. לא אחד או השני. שניהם. ביחד. וערכי המשקל הספציפיים חשובים יותר ממה שרוב המדריכים מודים בו. אני הולך להעביר אתכם דרך זרימת העבודה המדויקת שאני משתמש בה, צומת אחר צומת, עם ההגדרות שבדקתי לעומק במהלך השנה האחרונה.

תשובה מהירה: בניית דמות חברה וירטואלית עקבית ב-ComfyUI דורשת גישת נעילה כפולה. IPAdapter (משקל 0.85) מטפל בסגנון הכללי, ביחסי הגוף ובעקביות הלבוש, בעוד FaceID (משקל 0.6-0.7) נועל את תווי הפנים באופן ספציפי. בשילוב עם טווח denoise של 0.4-0.6, זרימת העבודה הזו יכולה להפיק עשרות תמונות שבהן הדמות שלכם נשארת באופן מזוהה אותו אדם על פני תנוחות, תלבושות וסצנות.

למה ComfyUI מנצח כל כלי אחר בעקביות דמויות?

אני הולך לומר משהו שאולי יסעיר רוחות. אם אתם עדיין משתמשים ב-WebUI של A1111 לעבודת עקביות דמויות, אתם עובדים קשה יותר לתוצאות גרועות יותר. הנה, אמרתי את זה. הארכיטקטורה מבוססת הצמתים של ComfyUI היא לא רק ממשק אחר. זו גישה עליונה מהותית למשימה הספציפית הזו.

הנה למה. בממשק מסורתי יש לכם תיבת טקסט לפרומפט, כמה מחוונים, ואתם לוחצים על הפקה. אם אתם רוצים IPAdapter פלוס FaceID פלוס ControlNet פלוס פרומפטינג אזורי, אתם מערימים תוספים ומתפללים שהם לא יתנגשו. ב-ComfyUI, כל אחד מאלה הוא צומת נפרד עם חיבורים גלויים. אתם יכולים לראות בדיוק כיצד נתונים זורמים מתמונת ההתייחסות שלכם דרך IPAdapter, כיצד FaceID מעבד תווי פנים בנפרד, וכיצד הכל מתמזג לפני שמגיע ל-sampler.

עברתי ל-ComfyUI לפני בערך ארבעה עשר חודשים במיוחד עבור עבודה מהסוג הזה, ושיעור ההצלחה בעקביות שלי עלה מ-40% אולי ליותר מ-85%. זה לא שיפור שולי. זה ההבדל בין לבלות ערב בהפקת תוכן שמיש לבין לבלות סוף שבוע שלם.

מערכת הצמתים גם אומרת שאתם יכולים לבנות לוגיקה מותנית לתוך זרימת העבודה שלכם. רוצים להתאים אוטומטית את עוצמת FaceID בהתאם למידת השוני של תנוחת היעד מההתייחסות שלכם? אתם יכולים לעשות זאת. רוצים לנתב הפקות מסוימות דרך מעבר עידון נוסף תוך דילוג עליו עבור קומפוזיציות פשוטות יותר? גם אפשרי. נסו לעשות את זה בממשק רגיל.

אם אתם מגיעים מעולם ה-Stable Diffusion WebUI, כתבתי מדריך מלא על יצירת דמויות חברה וירטואלית עם Stable Diffusion שמכסה את היסודות. חשבו על מדריך ה-ComfyUI הזה כהמשך המתקדם והעוצמתי יותר של הגישה ההיא.

הקמת התשתית: צמתים ומודלים נדרשים

לפני שנבנה את זרימת העבודה, אתם צריכים את הכלים הנכונים מותקנים. חסר חבילת צומת אחת תשבור את כל הצינור, והודעות השגיאה של ComfyUI לא תמיד מועילות בלספר לכם מה חסר.

חבילות צמתים מותאמים אישית חיוניות

תצטרכו את אלה מותקנים דרך ComfyUI Manager או ידנית באמצעות git clone:

• ComfyUI_IPAdapter_plus - זה עמוד השדרה של עקביות הסגנון. גרסת ה"plus" כוללת צמתי טעינה מאוחדים שמפשטים את ניהול המודלים באופן ניכר.
• ComfyUI-FaceID - מטפל בחילוץ ויישום של תווי פנים. חלק מהגרסאות מצורפות כעת עם IPAdapter Plus, אבל ודאו שזו שלכם כוללת את צמתי ה-FaceID הספציפיים.
• comfyui_controlnet_aux - צמתי קדם-עיבוד לזיהוי תנוחות, שתצטרכו כשתייצרו את הדמות שלכם בעמדות שונות.
• ComfyUI-Impact-Pack - לא נדרש בהכרח, אבל כלי זיהוי הפנים והפילוח שימושיים להפליא לבקרת איכות.

מודלים שאתם צריכים להוריד

מצב המודלים עבור IPAdapter יכול להיות מבלבל כי יש כמה גרסאות שמסתובבות. הנה בדיוק מה לתפוס:

1. ip-adapter-plus-face_sdxl_vit-h.safetensors - זה מודל ה-IPAdapter המותאם לפנים עבור SDXL. אל תשתמשו בגנרי לעבודת דמויות.
2. ip-adapter-faceid-plusv2_sdxl.bin - מודל FaceID v2. עדכון ה-v2 עשה הבדל ניכר במידת ההצלחה שלו עם פנים בזווית.
3. buffalo_l - מודל הניתוח של InsightFace. FaceID משתמש בו כדי לחלץ נקודות ציון של הפנים. שימו אותו ב-models/insightface/models/buffalo_l/.
4. נקודת הביקורת SDXL המועדפת עליכם - אני משתמש בתערובת של RealVisXL ו-JuggernautXL בהתאם לאסתטיקה שאני מכוון אליה.

דבר אחד שהכשיל אותי במשך שבועות כשהתחלתי לראשונה הוא שמבנה תיקיית המודל של InsightFace חשוב. זה לא רק עניין של להחזיק את הקבצים. הם צריכים להיות ב-models/insightface/models/buffalo_l/ עם מבנה תת-התיקיות המדויק. ביזבזתי כמות מביכה של זמן בניפוי שגיאת "model not found" שהייתה פשוט בעיה של קינון תיקיות.

זרימת העבודה המלאה המציגה את צמתי IPAdapter ו-FaceID מחוברים ל-KSampler

כיצד יוצרים את תמונת ההתייחסות המושלמת?

זה המקום שבו רוב האנשים טועים, וזה השלב שחשוב ביותר. תמונת ההתייחסות שלכם היא ה-DNA של הדמות שלכם. כל הפקה תירש את התכונות שלה, גם הטובות וגם הרעות. הזינו התייחסות בינונית, ושום כמות של כיוונון משקל לא תציל אתכם.

מה הופך תמונת התייחסות לטובה

בדקתי את זה לעומק, יצרתי את אותה דמות ממאות תמונות התייחסות שונות, והדפוס ברור. תמונת ההתייחסות האידיאלית כוללת את התכונות האלה:

• קומפוזיציה נקייה, פנים אל המצלמה כאשר הפנים תופסות לפחות 30-40% מהמסגרת
• הבעה ניטרלית או חיוך קל מכיוון שהבעות קיצוניות גורמות ל-FaceID להתמקד בהבעה במקום במבנה הפנים הבסיסי
• תאורה אחידה ורכה ללא צללים חדים שעלולים להתפרש כתווי פנים
• רקע פשוט כדי שהמודל לא ינסה לשכפל אלמנטים מהרקע בכל הפקה
• רזולוציה גבוהה של לפחות 1024x1024, אם כי 1536x1536 או גבוה יותר טוב יותר לזרימות עבודה של SDXL

הנה דעה נחרצת שתסתור את מה שקראתם במקומות אחרים. אתם לא צריכים כמה תמונות התייחסות. למעשה, שימוש בהתייחסות מצוינת אחת מפיק תוצאות עקביות יותר משימוש בשלוש או ארבע סבירות. כשאתם מזינים כמה התייחסויות ל-IPAdapter, הוא מנסה למצע אותן, ותהליך המיצוע הזה יכול לרכך את התווים הייחודיים שהופכים את הדמות שלכם למיוחדת. התייחסות אחת חדה, מוארת היטב ומורכבת היטב מנצחת גלריה של התייחסויות בסדר בכל פעם.

אני בדרך כלל מייצר את ההתייחסות הראשונית שלי באמצעות פרומפט מאוד מפורט בלי IPAdapter או FaceID בכלל. רק הנדסת פרומפט טהורה כדי לקבל פנים שאני אוהב. אז אני מריץ את זה דרך img2img ב-denoise נמוך (0.2-0.3) כמה פעמים כדי לעדן אותו. התמונה המעודנת הזו הופכת להתייחסות הקבועה שלי. היו לי תמונות התייחסות יחידות ששירתו אותי לאורך יותר מ-500 הפקות עקביות.

למי שרוצה לחקור את התיאוריה שמאחורי שמירה על דמויות בינה מלאכותית עקביות על פני תמונות רבות, מדריך מחולל הדמויות העקביות בבינה מלאכותית מעמיק יותר בעקרונות הבסיסיים.

הכנת ההתייחסות שלכם לתוצאות אופטימליות

אל תגררו פשוט את תמונת ההתייחסות שלכם לזרימת העבודה גולמית. קצת קדם-עיבוד עושה דרך ארוכה:

1. חתכו לפורמט מרובע שמתאים לרזולוציית ההפקה המיועדת שלכם
2. הסירו כל טקסט או סימני מים מכיוון שאלה יכולים לחלחל דרך IPAdapter
3. התאימו בהירות וניגודיות להיות ניטרליים, לא מסוגננים
4. ודאו שהפנים נראות בבירור בלי הפרעות כמו שיער שמכסה תווים מרכזיים

בניית זרימת העבודה: צומת אחר צומת

טוב, בואו נבנה את הדבר הזה בפועל. אני הולך לעבור על כל חלק של זרימת העבודה בסדר שבו הנתונים זורמים דרכה. אם אתם עוקבים ב-ComfyUI, אתם יכולים לבנות את זה שלב אחר שלב.

צינור תמונת ההתייחסות

התחילו עם צומת Load Image המכיל את ההתייחסות שלכם. זה מזין שני מסלולים מקבילים:

מסלול 1: עיבוד IPAdapter חברו את תמונת ההתייחסות שלכם לצומת IPAdapter Unified Loader. הגדירו את הפרמטרים האלה:

• Model: ip-adapter-plus-face (הווריאנט הספציפי לפנים)
• Weight: 0.85
• Weight Type: Linear
• Start at: 0.0
• End at: 1.0

המשקל 0.85 הזה קריטי. בדקתי ערכים מ-0.5 עד 1.0 בקפיצות של 0.05, ו-0.85 מפיק באופן עקבי את האיזון הטוב ביותר בין עקביות לחופש יצירתי. עלו גבוה יותר וההפקות שלכם מתחילות להיראות כמו עותקים מעט מותאמים של ההתייחסות. רדו נמוך יותר והעקביות נופלת מצוק סביב 0.75.

מסלול 2: עיבוד FaceID מאותה תמונת התייחסות, חברו לצומת IPAdapter FaceID. הגדרות:

• Weight: 0.65 (התחילו כאן, התאימו בין 0.6-0.7)
• Weight v2: true (אם זמין בגרסת הצומת שלכם)
• Combine method: Average

משקל FaceID רגיש יותר ממשקל IPAdapter. ב-0.7 אתם מקבלים עקביות פנים חזקה אבל לפעמים הבעות נוקשות ודומות על פני הפקות. ב-0.6, ההבעות טבעיות יותר אבל אתם עשויים לראות סחף פנים קל בתנוחות קיצוניות. אני בדרך כלל נוחת על 0.65 כברירת המחדל שלי ומתאים רק כשאני מבחין בבעיות.

תצורת הפרומפט והדגימה

הגדרות ה-KSampler שלכם חשובות יותר מהרגיל כשעובדים עם צמתי עקביות. הנה מה שאני משתמש בו:

• Steps: 30-35 (יותר שלבים עוזרים למודל ליישב את הנחיית IPAdapter/FaceID עם תוכן הפרומפט)
• CFG Scale: 5.5-7.0 (נמוך מהרגיל כי IPAdapter כבר מספק הנחיה חזקה)
• Sampler: DPM++ 2M SDE Karras
• Denoise: 0.45-0.55 לווריאציות של סצנות קיימות, 0.7-0.8 לקומפוזיציות חדשות לחלוטין

ערך ה-denoise ראוי לתשומת לב מיוחדת. זה שולט בכמות החופש שיש למודל לסטות מנקודת ההתחלה הלטנטית. לעבודת עקביות דמויות, אתם הולכים על חבל דק. נמוך מדי וכל תמונה נראית כמעט זהה. גבוה מדי וצמתי העקביות לא יכולים לשמור על אחיזה במראה הדמות.

אני בדרך כלל מבצע הפקות קבוצתיות בשלוש רמות denoise: 0.45, 0.55, ו-0.65. אז אני בוחר את התוצאות הטובות ביותר מכל קבוצה. זה מוסיף כמה דקות לתהליך אבל משפר באופן דרמטי את איכות הבחירות הסופיות שלי.

הנדסת פרומפט לדמויות עקביות

הפרומפט הטקסטואלי שלכם עדיין חשוב, אפילו עם IPAdapter ו-FaceID שעושים את העבודה הקשה. אבל אתם צריכים לחשוב על פרומפטינג באופן שונה בהקשר הזה.

מה לכלול בפרומפט שלכם:

• תיאור סצנה (מיקום, שעה ביום, פעילות)
• לבוש ואביזרים ספציפיים להפקה הזו
• זווית מצלמה ומסגור (תקריב, גוף מלא, שלושה רבעים)
• מצב רוח של תאורה
• תגיות איכות כמו "masterpiece, best quality, highly detailed"

מה להשאיר מחוץ לפרומפט שלכם:

• תיאורי תווי פנים ספציפיים (FaceID מטפל בזה)
• גוון עור (IPAdapter מעביר את זה מההתייחסות שלכם)
• צבע וסגנון שיער (אלא אם כן אתם רוצים בכוונה שזה יהיה שונה)
• תיאורי סוג גוף (IPAdapter מטפל ביחסים)

הנה עוד דעה נחרצת. אני רואה אנשים כותבים פרומפטים של 200 מילים שמנסים לתאר את פני הדמות שלהם כשיש להם FaceID פעיל. אתם פשוטו כמשמעו נלחמים נגד כלי העקביות שלכם עצמכם. תנו ל-FaceID לטפל בפנים. השתמשו באסימוני הפרומפט שלכם לכל השאר. השגתי כמה מהתוצאות הטובות ביותר שלי עם פרומפטים פשוטים כמו "woman sitting in a coffee shop, afternoon light, casual outfit, looking at camera, masterpiece quality."

אותה דמות נשמרת על פני ארבע סצנות שונות באמצעות זרימת העבודה של IPAdapter + FaceID

מהן הטעויות הנפוצות ביותר שהורגות עקביות?

לאחר שעזרתי לעשרות יוצרים ב-Discord ודרך Lewdly.ai להקים את זרימות העבודה לעקביות שלהם, ראיתי את אותן טעויות חוזרות שוב ושוב. תנו לי לחסוך לכם קצת תסכול.

טעות 1: להילחם בכלי העקביות שלכם עצמכם

זו הגדולה ביותר, וכבר נגעתי בה. אם הפרומפט שלכם אומר "blue eyes, small nose, round face" ותמונת ההתייחסות שלכם מציגה דמות עם עיניים ירוקות, אף בולט ופנים זוויתיות, המודל חייב לבחור. לפעמים הוא בוחר את הפרומפט. לפעמים הוא בוחר את ההתייחסות. לפעמים הוא מתפשר בצורה מביכה. התוצאה היא חוסר עקביות שנולד מהוראות סותרות.

התיקון פשוט. בטחו בתמונת ההתייחסות שלכם וב-FaceID. אם אתם רוצים שלדמות שלכם יהיו עיניים כחולות, ודאו שתמונת ההתייחסות שלכם בעלת עיניים כחולות. אל תנסו לדרוס את זה בפרומפט.

טעות 2: שימוש בתמונות התייחסות מסוגננות מדי

פעם ביזבזתי שבת שלמה בניפוי בעיות חוסר עקביות שהתבררו כנגרמות מתמונת ההתייחסות שלי שהיתה בעלת הצללת תאים בסגנון אנימה דרמטי. IPAdapter ניסה לשכפל את סגנון התאורה הספציפי הזה בכל הפקה, מה שהתנגש עם תיאורי הסצנות הריאליסטיים שלי. כשהחלפתי להתייחסות עם תאורה ניטרלית, הכל התחבר.

ההתייחסות שלכם צריכה להיות ניטרלית מספיק מבחינה חזותית כך שהיא לא כופה מצב רוח או סגנון ספציפי על כל הפקה. שמרו את התאורה הדרמטית לפרומפטים שלכם.

טעות 3: התעלמות מהתאמת רזולוציה

אם תמונת ההתייחסות שלכם היא 512x512 ואתם מייצרים ב-1024x1024, מודל ה-IPAdapter חייב להגדיל את ההבנה שלו לגבי הדמות שלכם. זה מכניס רעש וחוסר עקביות. התאימו את רזולוציית ההתייחסות שלכם לרזולוציית ההפקה שלכם, או לפחות הישארו באותו טווח כללי.

טעות 4: דילוג על חיתוך הפנים

עבור FaceID במיוחד, להזין לו צילום גוף מלא שבו הפנים זעירות במסגרת נותן לו מעט מאוד לעבוד איתו. זרימות עבודה רבות כוללות צומת חיתוך פנים אוטומטי שמחלץ את אזור הפנים לפני שליחתו ל-FaceID. אם שלכם לא, הוסיפו אחד. ההבדל בעקביות הפנים מורגש מיד.

טעות 5: לעולם לא לבדוק את ההגדרות שלכם

אני יכול לתת לכם את המשקלים המומלצים שלי, אבל נקודת הביקורת הספציפית של המודל שלכם, תמונת ההתייחסות והנושא ישפיעו על הערכים האופטימליים. השקיעו שלושים דקות בהפקת קבוצות בדיקה במשקלי IPAdapter ו-FaceID שונים. צרו רשת פשוטה שמשווה את התוצאות. ההשקעה הקטנה הזו משתלמת אדירות ברגע שתתחילו לבצע קבוצות הפקה.

טכניקות מתקדמות לעקביות מקסימלית

ברגע שיש לכם את זרימת העבודה הבסיסית פועלת באופן אמין, יש כמה טכניקות שדוחפות את העקביות עוד יותר. אלה הדברים שמפרידים בין משתמשים מזדמנים ליוצרים שיכולים לבנות נרטיבים חזותיים שלמים עם דמות אחת.

שימוש ב-ControlNet להנחיית תנוחות

הוספת ControlNet (במיוחד OpenPose) לזרימת העבודה שלכם מאפשרת לכם לציין תנוחות מדויקות בעוד IPAdapter ו-FaceID שומרים על מראה הדמות. ההגדרה המרכזית כאן היא עוצמת ControlNet, שנשמרת ב-0.7-0.8. כל דבר גבוה יותר והנחיית התנוחה יכולה להפריע ליישום תווי הפנים של FaceID.

אני בדרך כלל מייצר קבוצה של שלדי OpenPose מתצלומי התייחסות אמיתיים, ואז משתמש בהם כדי להניע תנוחות מגוונות לדמות שלי. זה נותן תנוחות טבעיות ואנושיות במקום המיקום הנוקשה והלא טבעי שאתם מקבלים משינויי תנוחה המונעים אך ורק על ידי פרומפט.

פרומפטינג אזורי לשינויי תלבושת

רוצים את הדמות שלכם בתלבושות שונות על פני הפקות? צמתי פרומפטינג אזורי מאפשרים לכם להחיל פרומפטים טקסטואליים שונים על אזורים שונים בתמונה. אתם יכולים למסך את אזורי הלבוש ולהחיל שם פרומפטים ספציפיים לתלבושת תוך השארת הפנים וצורת הגוף בשליטה מלאה של IPAdapter ו-FaceID.

זו בכנות אחת הטכניקות העוצמתיות ביותר בכל ערכת הכלים לעקביות, וזה משהו שאני משתמש בו כל הזמן ב-Lewdly.ai ביצירת ווריאציות דמויות. הדמות נשארת עקבית ברמת הפיקסל בעודה לובשת בגדים שונים לחלוטין בסביבות שונות לחלוטין.

טריק מעבר העידון

הנה טכניקה שלא ראיתי נדונה הרבה במקומות אחרים. לאחר ההפקה הראשונית שלכם, נתבו את הפלט דרך מעבר KSampler שני עם denoise נמוך מאוד (0.15-0.25) ואותם קלטי IPAdapter/FaceID. "מעבר העידון" הזה מתקן בעדינות כל סחף פנים שהתגנב במהלך ההפקה הראשונה בלי לשנות באופן משמעותי את הקומפוזיציה.

חשבו על זה כמו הגהה. המעבר הראשון כותב את החיבור. המעבר השני תופס את שגיאות ההקלדה. מצאתי שהטכניקה הזו מצילה כמחצית מהתמונות שאחרת היו בעלות חוסר עקביות קל. שיעור ההצלה הזה מצטבר באופן משמעותי על פני קבוצות גדולות.

עיבוד קבוצתי לקנה מידה

אם אתם בונים ספריית תוכן לדמות שלכם, תרצו לייצר בקנה מידה. ComfyUI תומך בעיבוד קבוצתי באופן מובנה, ואתם יכולים להקים הפקה מבוססת תור שעוברת דרך עשרות פרומפטים עם הגדרות העקביות שלכם נעולות. כיסיתי את זה לעומק במדריך עיבוד קבוצתי של ComfyUI, וגישת הקבוצה משתלבת בצורה מושלמת עם זרימת העבודה לעקביות הזו.

הרצת קבוצה טיפוסית עבורי כוללת 30-50 פרומפטים, כל אחד מתאר סצנה או מצב שונה, כולם זורמים דרך אותם צמתי IPAdapter ו-FaceID עם תמונת ההתייחסות שלי. מתוך 50 הפקות, אני בדרך כלל שומר 40-45. זה קצב הפקה שרוב זרימות העבודה הידניות לא יכולות להתקרב אליו.

כיצד מטפלים בזוויות והבעות שונות?

זו השאלה שאני נשאל יותר מכל אחרת, ובכנות, זה המקום שבו הקסם של זרימת העבודה הזו באמת מתגלה. לגרום לדמות להיראות עקבית בדיוקן פנים אל המצלמה זה יחסית קל. לשמור על העקביות הזו כשהיא מסתכלת מעבר לכתף, צוחקת, או מוצגת מזווית נמוכה? שם רוב זרימות העבודה מתפרקות.

בעיית הזווית

FaceID מחלץ נקודות ציון של הפנים מההתייחסות שלכם, ונקודות הציון האלה קשורות מטבען לזווית של תמונת ההתייחסות. כשאתם מייצרים זווית שונה באופן דרסטי, FaceID חייב להסיק כיצד נקודות הציון האלה היו נראות מהפרספקטיבה החדשה. לפעמים הוא קולע לזה. לפעמים לא.

הפתרון העוקף פשוט באופן מפתיע. צרו 2-3 תמונות התייחסות של הדמות שלכם בזוויות שונות (חזית, שלושה רבעים, פרופיל) והחליפו ביניהן בהתאם לקומפוזיציית היעד שלכם. בעת הפקת צילום פרופיל, השתמשו בהתייחסות הפרופיל שלכם. בעת הפקת צילום פנים אל המצלמה, השתמשו בהתייחסות החזית שלכם. זה נותן ל-FaceID נתוני מקור הרבה יותר טובים עבור כל זווית ספציפית.

כן, זה סותר במקצת את העצה הקודמת שלי על שימוש בהתייחסות יחידה. הניואנס הוא שלעבודה בסיסית, התייחסות אחת בסדר. לפלט באיכות מקצועית על פני ווריאציות זווית קיצוניות, החזקת התייחסויות ספציפיות לזווית מבטלת את החולשה הגדולה ביותר של FaceID.

ניהול הבעות

FaceID במשקלים גבוהים יותר (0.7+) נוטה לנעול את ההבעה מתמונת ההתייחסות שלכם. אם ההתייחסות שלכם מציגה פנים ניטרליות, הדמות שלכם עשויה להיראות סטואית בכל הפקה. הפתרון הוא להוריד את משקל FaceID מעט עבור הפקות שבהן אתם רוצים פנים אקספרסיביות (0.55-0.60) ולהסתמך יותר בכבדות על הפרומפט שלכם כדי לתאר את ההבעה הרצויה.

מונחי פרומפט כמו "laughing candidly", "surprised expression", או "gentle smile" עובדים היטב במשקלי FaceID הנמוכים האלה. למודל יש מספיק חופש להתאים את ההבעה בעוד FaceID עדיין שומר על מבנה הפנים הבסיסי.

לאחרונה ביליתי סוף שבוע בבדיקת זה עבור פרויקט ב-Lewdly.ai ומצאתי שהחלפה בין משקלי FaceID של 0.55 ו-0.65 בהתאם לשאלה אם הסצנה דורשת רגש או ניטרליות הפיקה את סדרת הדמויות הטבעית ביותר שאי פעם יצרתי.

השוואת משקל FaceID: 0.55 (שמאל) מאפשר יותר מגוון הבעות, 0.70 (ימין) נועל תווים בצורה הדוקה יותר

אופטימיזציה למהירות בלי להקריב איכות

אף אחד לא רוצה לחכות עשר דקות לכל הפקה כשהוא מנסה לבנות ספרייה של תמונות דמות. הנה אופטימיזציות המהירות שאני משתמש בהן שלא משפיעות באופן משמעותי על האיכות.

שיקולי חומרה

זרימת העבודה הזו פועלת הכי טוב על מעבדי גרפיקה עם לפחות 12GB VRAM. IPAdapter פלוס FaceID פלוס SDXL רעבים לזיכרון. ב-RTX 3060 12GB, צפו לכ-45-60 שניות לתמונה ב-1024x1024. ב-RTX 4090, זה יורד לכ-12-15 שניות. אם אתם נתקלים בבעיות VRAM, נסו להפעיל attention slicing בהגדרות של ComfyUI, אם כי זה יאט את ההפקה בכ-20%.

אסטרטגיות קבוצה חכמות

במקום לייצר תמונה אחת בכל פעם ולהעריך אותה, העמידו בתור קבוצות של 8-12 עם פרומפטים שונים מעט. הזמן לכל תמונה יורד כי טעינת המודל וקדם-העיבוד קורים פעם אחת לכל קבוצה במקום פעם אחת לכל תמונה. ב-4090 שלי, קבוצה של 10 תמונות לוקחת כ-100 שניות בסך הכל לעומת 150 שניות אם אני מייצר אותן בנפרד.

שמירה במטמון של צינור העקביות שלכם

ComfyUI שומר במטמון פלטי צמתים בין הרצות. אם רק הפרומפט שלכם משתנה בין הפקות (אותה תמונת התייחסות, אותן הגדרות IPAdapter/FaceID), צינור העקביות לא צריך לעבד מחדש. זה אומר שההפקה השנייה ואילך מהירה באופן ניכר. נצלו את זה על ידי העמדה בתור של כל ההפקות שלכם במפגש אחד במקום פרוסות על פני כמה.

פתרון בעיות נפוצות

אפילו עם הגדרות מושלמות, דברים משתבשים. הנה כיצד לאבחן ולתקן את הבעיות הנפוצות ביותר.

הדמות נראית שונה בצילומי גוף מלא

ההשפעה של IPAdapter נחלשת כשהפנים הן חלק קטן מהתמונה הכוללת. עבור צילומי גוף מלא, העלו את משקל IPAdapter ל-0.90-0.95 והוסיפו צומת שחזור פירוט פנים (כמו FaceDetailer מ-Impact Pack) כשלב אחרי עיבוד. גישת האגרוף הכפול הזו שומרת על עקביות הגוף דרך IPAdapter בעוד FaceDetailer מתקן כל סחף פנים.

צבעים מתחלפים בין הפקות

אם גוון העור או צבע השיער של הדמות שלכם סוחפים בין הפקות, זו בדרך כלל בעיית CFG scale. ערכי CFG גבוהים יותר מגבירים הבדלי צבע. נסו לרדת ל-5.0-5.5 לשחזור צבע יציב יותר על פני הפקות.

FaceID מייצר ארטיפקטים סביב קו הלסת

זה קורה כשהמשקל של FaceID גבוה מדי ביחס להפקה הכוללת. התיקון הוא בדרך כלל פשוט כמו הורדת משקל FaceID בקפיצות של 0.05 עד שהארטיפקטים נעלמים. אם זה לא פותר את זה, בדקו אם בתמונת ההתייחסות שלכם יש צללים או ארטיפקטים יוצאי דופן סביב קו הלסת ש-FaceID עשוי לנסות לשכפל.

הדמות נראית "מודבקת"

כשהדמות נראית כאילו היא הורכבה על הרקע במקום להתקיים באופן טבעי בסצנה, זה אומר שההשפעה של IPAdapter דומיננטית מדי. הפחיתו את משקל IPAdapter ל-0.75-0.80 והעלו את ה-denoise ל-0.6-0.65. זה נותן למודל יותר מקום לשלב את הדמות באופן טבעי בסביבת הסצנה.

לעוד על שמירה על עקביות פנים על פני סוגים שונים של תוכן שנוצר בבינה מלאכותית, מדריך טכניקות עקביות פנים למשפיענים בבינה מלאכותית מכסה אסטרטגיות נוספות שמשלימות את זרימת העבודה הזו.

ההגדרות ההתחלתיות המומלצות שלי

לאחר בדיקת מאות תצורות, הנה נקודת ההתחלה המדויקת שאני ממליץ עליה. כווננו מכאן בהתאם לנקודת הביקורת ולתמונת ההתייחסות הספציפיות שלכם.

פרמטר	ערך	הערות
משקל IPAdapter	0.85	הפחיתו ל-0.75-0.80 ליותר חופש יצירתי
מודל IPAdapter	plus-face SDXL	תמיד השתמשו בווריאנט הספציפי לפנים
משקל FaceID	0.65	טווח של 0.55-0.70 בהתאם לצרכי ההבעה
Denoise	0.50	0.40-0.45 לווריאציות קרובות, 0.65-0.75 לסצנות חדשות
CFG Scale	6.0	שמרו בין 5.0-7.0
Steps	32	מינימום 28, תשואות פוחתות מעל 40
Sampler	DPM++ 2M SDE Karras	האיזון הטוב ביותר של איכות ומהירות לזרימת העבודה הזו
רזולוציה	1024x1024	התאימו לרזולוציית תמונת ההתייחסות שלכם

אלה אינם מספרים שרירותיים. כל אחד מייצג את מרכז הטווח שנבדק שהפיק באופן עקבי את התוצאות הטובות ביותר על פני מספר נקודות ביקורת וסגנונות התייחסות. התחילו כאן, ותהיו לפני 90% מהמדריכים שאומרים לכם "להתנסות ולמצוא מה שעובד".

שאלות נפוצות

האם אני יכול להשתמש בזרימת העבודה הזו עם SD 1.5 במקום SDXL? כן, אבל תצטרכו את גרסאות ה-SD 1.5 של מודלי IPAdapter ו-FaceID. המשקלים שהמלצתי עליהם מותאמים ל-SDXL. עבור SD 1.5, התחילו עם משקל IPAdapter של 0.80 ומשקל FaceID של 0.60, מכיוון שהמודל הקטן יותר מגיב באגרסיביות רבה יותר לקלטי ההתניה האלה.

כמה תמונות התייחסות אני באמת צריך? תמונת התייחסות מצוינת אחת מספיקה לרוב מקרי השימוש. אם אתם עושים ווריאציות זווית קיצוניות (פרופילים, הסתכלות למעלה/למטה), החזקת 2-3 התייחסויות ספציפיות לזווית עוזרת. לעולם אל תשתמשו ביותר מ-4 התייחסויות, מכיוון שמיצוע יותר מדי פנים מדלל את התווים הייחודיים של הדמות שלכם.

האם זה יעבוד עם מודלים בסגנון אנימה? IPAdapter עובד היטב עם מודלי אנימה, אבל FaceID מתוכנן לפנים פוטוריאליסטיות. עבור דמויות אנימה, השתמשו ב-IPAdapter לבדו במשקל גבוה יותר (0.90-0.95) ודלגו על FaceID לחלוטין. העברת הסגנון מ-IPAdapter בדרך כלל מספיקה לעקביות אנימה מכיוון שתווי הפנים מסוגננים יותר ופשוטים יותר לשמירה.

האם אני יכול לשנות את תסרוקת הדמות שלי בין הפקות? כן, אבל עם מגבלות. IPAdapter ינסה לשמור על תסרוקת ההתייחסות. כדי לדרוס את זה, השתמשו בשפת פרומפט חזקה לתסרוקת החדשה ושקלו להפחית את משקל IPAdapter ל-0.70-0.75 עבור ההפקות הספציפיות האלה. פרומפטינג אזורי שממסך את אזור השיער עובד אפילו טוב יותר.

איך אני שומר ומשתף את זרימת העבודה שלי? ComfyUI תומך בייצוא זרימת עבודה כקבצי JSON. השתמשו בכפתור Save בתפריט או לחצו Ctrl+S. קובץ ה-JSON לוכד את כל חיבורי הצמתים וההגדרות אבל לא את קבצי המודל עצמם. בעת שיתוף, כללו הערה על אילו מודלים נדרשים.

מה ההבדל בין IPAdapter ל-IPAdapter Plus? וריאנטי ה"Plus" משתמשים במודל ראייה CLIP גדול יותר (ViT-H לעומת ViT-G) להבנת תמונה טובה יותר. לעבודת עקביות דמויות, תמיד השתמשו בווריאנט ה-Plus. הבדל האיכות משמעותי, במיוחד עבור תווי פנים ופרטים עדינים.

ההפקות שלי נראות רוויות מדי. איך אני מתקן את זה? רוויה יתרה בדרך כלל מגיעה מ-IPAdapter שמגביר מאפייני צבע מההתייחסות שלכם. נסו לעבד מראש את ההתייחסות שלכם כך שתהיה בעלת צבעים מעט פחות רוויים וניטרליים. לחלופין, הוסיפו צומת תיקון צבע אחרי ההפקה כדי לנרמל את הרוויה.

האם אני יכול לשלב את זה עם מודלי LoRA? בהחלט. מודלי LoRA לסגנון או לאסתטיקה ספציפית עובדים היטב לצד IPAdapter ו-FaceID. החילו את ה-LoRA על המודל שלכם לפני שרשרת ההתניה של IPAdapter. שמרו על עוצמת LoRA מתונה (0.6-0.8) כדי להימנע מהתנגשויות עם הנחיית הסגנון של IPAdapter.

איך זה משתווה לאימון LoRA מותאם אישית של הדמות שלי? LoRA מאומן מטמיע את הדמות שלכם ישירות במשקלי המודל, ומציע את העקביות החזקה ביותר. גישת IPAdapter/FaceID מהירה יותר להקמה (דקות לעומת שעות של אימון) וגמישה יותר (שינוי תמונות התייחסות מיידי). לפרויקטים רציניים לטווח ארוך, שקלו לאמן LoRA ולהשתמש ב-IPAdapter/FaceID כבדיקת עקביות משלימה.

האם זרימת העבודה הזו עובדת על שירותי GPU בענן? כן. שירותים כמו RunPod ו-Vast.ai יכולים להריץ ComfyUI עם זרימת העבודה הזו. ודאו שאתם בוחרים מופע עם לפחות 16GB VRAM להפקת SDXL נוחה עם כל צמתי העקביות פעילים. העלו את תמונות ההתייחסות וקבצי המודל שלכם למופע לפני שתתחילו.

לסיכום: מתיאוריה לפרקטיקה

זרימת העבודה שתיארתי כאן אינה תיאורטית. זה הצינור המדויק שאני מריץ לפרויקטי עקביות דמויות ב-Lewdly.ai, מעודן דרך אלפי הפקות בדיקה ושימוש הפקה אמיתי. השילוב של IPAdapter ב-0.85 ו-FaceID ב-0.65 עם ערכי denoise הגיוניים מפיק תוצאות שהיו נראות בלתי אפשריות לפני שמונה עשר חודשים בלבד.

אם אתם מגיעים מרקע של Stable Diffusion WebUI, צפו לעקומת למידה עם ממשק הצמתים של ComfyUI. שווה לדחוף דרך הבלבול הראשוני הזה. ברגע שזרימת העבודה מתחברת, תתהו איך הסתדרתם בלעדיה אי פעם. המשוב החזותי של ראיית נתונים זורמים דרך צמתים, היכולת להסתעף ולמזג מסלולי עיבוד, והשליטה הגרעינית על כל פרמטר נותנים לכם רמת כוח יצירתי ששום ממשק מפושט לא יכול להשתוות אליה.

התחילו עם תמונת התייחסות מצוינת אחת. בנו את זרימת העבודה הבסיסית עם IPAdapter ו-FaceID. ייצרו קבוצת בדיקה של 10 תמונות בהגדרות המומלצות שלי. אם התוצאות נראות טוב, התחילו להתנסות בווריאציות זווית ובניהול הבעות. אם משהו נראה לא בסדר, חזרו לסעיף פתרון הבעיות. לבעיות הנפוצות ביותר יש תיקונים פשוטים.

עקביות דמויות ביצירת בינה מלאכותית הייתה פעם אומנות אפלה שתורגלה על ידי קומץ מומחים עם צינורות אימון מותאמים אישית. כעת זו זרימת עבודה שאתם יכולים לבנות בשעת אחר צהריים ולהריץ באופן אמין במשך חודשים. זה הכוח של מערכת הצמתים של ComfyUI, ובכנות, זו אחת ההתפתחויות המרגשות ביותר בכלי אומנות הבינה המלאכותית שראיתי מאז שמודלי דיפוזיה נכנסו לזרם המרכזי לראשונה.