Xây dựng nhân vật bạn gái AI trong ComfyUI: Quy trình giữ nhất quán hình ảnh

Nếu bạn từng thử tạo một nhân vật bạn gái AI nhất quán qua nhiều bức ảnh, hẳn bạn đã hiểu nỗi khổ này. Bạn có được một bức chân dung tuyệt đẹp, rồi cố tái hiện đúng khuôn mặt đó ở một tư thế khác, và đột nhiên cô ấy có một chiếc mũi hoàn toàn khác, đường quai hàm khác, và không hiểu sao trông già đi mười lăm tuổi. Thật điên đầu. Tôi đã đốt hàng nghìn lần tạo ảnh để đuổi theo sự nhất quán trước khi cuối cùng chốt được một quy trình ComfyUI thực sự hiệu quả.

Vũ khí bí mật ở đây là kết hợp IPAdapter với FaceID bên trong ComfyUI. Không phải cái này hay cái kia. Cả hai. Cùng nhau. Và các giá trị trọng số cụ thể quan trọng hơn nhiều so với những gì hầu hết các bài hướng dẫn tiết lộ. Tôi sẽ dẫn bạn đi qua đúng quy trình tôi dùng, từng node một, với các cấu hình tôi đã thử nghiệm kỹ lưỡng trong suốt năm vừa qua.

Trả lời nhanh: Xây dựng một nhân vật bạn gái AI nhất quán trong ComfyUI cần một cách tiếp cận khóa kép. IPAdapter (trọng số 0.85) xử lý phong cách tổng thể, tỷ lệ cơ thể và sự nhất quán của trang phục, trong khi FaceID (trọng số 0.6-0.7) khóa chặt riêng các đặc điểm khuôn mặt. Kết hợp với khoảng denoise 0.4-0.6, quy trình này có thể tạo ra hàng chục bức ảnh trong đó nhân vật của bạn vẫn được nhận ra là cùng một người qua các tư thế, trang phục và bối cảnh.

Tại sao ComfyUI vượt trội mọi công cụ khác trong việc giữ nhất quán nhân vật?

Tôi sẽ nói một điều có thể làm vài người khó chịu. Nếu bạn vẫn dùng WebUI của A1111 cho công việc giữ nhất quán nhân vật, bạn đang làm việc vất vả hơn để có kết quả tệ hơn. Đấy, tôi nói rồi đấy. Kiến trúc dựa trên node của ComfyUI không chỉ là một giao diện khác. Nó là một cách tiếp cận vượt trội về cơ bản cho tác vụ cụ thể này.

Lý do đây. Trong một giao diện truyền thống, bạn có một ô văn bản cho prompt, vài thanh trượt, rồi bạn bấm tạo ảnh. Nếu bạn muốn IPAdapter cộng FaceID cộng ControlNet cộng prompt theo vùng, bạn phải chồng các tiện ích mở rộng lên nhau và cầu mong chúng không xung đột. Trong ComfyUI, mỗi thứ trong số này là một node riêng biệt với các kết nối hiển thị rõ ràng. Bạn có thể thấy chính xác dữ liệu chảy như thế nào từ ảnh tham chiếu qua IPAdapter, FaceID xử lý các đặc điểm khuôn mặt riêng rẽ ra sao, và mọi thứ hợp nhất thế nào trước khi đến sampler.

Tôi chuyển sang ComfyUI khoảng mười bốn tháng trước chính vì loại công việc này, và tỷ lệ đạt sự nhất quán của tôi tăng từ khoảng 40% lên hơn 85%. Đó không phải là cải thiện nhỏ nhặt. Đó là sự khác biệt giữa việc dành một buổi tối tạo nội dung dùng được so với dành cả một cuối tuần.

Hệ thống node cũng có nghĩa là bạn có thể đưa logic điều kiện vào quy trình của mình. Muốn tự động điều chỉnh độ mạnh của FaceID dựa trên việc tư thế mục tiêu khác bao nhiêu so với ảnh tham chiếu? Bạn làm được. Muốn định tuyến một số lần tạo ảnh qua một bước tinh chỉnh bổ sung trong khi bỏ qua nó với các bố cục đơn giản hơn? Cũng làm được. Thử làm điều đó trong một giao diện tiêu chuẩn xem.

Nếu bạn đến từ thế giới Stable Diffusion WebUI, tôi đã viết một hướng dẫn hoàn chỉnh về việc tạo nhân vật bạn gái AI với Stable Diffusion bao quát các kiến thức nền tảng. Hãy xem hướng dẫn ComfyUI này là phần tiếp nối nâng cao và mạnh mẽ hơn của cách tiếp cận đó.

Thiết lập nền móng: Các node và mô hình cần thiết

Trước khi xây dựng quy trình, bạn cần cài đúng công cụ. Thiếu một gói node duy nhất sẽ làm hỏng toàn bộ pipeline, và thông báo lỗi của ComfyUI không phải lúc nào cũng hữu ích trong việc cho bạn biết thiếu cái gì.

Các gói custom node thiết yếu

Bạn sẽ cần cài những thứ này thông qua ComfyUI Manager hoặc thủ công qua git clone:

• ComfyUI_IPAdapter_plus - Đây là xương sống của sự nhất quán về phong cách. Phiên bản "plus" bao gồm các node nạp hợp nhất giúp đơn giản hóa việc quản lý mô hình đáng kể.
• ComfyUI-FaceID - Xử lý việc trích xuất và áp dụng đặc điểm khuôn mặt. Một số phiên bản giờ đã được đóng gói cùng IPAdapter Plus, nhưng hãy xác minh phiên bản của bạn có các node dành riêng cho FaceID.
• comfyui_controlnet_aux - Các node tiền xử lý để phát hiện tư thế, thứ bạn sẽ cần khi tạo nhân vật ở các vị trí khác nhau.
• ComfyUI-Impact-Pack - Không bắt buộc tuyệt đối, nhưng các công cụ phát hiện và phân đoạn khuôn mặt cực kỳ hữu ích cho việc kiểm soát chất lượng.

Các mô hình bạn cần tải về

Tình hình mô hình của IPAdapter có thể gây bối rối vì có nhiều phiên bản trôi nổi. Đây chính xác là những gì cần lấy:

1. ip-adapter-plus-face_sdxl_vit-h.safetensors - Đây là mô hình IPAdapter được tối ưu cho khuôn mặt dành cho SDXL. Đừng dùng cái thông dụng cho công việc về nhân vật.
2. ip-adapter-faceid-plusv2_sdxl.bin - Mô hình FaceID v2. Bản cập nhật v2 tạo ra khác biệt rõ rệt trong việc xử lý các khuôn mặt nghiêng.
3. buffalo_l - Mô hình phân tích của InsightFace. FaceID dùng cái này để trích xuất các điểm mốc trên khuôn mặt. Thả nó vào models/insightface/models/buffalo_l/.
4. Checkpoint SDXL ưa thích của bạn - Tôi dùng kết hợp RealVisXL và JuggernautXL tùy theo phong cách thẩm mỹ tôi nhắm tới.

Một điều làm tôi vướng mắc trong nhiều tuần khi mới bắt đầu là cấu trúc thư mục mô hình InsightFace rất quan trọng. Không chỉ là việc có các tệp. Chúng cần nằm trong models/insightface/models/buffalo_l/ với đúng cấu trúc thư mục con. Tôi đã tốn một lượng thời gian đáng xấu hổ để gỡ lỗi "model not found" mà hóa ra chỉ là vấn đề lồng thư mục.

Quy trình hoàn chỉnh cho thấy các node IPAdapter và FaceID được kết nối với KSampler

Làm thế nào để tạo ảnh tham chiếu hoàn hảo?

Đây là chỗ hầu hết mọi người làm sai, và là bước quan trọng nhất. Ảnh tham chiếu của bạn chính là ADN của nhân vật. Mọi lần tạo ảnh sẽ kế thừa các phẩm chất của nó, cả tốt lẫn xấu. Đưa vào một ảnh tham chiếu tầm thường, và không lượng chỉnh trọng số nào cứu được bạn.

Điều gì làm nên một ảnh tham chiếu tốt

Tôi đã thử nghiệm điều này kỹ lưỡng, tạo cùng một nhân vật từ hàng trăm ảnh tham chiếu khác nhau, và quy luật rất rõ ràng. Ảnh tham chiếu lý tưởng có những phẩm chất sau:

• Bố cục sạch sẽ, hướng thẳng về phía trước với khuôn mặt chiếm ít nhất 30-40% khung hình
• Biểu cảm trung tính hoặc cười nhẹ vì biểu cảm cực đoan khiến FaceID bị cố định vào biểu cảm thay vì cấu trúc khuôn mặt nền tảng
• Ánh sáng đều, mềm không có bóng đổ gắt có thể bị hiểu nhầm thành đặc điểm khuôn mặt
• Nền đơn giản để mô hình không cố tái tạo các yếu tố nền trong mỗi lần tạo ảnh
• Độ phân giải cao ít nhất 1024x1024, dù 1536x1536 hoặc cao hơn sẽ tốt hơn cho quy trình SDXL

Đây là một quan điểm gây tranh cãi sẽ mâu thuẫn với những gì bạn đã đọc ở nơi khác. Bạn không cần nhiều ảnh tham chiếu. Thực ra, dùng một ảnh tham chiếu xuất sắc duy nhất cho kết quả nhất quán hơn so với dùng ba hay bốn ảnh tạm được. Khi bạn đưa nhiều ảnh tham chiếu vào IPAdapter, nó cố tính trung bình chúng, và quá trình lấy trung bình đó có thể làm mềm đi những nét đặc trưng khiến nhân vật của bạn trở nên độc đáo. Một ảnh tham chiếu sắc nét, đủ sáng, bố cục tốt luôn thắng cả một bộ sưu tập ảnh tàm tạm.

Tôi thường tạo ảnh tham chiếu ban đầu bằng một prompt rất chi tiết mà không hề dùng IPAdapter hay FaceID. Chỉ thuần túy kỹ thuật viết prompt để có một khuôn mặt tôi thích. Sau đó tôi chạy nó qua img2img ở denoise thấp (0.2-0.3) vài lần để tinh chỉnh. Bức ảnh đã tinh chỉnh đó trở thành ảnh tham chiếu cố định của tôi. Tôi đã có những ảnh tham chiếu đơn lẻ phục vụ tôi qua hơn 500 lần tạo ảnh nhất quán.

Với những ai muốn khám phá lý thuyết đằng sau việc giữ nhân vật AI nhất quán qua nhiều bức ảnh, hướng dẫn về trình tạo nhân vật AI nhất quán đi sâu hơn vào các nguyên lý cốt lõi.

Chuẩn bị ảnh tham chiếu để có kết quả tối ưu

Đừng chỉ kéo ảnh tham chiếu thô vào quy trình. Một chút tiền xử lý mang lại nhiều lợi ích:

1. Cắt thành định dạng vuông khớp với độ phân giải tạo ảnh mục tiêu của bạn
2. Xóa mọi văn bản hoặc watermark vì chúng có thể rò qua thông qua IPAdapter
3. Điều chỉnh độ sáng/tương phản sao cho trung tính, không cách điệu
4. Đảm bảo khuôn mặt hiển thị rõ không bị cản trở như tóc che các đặc điểm chính

Xây dựng quy trình: Từng node một

Được rồi, hãy thực sự dựng thứ này lên. Tôi sẽ đi qua từng phần của quy trình theo thứ tự dữ liệu chảy qua nó. Nếu bạn làm theo trong ComfyUI, bạn có thể dựng từng bước một.

Pipeline ảnh tham chiếu

Bắt đầu với một node Load Image chứa ảnh tham chiếu của bạn. Node này dẫn vào hai nhánh song song:

Nhánh 1: Xử lý IPAdapter Kết nối ảnh tham chiếu của bạn với node IPAdapter Unified Loader. Đặt các tham số sau:

• Model: ip-adapter-plus-face (biến thể chuyên về khuôn mặt)
• Weight: 0.85
• Weight Type: Linear
• Start at: 0.0
• End at: 1.0

Trọng số 0.85 đó cực kỳ quan trọng. Tôi đã thử nghiệm các giá trị từ 0.5 đến 1.0 theo bước tăng 0.05, và 0.85 luôn tạo ra sự cân bằng tốt nhất giữa sự nhất quán và tự do sáng tạo. Cao hơn thì các ảnh tạo ra bắt đầu trông như bản sao chỉnh sửa nhẹ của ảnh tham chiếu. Thấp hơn thì sự nhất quán rơi tự do quanh mốc 0.75.

Nhánh 2: Xử lý FaceID Từ chính ảnh tham chiếu đó, kết nối tới node IPAdapter FaceID. Cấu hình:

• Weight: 0.65 (bắt đầu từ đây, điều chỉnh trong khoảng 0.6-0.7)
• Weight v2: true (nếu có trong phiên bản node của bạn)
• Combine method: Average

Trọng số FaceID nhạy cảm hơn trọng số IPAdapter. Ở 0.7, bạn có được sự nhất quán khuôn mặt mạnh nhưng đôi khi biểu cảm cứng đờ và giống nhau qua các lần tạo. Ở 0.6, biểu cảm tự nhiên hơn nhưng bạn có thể thấy khuôn mặt trôi nhẹ ở các tư thế cực đoan. Tôi thường dừng ở 0.65 làm mặc định và chỉ điều chỉnh khi nhận thấy vấn đề.

Cấu hình prompt và lấy mẫu

Cấu hình KSampler của bạn quan trọng hơn thường lệ khi làm việc với các node giữ nhất quán. Đây là những gì tôi dùng:

• Steps: 30-35 (nhiều bước hơn giúp mô hình dung hòa hướng dẫn của IPAdapter/FaceID với nội dung prompt)
• CFG Scale: 5.5-7.0 (thấp hơn thông thường vì IPAdapter đã cung cấp hướng dẫn mạnh)
• Sampler: DPM++ 2M SDE Karras
• Denoise: 0.45-0.55 cho biến thể của cảnh có sẵn, 0.7-0.8 cho bố cục hoàn toàn mới

Giá trị denoise xứng đáng được chú ý đặc biệt. Nó kiểm soát mức độ tự do của mô hình trong việc đi chệch khỏi điểm khởi đầu latent. Với công việc giữ nhất quán nhân vật, bạn đang đi trên dây. Quá thấp thì mọi ảnh trông gần như y hệt nhau. Quá cao thì các node giữ nhất quán không duy trì được sự khóa chặt vào diện mạo của nhân vật.

Tôi thường tạo ảnh theo lô ở ba mức denoise: 0.45, 0.55 và 0.65. Sau đó tôi chọn kết quả tốt nhất từ mỗi lô. Nó thêm vài phút vào quy trình nhưng cải thiện đáng kể chất lượng của các lựa chọn cuối cùng.

Viết prompt cho nhân vật nhất quán

Prompt văn bản của bạn vẫn quan trọng, ngay cả khi IPAdapter và FaceID đang gánh phần nặng. Nhưng bạn cần suy nghĩ về việc viết prompt theo cách khác trong bối cảnh này.

Những gì nên đưa vào prompt:

• Mô tả cảnh (địa điểm, thời điểm trong ngày, hoạt động)
• Trang phục và phụ kiện riêng cho lần tạo ảnh này
• Góc máy và khung hình (cận cảnh, toàn thân, ba phần tư)
• Tâm trạng của ánh sáng
• Thẻ chất lượng như "masterpiece, best quality, highly detailed"

Những gì nên bỏ ra khỏi prompt:

• Mô tả đặc điểm khuôn mặt cụ thể (FaceID lo việc này)
• Tông da (IPAdapter chuyển cái này từ ảnh tham chiếu của bạn)
• Màu tóc và kiểu tóc (trừ khi bạn cố ý muốn nó khác)
• Mô tả vóc dáng (IPAdapter lo phần tỷ lệ)

Đây là một quan điểm gây tranh cãi khác. Tôi thấy người ta viết những prompt 200 từ cố mô tả khuôn mặt nhân vật trong khi đang bật FaceID. Bạn đang đánh nhau với chính công cụ giữ nhất quán của mình. Hãy để FaceID lo khuôn mặt. Dùng các token prompt cho mọi thứ khác. Tôi đã có vài kết quả tốt nhất với những prompt đơn giản như "woman sitting in a coffee shop, afternoon light, casual outfit, looking at camera, masterpiece quality."

Cùng một nhân vật được duy trì qua bốn cảnh khác nhau bằng quy trình IPAdapter + FaceID

Những lỗi phổ biến nào giết chết sự nhất quán?

Sau khi giúp hàng chục nhà sáng tạo trên Discord và qua Lewdly.ai thiết lập quy trình giữ nhất quán, tôi đã thấy cùng những lỗi đó lặp đi lặp lại. Để tôi giúp bạn tránh bớt sự bực bội.

Lỗi 1: Đánh nhau với chính công cụ giữ nhất quán của mình

Đây là lỗi lớn nhất, và tôi đã nhắc đến nó rồi. Nếu prompt của bạn ghi "blue eyes, small nose, round face" còn ảnh tham chiếu của bạn cho thấy một nhân vật có mắt xanh lá, mũi nổi bật và khuôn mặt góc cạnh, thì mô hình phải chọn. Đôi khi nó chọn prompt. Đôi khi nó chọn ảnh tham chiếu. Đôi khi nó dung hòa một cách vụng về. Kết quả là sự bất nhất sinh ra từ các chỉ dẫn xung đột.

Cách sửa rất đơn giản. Hãy tin vào ảnh tham chiếu và FaceID của bạn. Nếu bạn muốn nhân vật có mắt xanh dương, hãy đảm bảo ảnh tham chiếu có mắt xanh dương. Đừng cố ghi đè nó trong prompt.

Lỗi 2: Dùng ảnh tham chiếu quá cách điệu

Có lần tôi dành nguyên một ngày thứ Bảy để gỡ lỗi vấn đề bất nhất mà hóa ra do ảnh tham chiếu của tôi có kiểu cel shading anime kịch tính. IPAdapter cố tái tạo phong cách ánh sáng cụ thể đó trong mỗi lần tạo ảnh, điều này xung đột với các mô tả cảnh tả thực của tôi. Khi tôi đổi sang một ảnh tham chiếu có ánh sáng trung tính, mọi thứ đâu vào đó.

Ảnh tham chiếu của bạn nên đủ trung tính về mặt hình ảnh để không áp đặt một tâm trạng hay phong cách cụ thể lên mọi lần tạo ảnh. Hãy để dành ánh sáng kịch tính cho prompt của bạn.

Lỗi 3: Bỏ qua việc khớp độ phân giải

Nếu ảnh tham chiếu của bạn là 512x512 và bạn tạo ảnh ở 1024x1024, mô hình IPAdapter phải phóng to sự hiểu biết của nó về nhân vật. Điều này đưa vào nhiễu và sự bất nhất. Hãy khớp độ phân giải ảnh tham chiếu với độ phân giải tạo ảnh, hoặc ít nhất giữ trong cùng một khoảng.

Lỗi 4: Bỏ qua bước cắt khuôn mặt

Riêng với FaceID, đưa cho nó một ảnh toàn thân mà khuôn mặt nhỏ xíu trong khung hình thì nó có rất ít thứ để làm việc. Nhiều quy trình bao gồm một node tự động cắt khuôn mặt để trích xuất vùng mặt trước khi gửi tới FaceID. Nếu quy trình của bạn không có, hãy thêm vào. Sự khác biệt về độ nhất quán khuôn mặt thấy rõ ngay lập tức.

Lỗi 5: Không bao giờ thử nghiệm cấu hình của mình

Tôi có thể cho bạn các trọng số khuyến nghị, nhưng checkpoint mô hình, ảnh tham chiếu và chủ thể cụ thể của bạn sẽ ảnh hưởng đến các giá trị tối ưu. Hãy dành ba mươi phút tạo các lô thử nghiệm ở các trọng số IPAdapter và FaceID khác nhau. Tạo một bảng lưới đơn giản so sánh kết quả. Khoản đầu tư nhỏ này mang lại lợi ích to lớn một khi bạn bắt đầu làm các lô sản xuất.

Kỹ thuật nâng cao để đạt độ nhất quán tối đa

Một khi bạn đã có quy trình cơ bản chạy ổn định, có vài kỹ thuật đẩy sự nhất quán đi xa hơn nữa. Đây là những thứ phân biệt người dùng nghiệp dư với những nhà sáng tạo có thể dựng nguyên cả một câu chuyện hình ảnh với một nhân vật duy nhất.

Dùng ControlNet để hướng dẫn tư thế

Thêm ControlNet (cụ thể là OpenPose) vào quy trình cho phép bạn chỉ định chính xác tư thế trong khi IPAdapter và FaceID duy trì diện mạo của nhân vật. Cấu hình then chốt ở đây là độ mạnh ControlNet, giữ ở mức 0.7-0.8. Cao hơn nữa thì hướng dẫn tư thế có thể can thiệp vào việc FaceID áp dụng đặc điểm khuôn mặt.

Tôi thường tạo một lô bộ xương OpenPose từ ảnh tham chiếu thật, rồi dùng chúng để điều khiển các tư thế đa dạng cho nhân vật của mình. Cách này cho ra các tư thế tự nhiên, giống người thật thay vì những thế đứng cứng nhắc, gượng gạo mà bạn nhận được khi chỉ thay đổi tư thế thuần túy bằng prompt.

Prompt theo vùng để thay đổi trang phục

Muốn nhân vật của bạn mặc các bộ đồ khác nhau qua các lần tạo ảnh? Các node prompt theo vùng cho phép bạn áp dụng các prompt văn bản khác nhau cho các khu vực khác nhau của ảnh. Bạn có thể che (mask) các vùng trang phục và áp dụng prompt riêng cho trang phục ở đó trong khi để khuôn mặt và dáng người hoàn toàn do IPAdapter và FaceID kiểm soát.

Thành thật mà nói đây là một trong những kỹ thuật mạnh nhất trong toàn bộ bộ công cụ giữ nhất quán, và đó là thứ tôi dùng liên tục trên Lewdly.ai khi tạo các biến thể nhân vật. Nhân vật vẫn nhất quán đến từng điểm ảnh trong khi mặc đồ hoàn toàn khác trong bối cảnh hoàn toàn khác.

Mẹo về bước tinh chỉnh

Đây là một kỹ thuật tôi chưa thấy được bàn đến nhiều ở nơi khác. Sau lần tạo ảnh ban đầu, hãy định tuyến kết quả qua một bước KSampler thứ hai với denoise rất thấp (0.15-0.25) và cùng các đầu vào IPAdapter/FaceID. "Bước tinh chỉnh" này sửa nhẹ bất kỳ sự trôi khuôn mặt nào len lỏi vào trong lần tạo đầu tiên mà không thay đổi đáng kể bố cục.

Hãy hình dung nó như việc soát lỗi bản thảo. Lần đầu viết bài luận. Lần hai bắt các lỗi đánh máy. Tôi thấy kỹ thuật này cứu vớt khoảng một nửa số ảnh mà lẽ ra đã có những điểm bất nhất nhỏ. Tỷ lệ cứu vớt đó cộng dồn lại rất đáng kể qua các lô lớn.

Xử lý theo lô để mở rộng quy mô

Nếu bạn đang xây một thư viện nội dung cho nhân vật, bạn sẽ muốn tạo ảnh ở quy mô lớn. ComfyUI hỗ trợ xử lý theo lô một cách bản địa, và bạn có thể thiết lập việc tạo ảnh dựa trên hàng đợi để chạy qua hàng chục prompt với các cấu hình nhất quán được khóa cố định. Tôi đã trình bày kỹ điều này trong hướng dẫn xử lý theo lô của ComfyUI, và cách tiếp cận theo lô kết hợp hoàn hảo với quy trình giữ nhất quán này.

Một lần chạy lô điển hình của tôi gồm 30-50 prompt, mỗi cái mô tả một cảnh hoặc tình huống khác nhau, tất cả đều đi qua cùng các node IPAdapter và FaceID với ảnh tham chiếu của tôi. Trong 50 lần tạo ảnh, tôi thường giữ lại 40-45. Đó là tốc độ sản xuất mà hầu hết các quy trình thủ công không thể chạm tới.

Làm thế nào để xử lý các góc và biểu cảm khác nhau?

Đây là câu hỏi tôi được hỏi nhiều hơn bất kỳ câu nào khác, và thành thật mà nói, đó là chỗ phép màu của quy trình này thực sự lộ ra. Khiến một nhân vật trông nhất quán trong một bức chân dung hướng thẳng thì tương đối dễ. Duy trì sự nhất quán đó khi cô ấy nhìn qua vai, đang cười, hoặc được chụp từ góc thấp? Đó là chỗ hầu hết các quy trình sụp đổ.

Vấn đề về góc chụp

FaceID trích xuất các điểm mốc khuôn mặt từ ảnh tham chiếu của bạn, và những điểm mốc đó vốn gắn liền với góc chụp của ảnh tham chiếu. Khi bạn tạo một góc chụp khác hẳn, FaceID phải ngoại suy xem những điểm mốc đó sẽ trông như thế nào từ góc nhìn mới. Đôi khi nó làm hoàn hảo. Đôi khi không.

Cách khắc phục đơn giản đến bất ngờ. Hãy tạo 2-3 ảnh tham chiếu của nhân vật ở các góc khác nhau (chính diện, ba phần tư, nghiêng) và đổi qua lại giữa chúng dựa trên bố cục mục tiêu của bạn. Khi tạo ảnh nghiêng, dùng ảnh tham chiếu nghiêng của bạn. Khi tạo ảnh chính diện, dùng ảnh tham chiếu chính diện. Cách này cho FaceID dữ liệu nguồn tốt hơn nhiều cho từng góc cụ thể.

Đúng vậy, điều này hơi mâu thuẫn với lời khuyên trước đó của tôi về việc dùng một ảnh tham chiếu duy nhất. Điểm tinh tế là với công việc cơ bản, một ảnh tham chiếu là đủ. Để có kết quả chất lượng chuyên nghiệp qua các biến thể góc cực đoan, việc có các ảnh tham chiếu riêng theo góc loại bỏ điểm yếu lớn nhất của FaceID.

Quản lý biểu cảm

FaceID ở trọng số cao hơn (0.7+) có xu hướng khóa cố định biểu cảm từ ảnh tham chiếu của bạn. Nếu ảnh tham chiếu của bạn cho thấy một khuôn mặt trung tính, nhân vật của bạn có thể trông lạnh lùng trong mọi lần tạo ảnh. Giải pháp là giảm trọng số FaceID một chút cho những lần tạo mà bạn muốn khuôn mặt biểu cảm (0.55-0.60) và dựa nhiều hơn vào prompt để mô tả biểu cảm mong muốn.

Các từ ngữ trong prompt như "laughing candidly," "surprised expression," hoặc "gentle smile" hoạt động tốt ở các trọng số FaceID thấp hơn này. Mô hình có đủ tự do để điều chỉnh biểu cảm trong khi FaceID vẫn duy trì cấu trúc khuôn mặt nền tảng.

Gần đây tôi dành một cuối tuần thử nghiệm điều này cho một dự án trên Lewdly.ai và phát hiện rằng việc xen kẽ giữa các trọng số FaceID 0.55 và 0.65 tùy theo cảnh đòi hỏi cảm xúc hay sự trung tính đã tạo ra loạt nhân vật trông tự nhiên nhất mà tôi từng tạo.

So sánh trọng số FaceID: 0.55 (trái) cho phép nhiều biểu cảm đa dạng hơn, 0.70 (phải) khóa các đặc điểm chặt hơn

Tối ưu cho tốc độ mà không hy sinh chất lượng

Không ai muốn chờ mười phút mỗi lần tạo ảnh khi đang cố xây dựng một thư viện ảnh nhân vật. Đây là những tối ưu tốc độ tôi dùng mà không ảnh hưởng đáng kể đến chất lượng.

Cân nhắc về phần cứng

Quy trình này chạy tốt nhất trên GPU có ít nhất 12GB VRAM. IPAdapter cộng FaceID cộng SDXL ngốn bộ nhớ. Trên RTX 3060 12GB, hãy mong đợi khoảng 45-60 giây mỗi ảnh ở 1024x1024. Trên RTX 4090, con số đó giảm xuống còn khoảng 12-15 giây. Nếu bạn gặp vấn đề VRAM, hãy thử bật attention slicing trong cài đặt của ComfyUI, dù điều này sẽ làm chậm việc tạo ảnh khoảng 20%.

Chiến lược lô thông minh

Thay vì tạo từng ảnh một rồi đánh giá nó, hãy xếp hàng các lô 8-12 ảnh với prompt thay đổi nhẹ. Thời gian mỗi ảnh giảm đi vì việc nạp mô hình và tiền xử lý diễn ra một lần mỗi lô thay vì một lần mỗi ảnh. Trên chiếc 4090 của tôi, một lô 10 ảnh mất khoảng 100 giây tổng cộng so với 150 giây nếu tôi tạo chúng riêng lẻ.

Lưu đệm pipeline giữ nhất quán của bạn

ComfyUI lưu đệm kết quả node giữa các lần chạy. Nếu chỉ có prompt thay đổi giữa các lần tạo (cùng ảnh tham chiếu, cùng cấu hình IPAdapter/FaceID), pipeline giữ nhất quán không cần xử lý lại. Điều này có nghĩa là từ lần tạo thứ hai trở đi sẽ nhanh hơn rõ rệt. Hãy tận dụng điều này bằng cách xếp hàng tất cả các lần tạo trong một phiên thay vì trải ra qua nhiều phiên.

Khắc phục các sự cố thường gặp

Ngay cả với cấu hình hoàn hảo, mọi thứ vẫn có thể hỏng. Đây là cách chẩn đoán và sửa các vấn đề phổ biến nhất.

Nhân vật trông khác trong ảnh toàn thân

Ảnh hưởng của IPAdapter yếu đi khi khuôn mặt chỉ chiếm một phần nhỏ trong toàn bộ ảnh. Với ảnh toàn thân, hãy nâng trọng số IPAdapter lên 0.90-0.95 và thêm một node phục hồi chi tiết khuôn mặt (như FaceDetailer từ Impact Pack) như một bước hậu xử lý. Cách tiếp cận hai mũi nhọn này duy trì sự nhất quán cơ thể qua IPAdapter trong khi FaceDetailer sửa bất kỳ sự trôi khuôn mặt nào.

Màu sắc dịch chuyển giữa các lần tạo

Nếu tông da hay màu tóc của nhân vật trôi giữa các lần tạo, thường đó là vấn đề về CFG scale. Giá trị CFG cao hơn khuếch đại sự khác biệt màu sắc. Hãy thử hạ xuống 5.0-5.5 để tái tạo màu ổn định hơn qua các lần tạo.

FaceID tạo ra hiện vật quanh đường quai hàm

Điều này xảy ra khi trọng số của FaceID quá cao so với toàn bộ lần tạo ảnh. Cách sửa thường đơn giản như hạ trọng số FaceID theo bước 0.05 cho đến khi các hiện vật biến mất. Nếu cách đó không giải quyết được, hãy kiểm tra xem ảnh tham chiếu của bạn có bóng đổ hay hiện vật bất thường nào quanh đường quai hàm mà FaceID có thể đang cố tái tạo không.

Nhân vật trông như bị "dán lên"

Khi nhân vật trông như bị ghép lên nền thay vì tồn tại tự nhiên trong cảnh, điều đó có nghĩa là ảnh hưởng của IPAdapter quá lấn át. Hãy giảm trọng số IPAdapter xuống 0.75-0.80 và tăng denoise lên 0.6-0.65. Điều này cho mô hình nhiều chỗ hơn để hòa nhập nhân vật một cách tự nhiên vào môi trường cảnh.

Để biết thêm về việc duy trì sự nhất quán khuôn mặt qua các loại nội dung do AI tạo khác nhau, hướng dẫn về kỹ thuật giữ nhất quán khuôn mặt cho người ảnh hưởng AI bao quát các chiến lược bổ sung bổ trợ cho quy trình này.

Cấu hình khởi đầu tôi khuyến nghị

Sau khi thử nghiệm hàng trăm cấu hình, đây là điểm khởi đầu chính xác tôi khuyên dùng. Hãy điều chỉnh từ đây dựa trên checkpoint và ảnh tham chiếu cụ thể của bạn.

Tham số	Giá trị	Ghi chú
Trọng số IPAdapter	0.85	Giảm xuống 0.75-0.80 để có nhiều tự do sáng tạo hơn
Mô hình IPAdapter	plus-face SDXL	Luôn dùng biến thể chuyên về khuôn mặt
Trọng số FaceID	0.65	Khoảng 0.55-0.70 tùy nhu cầu biểu cảm
Denoise	0.50	0.40-0.45 cho biến thể gần, 0.65-0.75 cho cảnh mới
CFG Scale	6.0	Giữ trong khoảng 5.0-7.0
Steps	32	Tối thiểu 28, lợi ích giảm dần trên 40
Sampler	DPM++ 2M SDE Karras	Cân bằng tốt nhất giữa chất lượng và tốc độ cho quy trình này
Độ phân giải	1024x1024	Khớp với độ phân giải ảnh tham chiếu của bạn

Đây không phải là những con số tùy tiện. Mỗi con số đại diện cho tâm điểm của một khoảng đã được thử nghiệm liên tục cho kết quả tốt nhất qua nhiều checkpoint và phong cách tham chiếu. Hãy bắt đầu từ đây, và bạn sẽ vượt trước 90% các bài hướng dẫn bảo bạn "thử nghiệm và tìm ra cái phù hợp."

Câu hỏi thường gặp

Tôi có thể dùng quy trình này với SD 1.5 thay vì SDXL không? Có, nhưng bạn sẽ cần các phiên bản SD 1.5 của mô hình IPAdapter và FaceID. Các trọng số tôi khuyến nghị được tối ưu cho SDXL. Với SD 1.5, hãy bắt đầu với trọng số IPAdapter 0.80 và trọng số FaceID 0.60, vì mô hình nhỏ hơn phản ứng mạnh hơn với các đầu vào điều kiện này.

Tôi thực sự cần bao nhiêu ảnh tham chiếu? Một ảnh tham chiếu xuất sắc là đủ cho hầu hết các trường hợp sử dụng. Nếu bạn làm các biến thể góc cực đoan (nghiêng, nhìn lên/xuống), có 2-3 ảnh tham chiếu riêng theo góc sẽ giúp ích. Đừng bao giờ dùng quá 4 ảnh tham chiếu, vì lấy trung bình quá nhiều khuôn mặt sẽ làm loãng các nét đặc trưng của nhân vật.

Cái này có hoạt động với các mô hình kiểu anime không? IPAdapter hoạt động tốt với các mô hình anime, nhưng FaceID được thiết kế cho khuôn mặt tả thực. Với nhân vật anime, hãy dùng IPAdapter một mình ở trọng số cao hơn (0.90-0.95) và bỏ hẳn FaceID. Việc chuyển phong cách từ IPAdapter thường đủ cho sự nhất quán anime vì các đặc điểm khuôn mặt được cách điệu nhiều hơn và đơn giản hơn để duy trì.

Tôi có thể thay đổi kiểu tóc của nhân vật giữa các lần tạo không? Có, nhưng với hạn chế. IPAdapter sẽ cố duy trì kiểu tóc tham chiếu. Để ghi đè điều này, hãy dùng ngôn ngữ prompt mạnh cho kiểu tóc mới và cân nhắc giảm trọng số IPAdapter xuống 0.70-0.75 cho những lần tạo cụ thể đó. Prompt theo vùng che vùng tóc còn hoạt động tốt hơn nữa.

Làm thế nào để tôi lưu và chia sẻ quy trình của mình? ComfyUI hỗ trợ xuất quy trình dưới dạng tệp JSON. Dùng nút Save trong menu hoặc nhấn Ctrl+S. Tệp JSON ghi lại tất cả các kết nối node và cấu hình nhưng không có chính các tệp mô hình. Khi chia sẻ, hãy kèm một ghi chú về những mô hình nào là cần thiết.

Sự khác biệt giữa IPAdapter và IPAdapter Plus là gì? Các biến thể "Plus" dùng một mô hình thị giác CLIP lớn hơn (ViT-H so với ViT-G) để hiểu ảnh tốt hơn. Với công việc giữ nhất quán nhân vật, hãy luôn dùng biến thể Plus. Sự khác biệt về chất lượng là đáng kể, đặc biệt với các đặc điểm khuôn mặt và chi tiết tinh tế.

Các ảnh tôi tạo bị quá bão hòa. Làm sao để sửa? Quá bão hòa thường đến từ việc IPAdapter khuếch đại các đặc tính màu sắc từ ảnh tham chiếu của bạn. Hãy thử tiền xử lý ảnh tham chiếu để có màu sắc hơi giảm bão hòa, trung tính. Hoặc, thêm một node hiệu chỉnh màu sau khi tạo ảnh để chuẩn hóa độ bão hòa.

Tôi có thể kết hợp cái này với các mô hình LoRA không? Hoàn toàn được. Các mô hình LoRA cho phong cách hoặc thẩm mỹ cụ thể hoạt động tốt cùng với IPAdapter và FaceID. Hãy áp dụng LoRA vào mô hình của bạn trước chuỗi điều kiện IPAdapter. Giữ độ mạnh LoRA ở mức vừa phải (0.6-0.8) để tránh xung đột với hướng dẫn phong cách của IPAdapter.

Cái này so sánh thế nào với việc huấn luyện một LoRA tùy chỉnh cho nhân vật của tôi? Một LoRA đã huấn luyện nhúng nhân vật của bạn trực tiếp vào trọng số mô hình, mang lại sự nhất quán mạnh nhất. Cách tiếp cận IPAdapter/FaceID nhanh hơn để thiết lập (vài phút so với hàng giờ huấn luyện) và linh hoạt hơn (đổi ảnh tham chiếu là tức thì). Với các dự án dài hạn nghiêm túc, hãy cân nhắc huấn luyện một LoRA và dùng IPAdapter/FaceID như một lớp kiểm tra nhất quán bổ sung.

Quy trình này có hoạt động trên các dịch vụ GPU đám mây không? Có. Các dịch vụ như RunPod và Vast.ai có thể chạy ComfyUI với quy trình này. Hãy đảm bảo bạn chọn một instance có ít nhất 16GB VRAM để tạo ảnh SDXL thoải mái với tất cả các node giữ nhất quán đang hoạt động. Tải lên các ảnh tham chiếu và tệp mô hình của bạn vào instance trước khi bắt đầu.

Tổng kết: Từ lý thuyết đến thực hành

Quy trình tôi vừa phác họa ở đây không phải lý thuyết. Đó là chính pipeline tôi chạy cho các dự án giữ nhất quán nhân vật trên Lewdly.ai, được tinh chỉnh qua hàng nghìn lần tạo thử và sử dụng sản xuất thực tế. Sự kết hợp giữa IPAdapter ở 0.85 và FaceID ở 0.65 với các giá trị denoise hợp lý cho ra kết quả mà chỉ mười tám tháng trước thôi đã trông như bất khả thi.

Nếu bạn đến từ nền tảng Stable Diffusion WebUI, hãy chờ đợi một đường cong học tập với giao diện node của ComfyUI. Đáng để vượt qua sự bối rối ban đầu đó. Một khi quy trình đã thông, bạn sẽ tự hỏi làm sao mình từng xoay xở mà không có nó. Phản hồi trực quan của việc thấy dữ liệu chảy qua các node, khả năng phân nhánh và hợp nhất các đường xử lý, và sự kiểm soát chi tiết đến từng tham số cho bạn một mức quyền năng sáng tạo mà không giao diện đơn giản hóa nào sánh được.

Hãy bắt đầu với một ảnh tham chiếu xuất sắc duy nhất. Dựng quy trình cơ bản với IPAdapter và FaceID. Tạo một lô thử nghiệm 10 ảnh ở cấu hình tôi khuyến nghị. Nếu kết quả trông tốt, hãy bắt đầu thử nghiệm với các biến thể góc và quản lý biểu cảm. Nếu có gì đó trông sai, hãy tham khảo lại phần khắc phục sự cố. Những vấn đề phổ biến nhất đều có cách sửa thẳng thắn.

Sự nhất quán nhân vật trong việc tạo ảnh AI từng là một nghệ thuật bí ẩn được thực hành bởi một nhúm chuyên gia với các pipeline huấn luyện tùy chỉnh. Giờ đây nó là một quy trình bạn có thể dựng trong một buổi chiều và chạy ổn định trong nhiều tháng. Đó là sức mạnh của hệ sinh thái node của ComfyUI, và thành thật mà nói, đó là một trong những bước phát triển thú vị nhất về công cụ làm nghệ thuật AI mà tôi từng thấy kể từ khi các mô hình diffusion lần đầu trở nên phổ biến.