Control-LoRA là gì ? - Loạt mô hình ControlNet mới đến từ StabilityAI

      StabilityAI mới đây đã ra mắt đồng thời 4 mô hình ControlNet mới với tên gọi Control-LoRA: canny, depth, recolor, revision. Những mô hình này được tối ưu hóa với kích cỡ rất nhẹ chỉ từ 396MB. Tử đây mở rộng cơ hội sử dụng ControlNet trên các mẫu GPU đa dạng rất hơn rất nhiều.

Trong bài viết này, chúng ta sẽ đi từ khám phá Control-LoRA, cách cài đặt công cụ này, đến cách sử dụng nó để tạo ảnh một cách nhanh chóng và tiện lợi nhất.

Control-LoRA là gì?

Control-LoRA là loạt mô hình ControlNet được tối ưu bởi chính StabilityAI (công ty tạo ra Stable Diffusion) với mục đích cung cấp khả năng kiểm soát điều kiện cho ảnh đầu ra. Trong đó bao gồm:

• Canny:  đây là bộ mô hình phát hiện cạnh. Các cạnh được phát hiện sẽ lưu dưới dạng bản đồ điều khiển.
• Depth: đây là bộ mô hình phát hiện chiều sâu. Độ sâu của các vật thể trong ảnh và được lưu dưới dạng bản đồ độ sâu.
• Recolor: đây là bộ mô hình lên màu cho ảnh đen trắng. Ảnh đầu vào có thể là ảnh chụp hoặc bản vẽ.
• Revision: đây là bộ mô hình sử dụng CLIP embeddings quét từ một ảnh đầu vào và  có thể trực tiếp sử dụng nó thay cho prompt, hoặc bổ sung cho prompt có sẵn.

Yêu Cầu và Hướng Dẫn Cài Đặt

- Các mô hình Control-LoRA:  

  - Rank 128: canny, depth, recolor, depth (396 MB): https://huggingface.co/stabilityai/control-lora/tree/main/control-LoRAs-rank128

  - Rank 256: canny, depth, recolor, depth (774 MB): https://huggingface.co/stabilityai/control-lora/tree/main/control-LoRAs-rank256

Ngoài ra, hiện tại Control-LoRA chỉ được hỗ trợ trên ComfyUI và StableSwarmUI, chúng ta sẽ sử dụng ComfyUI trong trường hợp này:

- ComfyUI: https://github.com/comfyanonymous/ComfyUI

- Custom Nodes cho ComfyUI, các custom node cần được đặt trong thư mục ComfyUI\custom_nodes:

    - ComfyUI Manager: https://github.com/ltdrdata/ComfyUI-Manager

    - ColorBlend & ColorBlend: https://github.com/Stability-AI/stability-ComfyUI-nodes

    - ColorCorrect: https://github.com/EllangoK/ComfyUI-post-processing-nodes

    - ImageScaleToTotalPixels: https://github.com/Fannovel16/comfyui_controlnet_aux

- Workflow sẵn từ StabilityAI, bạn chỉ cần tải về và kéo/load workflow vào giao diện ComfyUI là có thể bắt đầu sử dụng:
    - canny, depth, recolor, sketch: https://huggingface.co/stabilityai/control-lora/tree/main/comfy-control-LoRA-workflows

Tìm hiểu qua về cách hoạt động của Control-LoRA

Depth Map (depth)

Control-LoRA này sử dụng một bản đồ độ sâu màu xám để đặt ra điều kiện trong quá trình tạo ảnh. Ước tính độ sâu là một kỹ thuật xử lý ảnh xác định khoảng cách giữa các đối tượng trong một cảnh, cung cấp một bản đồ độ sâu làm nổi bật sự biến đổi về gần xa.

Canny Edge (canny)

Canny Edge Detection là một kỹ thuật xử lý ảnh nhận diện sự thay đổi đột ngột về cường độ để làm nổi bật các cạnh trong một hình ảnh.

Control-LoRA này sử dụng các cạnh từ một hình ảnh để làm điều kiện tạo ra ảnh cuối.

Photograph and Sketch Colorizer (recolor)

Hai Control-LoRA này có thể được sử dụng để lên màu cho ảnh.

• Recolor được thiết kế để lên màu cho các bức ảnh đen trắng.
• Sketch được thiết kế để lên màu cho các bản vẽ đầu vào dưới dạng hình ảnh đen trắng (có thể là vẽ tay hoặc được tạo bằng mô hình pidi edge).

Revision

Revision là một phương pháp prompt mới. 

Mô hình này sử dụng bộ nhúng CLIP tổng hợp để tạo ra các ảnh tương tự với ảnh đầu vào. Mô hình này có thể được sử dụng bổ sung hoặc thay thế prompt có sẵn.

Revision cũng bao gồm chức năng kết hợp để kết hợp cùng lúc nhiều ảnh hoặc văn bản, dưới dạng prompt tích cực (positive) và tiêu cực (negative).

Chúc mọi người thực hiện thành công và hiệu quả. Nếu còn vướng mắc gì thì có thể xem toàn bộ hướng dẫn từ A-Z TẠI ĐÂY