Seonglae ChoControlNet Usages
- clone repo
- install dependency
conda env create -f environment.yaml- install pytorch for PC’s CUDA version
conda install pytorch torchvision pytorch-cuda=$CUDA_VERSION -c pytorch -c nvidia- download model from hugging face
- run gradio
ICCV2023
openaccess.thecvf.com
https://openaccess.thecvf.com/content/ICCV2023/papers/Zhang_Adding_Conditional_Control_to_Text-to-Image_Diffusion_Models_ICCV_2023_paper.pdf
ControlNet - 이미지의 구조를 활용해서 새로운 이미지 만들어 내는 인공지능 모델
ControlNet은 이미지의 구조를 활용해서 그 구조에 맞는 이미지를 생성해낼 수 있는 파인튜닝 기술이다. Stable Diffusion과 같
https://tilnote.io/pages/63f4599e11b3e6121ff4701a
Adding Conditional Control to Text-to-Image Diffusion Models (ControlNet)
End-to-End 방식으로 확산 모델에 조건 입력 Github arXiv Abstract 확산 모델에 조건부 입력을 가능하게 하는 end-to-end 방식의 ControlNet 제안 Introduction 작업별 도메인에서 사용 가능한 데이터셋은 크지 않다. 따라서 일반화 능력을 보존하기 위한 특별한 훈련 방법이 필요하다. 시간과 메모리의 제약으로 인해 fine tuning 전략이 필요하다. 다양한 형태의 이미지 처리 문제에 대해 denoising process 제한, attention의 편집 등 절차적 방식으로 규제했지만 개체 수준의 본질적인 이해를 위해서는 end-to-end 학습이 필수불가결하다. ControlNet은 확산 모델의 가중치를 trainable copy, locked copy로 복제하..
https://ostin.tistory.com/176
Funky AI-generated spiraling medieval village captivates social media
"This was the point where AI-generated art passed the Turing Test for me."
https://arstechnica.com/information-technology/2023/09/dreamy-ai-generated-geometric-scenes-mesmerize-social-media-users/
xinsir/controlnet-union-sdxl-1.0 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
https://huggingface.co/xinsir/controlnet-union-sdxl-1.0
for SD3.5
ControlNets for Stable Diffusion 3.5 Large — Stability AI
Today we are adding new capabilities to Stable Diffusion 3.5 Large by releasing three ControlNets: Blur, Canny, and Depth.
https://stability.ai/news/sd3-5-large-controlnets
