프로젝트가 마무리 되어가면서 stable diffusion 에 대해서 배웠던 내용이나 실행 방법 대해서 정리해서 올리려고 하는데 , 지난 11.25에 stable A.I에서 stable diffusion 2.0을 발표하였다. stable diffsuion이 처음 발표 된게 8월 말이었고 프로젝트 주제 처음 관심을 가진게 9월 말이었으니 두 달 만에 새로운 모델이 발표될 만큼 A.I로 img를 만드는 쪽의 발전 속도는 굉장히 빠른 것 같다.
stable diffusion 2.0의 차이점은
- 768x768 resolution 해상도가 추가되었다.
- OpenCLIP-ViT/H 를 text encoder로 사용하였다. 자연어 처리 학습 방법을 computer vision에 적용하였다.
- upscaling x4 고해상도 이미지 모델이 가능하다.
- inpainting model 이 수정되었다. inpainting이란 기존 이미지에 일부분만 수정하는 것을 의미한다.
- depth guided stable diffusion model 깊이 추정 모델을 사용한다.
FID score (Fréchet inception distance)
생성 이미지와 실제 이미지간의 분포 차이를 나타낸다. v2.0은 v1.5에 비해서 좋은 결과를 보여주고 CLIP Score는 text encoder와 image encoder간의 유사도? 관계정도를 나타낸다. 새로운 모델을 직접 활용할 수 있는 Demo 사이트가 있는데 이용자가 많아서 그런지 계속해서 안들어가진다. 나온지 얼마 되지 않았고 많은 사람들이 관심을 갖고 있어서 접속량이 폭발하는것 같다. 지금도 huggingface 접속이 불가능하다. 다음에는 관련 논문에 대해서 더 읽어보고 정리해야겠다. 실제 colab에서 이미지 생성을 보여주는 글도 작성하면 좋을 것 같다.
'Stable Diffusion 프로젝트' 카테고리의 다른 글
| colab에서 dreambooth 학습 (0) | 2022.11.14 |
|---|---|
| 왜 conda venv를 쓰는지 생각 (0) | 2022.11.03 |
| 문제 해결방법에 대해 (0) | 2022.10.28 |
| ML inference란 (0) | 2022.10.25 |
| Stable diffusion 공부중 (0) | 2022.10.24 |
댓글