Stable Diffusion 프로젝트6 Stable diffusion v2.0의 발표 프로젝트가 마무리 되어가면서 stable diffusion 에 대해서 배웠던 내용이나 실행 방법 대해서 정리해서 올리려고 하는데 , 지난 11.25에 stable A.I에서 stable diffusion 2.0을 발표하였다. stable diffsuion이 처음 발표 된게 8월 말이었고 프로젝트 주제 처음 관심을 가진게 9월 말이었으니 두 달 만에 새로운 모델이 발표될 만큼 A.I로 img를 만드는 쪽의 발전 속도는 굉장히 빠른 것 같다. stable diffusion 2.0의 차이점은 768x768 resolution 해상도가 추가되었다. OpenCLIP-ViT/H 를 text encoder로 사용하였다. 자연어 처리 학습 방법을 computer vision에 적용하였다. upscaling x4 고해상.. 2022. 11. 28. colab에서 dreambooth 학습 프로젝트를 진행하고 있었지만 그동안 image 분류 작업에 상당히 기간이 오래 걸려서 딱히 진행된 부분이 없었는데 오늘 교수님이 골라주신 이미지를 토대로 학습에 들어갔다. 그동안 colab용 dreambooth를 로컬에서 돌리겠다고 jupyter notebook 으로 계속 시도하고 삽질만 하다가 다시 colab으로 돌아오니 너무 쉽게 다 작동 되었다. 그래도 의문점이 들었던 부분은 concept_lists.json 파일에 모든 label에 대한 정보를 집어넣고 accelarate로 실행시키면 한번에 학습이 되지 않을까 였는데 terminal 에서 직접 실행하도록 만들고 변수를 json에서 읽어오는게 아니라 직접 정해주니 json을 만들지 않고도 학습을 진행 할 수 있었다. 오늘 한 과정은 학습에서 모르는.. 2022. 11. 14. 왜 conda venv를 쓰는지 생각 Dreambooth를 멀티캠퍼스에서 받은 AWS 서버에서 돌려보고 싶어서 jupyter notebook으로 dreambooth를 실행해 보려고 계속 시도중이다. 그러다 오늘 문제가 생긴 것 같다. 필요한 라이브러리를 설치하려다가 이것저것 다 설치하다가 어느 순간 import torch에서 error가 발생했다. 에러메시지 상으로는 cuda version에 문제가 있다고 하는데 내가 언제 무슨 cuda version을 설치했는지 기억이 나지 않았다. conda에 뭐가 설치됬는지도 잘 모르겠고 stable diffusion관련 이라면 jupyter notebook으로 실행해보려고 해서 어디서 얼마나 꼬여있는지 모르겠다. 이런 일을 방지하기 위해 conda에서 작업할 때 가상환경에서 작업을 한다면 각 가상환경.. 2022. 11. 3. 문제 해결방법에 대해 프로젝트 진행중 어떻게 프로젝트를 진행해야 점진적으로 완성해 나갈지에 대해 생각해보았다. 지금 진행중인 프로젝트는 medical report에서 label별로 주어진 chest x-ray image를 가지고 text 2 image 로 구현하는 것이다. 수행하기 위해 사용되는 기술로 Stable diffusion을 활용한 Dream Booth이다. 처음 DreamBooth example 대로 따라해서 sample 이미지를 얻었지만 드라이브에 학습된 모델을 저장하지 않아서 다시 진행해야했다. !accelerlate launch train_dreambooth.py를 통해 python을 실행시켜 학습한다는 개념은 알았지만 이후 Weight를 저장해야했는데 이부분을 생략했다. 그래서 알게된 점은 일반적으로 모델은.. 2022. 10. 28. 이전 1 2 다음
