Dadaptadam 이거 특정스텝이상 못쓰나봐 - AI그림 학습 채널

AI그림 학습 채널

알림 알림 중 알림 취소

구독자 8830명 알림수신 127명 @Anon

그림 AI 학습 정보를 공유하는 채널

Dadaptadam 이거 특정스텝이상 못쓰나봐

추천 0 비추천 0 댓글 11 조회수 204 작성일 2024-01-22 02:01:36

https://arca.live/b/hypernetworks/97222146

세개다 에포크만 다른 세팅

127장 2리피트 4배치

파란색이 20에포크 빨간색이 30에포크인데

여기까진 lr이 선형적인데 샘플도 갈수록 안정적이고

40에포크가 노란색...

polynomial이라 하락곡선이어야하고 lr power지정안했으니 기울기1마냥 다른애들처럼 감소가맞는데 갑자기 저지랄남

30에포크 테스트해보고 ㄱㅊ으면 리피트를 올리는쪽으로 가야할듯...

댓글 [11]

2024-01-22 03:28:26

... 응?
잠깐잠깐
본인스스로 스텝이 높아지면 안되게따면서 리핏을 늘리는 결론이 왜 나오는건데?
동일에포크에 리핏을 늘리면 스텝 늘어나자나. 반대로 해야지

그나저나 저 스케줄러는 총 스텝수를 자동학습률 조정의 조건으로 안 쓰는건가?
학습총량을 일정하게 유지하는 식으로 최적화를 조율한다면 저 그래프가 그리는 총 면적이 비슷할거라 생각했는데 영 아니네?

펼쳐보기▼

2024-01-22 03:44:12

그니까 개이상함 머가있나봐
아 내말은 에포크를 줄이고 리피트를 늘리는식으로 변수조정하겠다는거ㅇㅇㅇ 리피트가2거든 특정스텝안가게끔

펼쳐보기▼

딸기맛봇치

2024-01-22 03:32:22

dadaptation 계열은 학습률을 자체적으로 올릴 수 있음
40에포크 때만 제대로 작동을 한 건데? 저게 선형이면 adamw랑 다를 게 없지

펼쳐보기▼

2024-01-22 03:43:25

스케줄러가 polynomial 이라서 20,30이 제대로된거일껄...?

펼쳐보기▼

딸기맛봇치

2024-01-22 04:07:34

스케쥴러 영향 이외에도 옵티마이저가 자동으로 올림
내가 예전에 찍어둔게 있을텐데 ㄱㄷ

펼쳐보기▼

딸기맛봇치

2024-01-22 04:15:39

https://arca.live/b/hypernetworks/97230241?p=1

펼쳐보기▼

2024-01-22 05:14:17

모르겠네... 그럼 사실 맞다고해도 이상한게 특정스텝미만은 작동하고 그이상은작동안하고;  실제로 20,30에포크는 퀄리티좀 봐줄만한데 40은 샘플도ㅈ되가지고;;

펼쳐보기▼

딸기맛봇치

2024-01-22 05:17:15

모르겠으면 마음편한 adamw 쓰면 되는 것

펼쳐보기▼

2024-01-22 05:27:23

그게말이죠선생님 제가 그걸로 꼴아박는데 한번도 맘에드는게안나와서 갈아탄게 Dadaptadam 입니다... 스케쥴러가 cosine with restart였나 그걸로해서 챈에 다들쓰는세팅 돚거해가면서 했었는데 안되서 바꾼거...

펼쳐보기▼

딸기맛봇치

2024-01-22 05:56:01

dadaptation도 adamw 기반인데 그러면 그냥 lr을 잘못 설정한거 아님?

펼쳐보기▼

2024-01-22 08:54:23

그런가....??  다시 박아봐야하나??  스케쥴러도 다시 실험해야되네ㅜㅜ

펼쳐보기▼

본 게시물에 댓글을 작성하실 권한이 없습니다. 로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 정보 그림 드림부스 임베딩 하이퍼

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 31012199

공지 파딱 마음대로 작성한 AI그림 학습 채널 규정 - [24-01-24]

포리X 2023.10.29 2285

공지 [리퀘스트] 탭이 추가되었습니다.

선한_하얀_사자 2023.02.10 3513

공지 신문고

Anon 2023.02.21 3301

공지 각종 학습파일 적용법

거만한_보라_달팽이 2023.01.24 40212

공지 그림 학습법 모음

거친_핑크_외계인 2022.10.30 73747

숨겨진 공지 펼치기(1개)

5382 AdamW로도 이제 된다ㅋㅋㅋ

Verykine 2024.02.05 393 1

5381 학습중 샘플이 다 똑같이 나오면 걍 만들어지고 있는 로라 자체가 빈 깡통인거임? [4]

ㅇㅇ 2024.02.05 269 0

5380 prodigy가 진짜 쩔긴하구나 [4]

Verykine 2024.02.05 687 0

5379 로라말고 로하 제작중 질문드립니다!! [6]

로투더라 2024.02.05 241 0

5378 기숙사와서 AI학습해보겠다. [1]

의미있는삶을위하여 2024.02.04 234 0

5377 정보 gradient accumulation으로 배치사이즈를 사기쳐보자 [2]

딸기맛봇치 2024.02.03 339 2

5376 광명찾음 감사합니다 [4]

Verykine 2024.02.03 303 0

5375 실사얼굴로라 과적합난거 활용법? [2]

Verykine 2024.02.02 571 0

5374 이게 테스트가 진짜어렵네 [7]

Verykine 2024.02.01 342 0

5373 맨날 하던대로 학습하는데 갑자기 퀄이 좆박음; [1]

테사사랑 2024.02.01 400 0

5372 아 개빡친다~~~~~~ [2]

Verykine 2024.01.31 219 0

5371 처음 로라 만들어 보려는데 시간이 이게 맞나? [2]

먀옹 2024.01.31 314 0

5370 마지막 호작질. 0.5+0.5 [5]

몬TDAI 2024.01.30 199 1

5369 좀 퀄오지는거 성공했는데 깨달은거 [3]

Verykine 2024.01.30 544 0

5368 정보 인텔 Arc A770 16GB SDXL 학습 간단 후기 [14]

포리X 2024.01.30 1473 5

5367 8비트 옵션 유무에 따른 학습차이 [3]

몬TDAI 2024.01.30 338 2

5366 XL + 4090 + fp8 + 1024 + 배치1 [1]

몬TDAI 2024.01.29 398 0

5365 데이터셋문제맞았음;;; [9]

Verykine 2024.01.29 360 3

전체글 개념글