ㄴㄴ 그 말이 아니라 님이 학습하려는 그 모델의 답변을 rejected로 뽑고 학습을 돌려도 된다는 말임

허깅페이스에서 docs도 써주는 지원 라이브러리들은 쓰기 쉬우니 욕심은 아닙니다. sft, dpo, orpo 트레이너 같이 말이져
님은 지금 학습 방식과 아예 안맞는 데이터를 넣으니 그런겁니다. 질문과 답변밖에 없는 데이터면 sft trainer 라이브러리를 돌리던가 직접 하나하나 다 짜던가해야지요.

unsloth나 axolotl은 프레임워크 수준인데 얘네는 쿠다 버전 맞춘뒤 가상환경 만들어서 파이썬버전, 트랜스포머 버전등을 맞춰줘야 쓸 수 있고 데이터 형식이 조금만 어긋나도 에러를 뱉습니다.