아니 일단 문제의 변인요소가 너무 많음. 그리고 chosen, rejected가 같아야 한다는 말이 아니라 학습하려는 데이터의 prompt(질문)을 학습하려는 모델에 그대로 넣고 받은 답변을 rejected로 넣으라는 말이었음. 그리고, 비교를 한 게 학습 조금 한 모델이랑 지금 엄청나게 많은 데이터와 시간을 투자한 모델이랑 비교를 하면 안 됨.

아래 글도 읽고 왔는데 데이터가 어떻게 되어있는걸 사용하시는거죠?

1. Base model이 정확히 어떤 llama-3인가요?
2. 180개 sample만으로 답이 변했다고 하시니, learning rate라던가 다른 하이퍼파라미터들도 알려주세요.
3. 사실 많은 분들이 ORPO 안에서 어떻게든 방법을 알려드리고 있긴 한데, ORPO는 학습 도구가 아니라 학습 방법론입니다. 도구는 어느 정도 선에서 호환이 되지만 방법론이 다른건 호환이 안돼요. 결국 궁극적인 문제 원인은 데이터 셋이 ORPO용이 아닌데 ORPO로 학습시키는 게 원인인 건 분명합니다.

어제부터 여러 사람들이 말하지만 님이 가져온 데이터는 orpo 학습법에 맞지 않고 SFT 학습법에 맞는 데이터입니다.
그 데이터로 꼭 orpo 학습을 시키고 싶으시다면 틀린 대답을 직접 만드셔서 채우시거나 다른 ai를 이용해 만드셔야합니다.
질문, 맞는 답변, 틀린 답변 이렇게 3개가 한 쌍이어야하는데 그렇지 못하면서 풀 파인튜닝을 돌리면 가중치가 날라가는게 당연합니다.
medium이 기술 블로그이긴한데 조회수로 돈 버는 구조라 장난질 치는 애들도 있으니 무조건 믿으시면 안됩니다.
저 작성자는 사기를 쳤거나 데이터를 가공했지만 방법은 알려주기 싫어서 숨겼거나 둘 중 하나입니다.