[논문] https://arxiv.org/abs/2309.12307

[깃헙] https://github.com/dvlab-research/LongLoRA

[모델] https://huggingface.co/Yukang

https://huggingface.co/Yukang/Llama-2-70b-longlora-32k

https://huggingface.co/Yukang/Llama-2-7b-longlora-100k-ft (100K 컨텍스트의 라마2 7B)

https://huggingface.co/Yukang/Llama-2-13b-chat-longlora-32k-sft

https://huggingface.co/Yukang/Llama-2-70b-chat-longlora-32k-sft (32K로 훈련된 최초의 70B 모델)

※ 아래에 소개한 LongLoRA 논문에 따라 훈련된 긴 문맥의 모델들.

※ Pdf2text: 모델 학습 과정에서 PDF파일을 TXT로 변환시켰으며, 저자들은 이 변환 과정의 퀄리티가 언어모델의 학습결과에 상당한 영향을 준다는 판단 하에 관련 스크립트도 공개하였으므로 관심있는 이들은 참고하면 좋을 듯. 

https://github.com/dvlab-research/LongLoRA/blob/main/pdf2txt/README.md