님이 말하는게 gpu 4개가 있다고 치면 1개만 사용한다는건가요 아니면 100퍼센트 사용하지는 못한다는건가요?
deepspeed여도 gpu를 100퍼 다 갈구면서 학습시키지는 못하고 gpu 4개에 메모리가 다 분산되는건 기본 transformer 라이브러리로도 충분하지만 deepspeed를 쓰시겠다면 여기 링크 보시면 됩니다.
https://huggingface.co/docs/transformers/main/deepspeed?install=Transformers&zero-config=ZeRO-3&precision=fp16&pass-config=path+to+file
여기 docs를 보시면 아시겠지만 transformers에서도 딥스피드를 쓸수 있어서
ds_config에 딥스피드 설정을 짜준 후 트레이너 설정에 넣어놓으시면 트레이너로 실행 가능합니다.

from transformers import AutoModel, Trainer, TrainingArguments
training_args = TrainingArguments(..., deepspeed=ds_config)
model = AutoModel.from_pretrained("google-t5/t5-small")
trainer = Trainer(model=model, args=training_args, ...)

번외로 axolotl은 cuda 버전을 맞춘 후 가상환경을 만들어서 python과 pytorch 버전을 다 맞춰줘야하는데 그래픽 카드가 너무 구형이시라면 힘드실수도 있습니다.