No More Paid Endpoints: How to Create Your Own Free Text Generation Endpoints with Ease

사용 가능한 훌륭한 텍스트 생성 API는 많지만 OpenAI가 가장 인기 있는 서비스 중 하나입니다. 유일한 단점은 3개월 동안만 무료로 사용할 수 있다는 것입니다. 그 이후에는 애플리케이션 구축에 더 작고 덜 강력한 모델을 사용해야 합니다.

이 간단한 튜토리얼을 통해 HuggingFace와 Gradio를 사용하여 모든 오픈 소스 LLM을 무료 API 엔드포인트로 배포할 수 있습니다. 이는 완전히 무료로 OpenAI 엔드포인트를 대체하는 드롭인 역할을 할 수 있습니다.

[관련레딧]

* 실제 테스트 결과 (Vicuna 7B vs Falcon 7B)

진지하게 상용화에 쓰는 건 당연히 무리겠지만 

API 구축 및 배포 연습하기엔 아주 좋을 듯.