출처: https://github.com/tashfeenahmed/freellmapi
이 리포지토리는 여러 LLM 제공업체에서 제공하는 무료 LLM 호출 API를 한 데 통합하여 하나의 OpenAI 호환 API로 만들어주는 리포지토리이다.
사용자는 프로그램 실행 후 표시되는 웹UI에 접속해 관리자 계정 생성 후 각 LLM 제공업체로부터 API 키를 발급 받아 FreeLLMAPI에 등록하기만 하면, 실제로 사용할 때에는 FreeLLMAPI의 주소로 전용 토큰키와 함께 요청을 보내면, FreeLLMAPI가 알아서 가용한 API를 찾아서 호출을 시도한다.
현재 사용 가능한 API 제공업체 중에서는 OpenAI가 직접적으로 있지는 않지만, Github Copilot을 사용하면 GPT 모델을 사용할 수 있다.
지금 이 블로그에도 JLPT 학습 문장 생성 용도로 사용되고 있는데, 이전에는 그냥 로컬로 작은 LLM 모델을 굴리면서 했었지만 속도와 안정성 측면에서 불편함이 있었으나, 이것을 도입하니 훨씬 나은 결과를 보여주고 있다.