[AI] - 질문 분류용 vllm 서버 개발

[dkimds]

📄 설명

질문 유형(정의, 비교, 문제해결 등)을 분류하는 경량 LLM을 vLLM 기반으로 배포 가능한 서버 형태로 구성합니다.
이 시스템은 기존 OpenAI API 기반 프롬프트 분류기를 **자체 호스팅 가능한 sLLM(vLLM 기반)**으로 전환하는 것이 목적입니다.

✅ 작업할 내용

1. 모델 선택 및 환경 구성

• phi-2, TinyLlama, gemma-2b 등 소형 모델 중 적절한 모델 선택
• vLLM 설치 및 실행 환경 세팅 (로컬 or GPU 서버)

2. vLLM 서버 배포

• vllm.serve를 이용해 HTTP API 서버 구성
• OpenAI API 호환 설정 확인 (/v1/completions, /v1/chat/completions 등)

3. 샘플 입력/출력 테스트

• 대표 질문 10개 이상으로 테스트
• 분류 정확도 수작업 평가

4. API 호출 스크립트 작성

• Python 스크립트 or curl 명령으로 호출 예시 구현

6. FastAPI 또는 Flask로 래핑

• 분류 API를 단일 POST 요청으로 호출하는 외부 래퍼 서버 구성

🙋🏻 참고 자료

vLLM Quickstart Docs

• OpenAI 호환 서버 설정