|
|
- 유니와이즈 : 문제점 도출 및 서비스 기획
- 르몽 : AI 기술 자문 및 연구 개발 자문
기존 이러닝 플랫폼의 Q&A 시스템은 수강생의 질문에 대해 교수나 상담원이 직접 답변해야 해서 응답까지의 소요시간이 길다. 기업체에서 제공해준 통계 자료로부터 확인했던 것은 ‘학생들의 질문에 대한 답변까지 걸리는 소요 시간이 최소 하루 이상’이라는 것이다. 이러한 문제는 LLM 챗봇을 통해 자동화된 응답 시스템을 도입함으로써 일정 부분 해결 가능하다. 그러나 수학·과학 기반 공학 과목의 경우 텍스트 기반의 인문·사회 과목과 달리 공식, 수식, 화학식, 그래프, 도형 등 비정형 정보가 포함되어 있어 LLM이 직접 활용하기 어렵다. 이는 해당 정보들이 일반 텍스트가 아닌 복잡한 시각적 구조로 구성되어 있기 때문에 멀티모달 처리 역량이 요구되며 단순 텍스트 기반 LLM은 이러한 정보를 정확히 이해하고 반영하기 어렵다. 또한, LLM의 환각(hallucination) 문제를 방지하기 위해 강의 자료 기반 응답이 요구되지만 현재의 Q&A 시스템은 수식·도형 등 복잡한 데이터를 구조화하지 못해 도입이 제한적이다. 이에 따라, 이 프로젝트는 이러한 멀티모달 정보를 전처리 및 구조화하여 LLM이 참조 가능한 데이터로 변환하고 이를 기반으로 신뢰성 높은 응답을 제공할 수 있는 RAG 시스템을 구현하고자 한다.
본 프로젝트는 학생들의 질문에 보다 신뢰성 있는 답변을 제공하고자 강의 자료를 바탕으로 복잡한 공학식 및 기호 등을 텍스트로 전처리한 것을 데이터베이스로 구축하고 이를 기반으로 RAG 시스템을 도입한다. 또한, 강의 주제와 긴밀하게 연관되거나 중요한 강의 내용에 대한 요약 영상을 자동으로 생성하는 파이프라인을 구현함으로써 수강생들의 강의 핵심 내용 파악을 돕는다. 이를 위해 한글(HWP) 및 강의 영상 데이터를 JSON으로 변환하는 데이터 전처리 솔루션을 개발하며 수식, 표, 공학 기호 등을 유지하는 LaTeX 변환, 수식이나 공학적 내용이 들어간 강의 음성 텍스트 변환(STT), 타임스탬프 기반 문장 구조화 기능을 개발한다.
차민수 |
정의현 |
한승민(팀장) |
정진우 |
|
한글(HWP)데이터 추출 수식 및 텍스트 전처리 |
이미지 OCR 프로젝트 관리 공유 문서 관리 |
음성 인식 모델 개발 프로젝트 기획 일정 관리 |
모델 추론 파이프라인 구축 추론 데이터 후처리 |
| Purpose | Platforms |
|---|---|
| Communication |    |
| Version Control |   |
| Project Management |    |
├── 📂 FR1
├── 📂 FR2
├── 📂 FR3
└── 📕 README.md
[
git clone https://github.com/kookmin-sw/capstone-2025-36.git
cd capstone-2025-36