+ {question}
+ Options: A: {choice_a}, B: {choice_b}, C: {choice_c}, D: {choice_d}
+
+ 주어진 선택지 중 해당 옵션의 문자로 바로 답하세요.
+ ```
+ Mistral3 채팅 템플릿(`[INST]...[/INST]`)으로 감싸면 `[/INST]` 직후 공백 없이 바로 `A`/`B`/`C`/`D` 토큰이 이어지는 것을 실측으로 확인했다 (" A"처럼 공백이 붙은 토큰은 별개 id).
+- **채점 방식**: KMMLU와 동일하게 log-likelihood 기반 4지선다. `generate()` 호출 없이 `[/INST]` 직후 위치의 logit에서 "A"/"B"/"C"/"D" (공백 없음) 토큰의 확률을 비교해 argmax 선택.
+- **구현**: `pseudo/eval_kdtcbench.py`. `AutoProcessor`로 이미지+텍스트를 함께 인코딩하여 `pixel_values`를 모델에 전달한다.
+- **양자화 모델 로딩 이슈**: 문서 이미지는 해상도가 높아 vision tower를 `eager` 어텐션으로 돌리면 O(N²) 어텐션 행렬이 12GB VRAM을 초과해 OOM이 발생한다. 반면 GPTQ 4-bit 기본 백엔드(Marlin)는 이 환경(RTX 5070, sm_120/Blackwell)에서 bf16 커널 JIT 컴파일이 실패하고, FOEM 3-bit는 `TritonV2Linear`가 3-bit를 지원하지 않는다. 최종적으로 `attn_implementation="sdpa"` + 커널 자동 선택(`auto → gptq_triton → eager` 순 폴백)으로 4-bit는 Marlin 실패 시 Triton으로, 3-bit는 자동으로 `TorchLinear`로 떨어지도록 구현했다.
+
+---
+
+## 3. 전체 결과
+
+| 모델 | 정확도 (micro=macro, n=240) | document (n=80) | table (n=80) | chart (n=80) | 소요 시간 |
+|---|---:|---:|---:|---:|---:|
+| **BF16 원본** | **62.08%** (149/240) | 71.25% (57/80) | 62.50% (50/80) | 52.50% (42/80) | 1.4분 |
+| **GPTQ 4-bit** | **60.83%** (146/240) | 67.50% (54/80) | 65.00% (52/80) | 50.00% (40/80) | 1.4분 |
+| **FOEM 3-bit** | **50.83%** (122/240) | 58.75% (47/80) | 56.25% (45/80) | 37.50% (30/80) | 1.5분 |
+| 4지선다 무작위 기준선 | 25.00% | 25.00% | 25.00% | 25.00% | - |
+
+카테고리별 문항 수가 80개씩 균등해 micro==macro accuracy로 일치한다.
+
+**양자화로 인한 정확도 저하 (BF16 대비)**
+
+| 모델 | 전체 | document | table | chart |
+|---|---:|---:|---:|---:|
+| GPTQ 4-bit | -1.25%p | -3.75%p | **+2.50%p** | -2.50%p |
+| FOEM 3-bit | -11.25%p | -12.50%p | -6.25%p | **-15.00%p** |
+
+- GPTQ 4-bit의 전체 손실(-1.25%p)은 KMMLU(-2.69%p)보다 오히려 작다 — table 카테고리에서는 BF16보다 **더 높은** 정확도(+2.50%p)를 기록했다. vision tower가 BF16로 그대로 유지되고 텍스트 디코더만 4-bit로 양자화되므로, "이미지에서 정확한 시각 정보를 뽑아내는" 능력 자체는 거의 보존되는 것으로 보인다.
+- FOEM 3-bit는 KMMLU와 마찬가지로 큰 폭의 손실(-11.25%p)을 보이며, 특히 **chart 카테고리에서 -15.00%p로 손실이 가장 크다**. 차트는 막대·선 그래프의 상대적 크기·순서를 비교해야 하는 다단계 추론이 필요한데, 3-bit 양자화로 인한 텍스트 추론 능력 저하가 이 다단계 비교에서 특히 두드러지는 것으로 해석된다.
+
+---
+
+## 4. 카테고리별 분석
+
+### 4-1. document (문서)
+
+| 모델 | 정확도 |
+|---|---:|
+| BF16 원본 | 71.25% |
+| GPTQ 4-bit | 67.50% |
+| FOEM 3-bit | 58.75% |
+
+세 모델 모두 3개 카테고리 중 가장 정확도가 높다 — 문서는 표·차트에 비해 텍스트 비중이 높아 OCR 유사 판독 후 직접적인 텍스트 매칭으로 풀리는 문항이 많기 때문으로 보인다.
+
+### 4-2. table (표)
+
+| 모델 | 정확도 |
+|---|---:|
+| BF16 원본 | 62.50% |
+| GPTQ 4-bit | **65.00%** |
+| FOEM 3-bit | 56.25% |
+
+유일하게 GPTQ 4-bit가 BF16을 앞서는 카테고리다 (+2.50%p, n=80이므로 2문항 차이 — 통계적 노이즈일 가능성과 실제 개선 가능성이 병존한다). 표는 행·열 대응이 명확해 특정 셀 값만 정확히 읽으면 되는 경우가 많아, 텍스트 디코더의 양자화 손실이 상대적으로 덜 치명적이었을 수 있다.
+
+### 4-3. chart (차트)
+
+| 모델 | 정확도 |
+|---|---:|
+| BF16 원본 | 52.50% |
+| GPTQ 4-bit | 50.00% |
+| FOEM 3-bit | **37.50%** |
+
+세 모델 모두 최저 정확도이며, FOEM 3-bit의 손실도 최대(-15.00%p)다. 차트는 막대 높이·선 기울기 비교, 범례-데이터 매핑 등 시각 정보를 종합해 추론해야 하는 문항이 많아 3B 규모 모델의 근본적 한계와 양자화 손실이 함께 작용하는 것으로 보인다.
+
+### 4-4. 모델 간 정답/오답 일치도 (n=240)
+
+| 패턴 | 문항 수 | 비율 |
+|---|---:|---:|
+| 세 모델 모두 정답 | 101 | 42.1% |
+| 세 모델 모두 오답 | 67 | 27.9% |
+| BF16+GPTQ 정답, FOEM만 오답 | 31 | 12.9% |
+| BF16만 정답 | 10 | 4.2% |
+| GPTQ만 정답 | 10 | 4.2% |
+| FOEM만 정답 | 10 | 4.2% |
+| BF16+FOEM 정답, GPTQ만 오답 | 7 | 2.9% |
+| GPTQ+FOEM 정답, BF16만 오답 | 4 | 1.7% |
+
+- BF16이 GPTQ보다 나은 문항 17개 vs GPTQ가 BF16보다 나은 문항 14개 → 순 우위 +3문항으로 거의 대등하다.
+- BF16이 FOEM보다 나은 문항 41개 vs FOEM이 BF16보다 나은 문항 14개 → 순 우위 +27문항으로, FOEM 3-bit의 손실이 명확하다.
+- "세 모델 모두 오답"이 27.9%에 달해, 상당수 문항은 양자화와 무관하게 **3B 모델 자체의 시각 추론 한계**임을 시사한다 (KMMLU의 Math 과목과 유사한 패턴).
+
+---
+
+## 5. 실제 질의 / 추론 예시
+
+동일한 zero-shot 프롬프트와 이미지로 세 모델을 질의하고 "A"~"D" 토큰 확률분포를 비교했다.
+
+### 5-1. document_0 (세 모델 모두 정답, 확신도 역전)
+
+> **질문**: 보고서의 주요 내용이 아닌 것은 무엇인가요?
+> - A. 안전 인프라 확충 B. 재난 및 사고 예방 체계 구축 C. 시민 안전 교육 강화 D. 긴급 대응 시스템 개선
+>
+> **정답: B**
+
+| 모델 | 예측 | A | B | C | D | 정오 |
+|---|---|---:|---:|---:|---:|---|
+| BF16 원본 | **B** | 44.8% | **50.8%** | 2.9% | 1.5% | ✓ |
+| GPTQ 4-bit | **B** | 20.5% | **71.5%** | 6.6% | 1.4% | ✓ |
+| FOEM 3-bit | **B** | 26.9% | **64.5%** | 5.6% | 3.0% | ✓ |
+
+세 모델 모두 정답을 맞혔지만, KMMLU 보고서의 일반적 패턴(BF16이 가장 확신)과 달리 여기서는 **GPTQ 4-bit(71.5%)가 BF16(50.8%)보다 더 확신에 찬 정답**을 냈다. BF16은 오답 A에도 44.8%를 배분해 두 선택지 사이에서 흔들렸다.
+
+### 5-2. document_11 (BF16만 정답 — 세부 정보 판독 실패)
+
+> **질문**: 해당 문서의 내용과 비교하였을때, 옳지 않은 선택지는 무엇인가요?
+> - A. 신년맞이 콘서트는 2023년 12월 31일 오후 8시에 개최된다.
+> - B. 콘서트의 개최 장소는 서울 올림픽 공원 체조경기장이다.
+> - C. 티켓의 QR코드가 첨부되어 있다.
+> - D. 좌석은 VIP석 B열 15번이다.
+>
+> **정답: D**
+
+| 모델 | 예측 | A | B | C | D | 정오 |
+|---|---|---:|---:|---:|---:|---|
+| BF16 원본 | **D** | 0.1% | 2.6% | 0.8% | **96.6%** | ✓ |
+| GPTQ 4-bit | **C** | 0.7% | 6.9% | **65.2%** | 27.2% | ✗ |
+| FOEM 3-bit | **C** | 2.7% | 4.0% | **58.1%** | 35.2% | ✗ |
+
+BF16은 96.6%의 확신으로 정답(D, 좌석 정보 불일치)을 맞혔지만, 두 양자화 모델은 모두 C(QR코드 유무)로 예측이 뒤바뀐다. 이미지 내 좌석 번호처럼 **작은 글씨의 세부 텍스트를 정밀하게 읽어야 하는 문항에서 텍스트 디코더 양자화가 시각 특징 활용의 정밀도를 떨어뜨리는** 사례로 보인다.
+
+### 5-3. table_43 (BF16만 정답 — 표 안 숫자값 오독)
+
+> **질문**: 2023년 시내버스 요금은 얼마입니까?
+> - A. 850원 B. 1000원 C. 1200원 D. 1300원
+>
+> **정답: D**
+
+| 모델 | 예측 | A | B | C | D | 정오 |
+|---|---|---:|---:|---:|---:|---|
+| BF16 원본 | **D** | 0.0% | 0.1% | 18.2% | **81.7%** | ✓ |
+| GPTQ 4-bit | **C** | 0.0% | 7.0% | **85.1%** | 7.9% | ✗ |
+| FOEM 3-bit | **C** | 0.7% | 7.1% | **49.0%** | 43.2% | ✗ |
+
+document_11과 동일한 구조 — BF16은 정답에 81.7%로 확신했지만, GPTQ는 오히려 오답 C에 85.1%라는 더 높은 확신을 보인다. 표에서 인접한 숫자값(1200원 vs 1300원)을 구분하는 정밀도가 4-bit 양자화로 손상된 사례다.
+
+### 5-4. chart_27 (BF16만 정답 — 양자화가 확신에 찬 오답을 유발)
+
+> **질문**: 15-24세 연령대에서 가장 많이 사용하는 SNS 플랫폼은 무엇인가요?
+> - A. 페이스북 B. 인스타그램 C. 트위터 D. 틱톡
+>
+> **정답: B**
+
+| 모델 | 예측 | A | B | C | D | 정오 |
+|---|---|---:|---:|---:|---:|---|
+| BF16 원본 | **B** | 1.1% | **98.2%** | 0.5% | 0.2% | ✓ |
+| GPTQ 4-bit | **A** | **67.7%** | 32.0% | 0.1% | 0.1% | ✗ |
+| FOEM 3-bit | **A** | **87.7%** | 9.8% | 1.3% | 1.2% | ✗ |
+
+BF16은 98.2%라는 거의 확정적인 확신으로 정답을 맞혔지만, GPTQ·FOEM은 모두 A로 예측이 뒤집히며 비트 수가 낮을수록(FOEM 87.7% > GPTQ 67.7%) 오답에 대한 확신도 더 커진다. 차트 막대의 상대적 높이를 비교하는 시각 판독이 텍스트 디코더 양자화만으로도 완전히 다른 결론으로 이어질 수 있음을 보여준다.
+
+### 5-5. document_20 (BF16만 정답 — 양자화 모델의 극단적 과확신)
+
+> **질문**: 보고서에서 하천 오염도를 어떻게 예상하고 있나요?
+> - A. 5% 상승 B. 5% 하락 C. 10% 상승 D. 10% 하락
+>
+> **정답: A**
+
+| 모델 | 예측 | A | B | C | D | 정오 |
+|---|---|---:|---:|---:|---:|---|
+| BF16 원본 | **A** | **85.3%** | 3.1% | 11.5% | 0.0% | ✓ |
+| GPTQ 4-bit | **C** | 5.5% | 2.3% | **92.1%** | 0.0% | ✗ |
+| FOEM 3-bit | **C** | 3.3% | 7.5% | **80.2%** | 9.0% | ✗ |
+
+BF16(85.3%)과 GPTQ(92.1%로 오답 C)가 서로 정반대 방향으로 강하게 확신하는 사례다. 수치의 크기(5% vs 10%)만 다른 선택지를 구분하는 문항으로, document_11·table_43과 함께 **"근소하게 다른 숫자/텍스트를 정밀 판독해야 하는 문항"에서 텍스트 디코더 양자화가 오히려 확신도를 오답 쪽으로 증폭시키는 공통 패턴**을 보여준다.
+
+### 5-6. document_41 (FOEM만 정답 — 양자화가 우연히 도움된 사례)
+
+> **질문**: 회사의 1년 총 순이익은 얼마인가요?
+> - A. 800억원 B. 900억원 C. 1000억원 D. 1100억원
+>
+> **정답: B**
+
+| 모델 | 예측 | A | B | C | D | 정오 |
+|---|---|---:|---:|---:|---:|---|
+| BF16 원본 | **C** | 0.9% | 29.3% | **45.4%** | 24.3% | ✗ |
+| GPTQ 4-bit | **C** | 1.0% | 34.3% | **44.0%** | 20.8% | ✗ |
+| FOEM 3-bit | **B** | 1.4% | **53.1%** | 15.2% | 30.3% | ✓ |
+
+BF16과 GPTQ는 모두 인접값 C(1000억원)로 오답이지만, FOEM 3-bit만 정답(B, 900억원)을 맞혔다. KMMLU 보고서의 Education 예시(5-5)와 같은 구조 — **문항 전체 통계로는 FOEM이 가장 낮은 정확도(document 58.75%)지만, 개별 문항에서는 저비트 양자화가 우연히 더 나은 예측을 내는 경우가 존재**한다.
+
+### 5-7. table_12 (FOEM만 정답 — 확률 분산 패턴 역전)
+
+> **질문**: 주거지역의 행정구역에 포함되지 않는 것은?
+> - A. 학교 B. 상가 C. 공원 D. 아파트단지
+>
+> **정답: B**
+
+| 모델 | 예측 | A | B | C | D | 정오 |
+|---|---|---:|---:|---:|---:|---|
+| BF16 원본 | **C** | 1.6% | 13.0% | **84.6%** | 0.8% | ✗ |
+| GPTQ 4-bit | **C** | 3.6% | 38.3% | **55.7%** | 2.4% | ✗ |
+| FOEM 3-bit | **B** | 24.1% | **57.7%** | 11.4% | 6.9% | ✓ |
+
+BF16 → GPTQ → FOEM 순으로 오답 C에 대한 확신이 84.6% → 55.7% → 11.4%로 점차 낮아지고, 정답 B에 대한 확신은 13.0% → 38.3% → 57.7%로 점차 높아지는 **선형적 역전 패턴**이 뚜렷하다. document_41과 마찬가지로 텍스트 카테고리 판단(행정구역 vs 시설물 분류)이 관련된 문항으로, 시각 판독보다 언어적 상식 추론에 가까운 문항에서는 저비트 양자화가 오히려 유리하게 작용하기도 한다는 점을 시사한다 (단, n=1 사례이므로 일반화에는 주의가 필요하다).
+
+---
+
+## 6. 결론
+
+1. **BF16 원본(62.08%)이 기준선**이며, GPTQ 4-bit는 -1.25%p, FOEM 3-bit는 -11.25%p 손실을 보인다. KMMLU(-2.69%p / -11.30%p)와 비교하면 **GPTQ 4-bit의 K-DTCBench 손실이 KMMLU보다 오히려 작다** — vision tower가 BF16로 유지되고 텍스트 디코더만 4-bit로 양자화되므로, 시각 정보 추출 자체는 잘 보존되는 것으로 보인다. FOEM 3-bit는 두 벤치마크 모두에서 비슷한 폭(-11%p대)의 손실을 보여, 3-bit 양자화의 손실은 태스크 유형과 무관하게 일관되게 크다.
+2. **카테고리별로는 chart가 가장 취약**하다 (BF16 52.50% — 3개 중 최저, FOEM 손실도 -15.00%p로 최대). 다단계 시각 비교·추론이 필요한 차트 문항이 3B 규모 모델과 저비트 양자화의 이중 한계에 가장 취약함을 시사한다.
+3. **table 카테고리에서는 GPTQ 4-bit가 BF16을 앞선다** (+2.50%p, n=80 기준 2문항 차이). 표는 셀 단위로 값이 명확히 분리되어 있어 양자화 손실의 영향이 상대적으로 작을 수 있으나, 표본 크기가 작아 노이즈일 가능성도 배제할 수 없다.
+4. **"근소하게 다른 숫자/텍스트를 정밀 판독해야 하는 문항"(5-2, 5-3, 5-5)에서 텍스트 디코더 양자화가 확신도를 오답 쪽으로 크게 증폭시키는 공통 패턴**이 관찰된다 — BF16이 90%대로 확신하던 정답을, 양자화 모델이 80~90%대로 확신하며 정반대 오답을 고르는 사례가 반복된다.
+5. **세 모델 모두 오답인 문항이 27.9%**에 달해, K-DTCBench의 상당 부분은 양자화와 무관한 **3B 모델 자체의 시각 추론 한계**임을 보여준다 (KMMLU의 Math 과목과 유사).
+6. **후속 실험 제안**: ① 디지털 vs 수기(handwritten) 이미지 하위 그룹 분리 평가 (현재 로드된 데이터셋 컬럼에는 해당 구분이 노출되어 있지 않아 추가 메타데이터 확인 필요); ② 동일 비트 FOEM vs GPTQ 비교; ③ chart 카테고리 전용 chain-of-thought 프롬프트 실험.
+
+---
+
+## 7. 산출물
+
+- `pseudo/eval_kdtcbench.py` — 독립 실행형 K-DTCBench 평가 스크립트 (BF16 원본 및 양자화 모델 모두 지원).
+- `pseudo/collect_kdtcbench_predictions.py` — 3-way 확률분포 수집 스크립트, `logs/kdtcbench_predictions.json` 산출.
+- `logs/base_kdtcbench.log`, `logs/gptq_kdtcbench.log`, `logs/foem_kdtcbench.log` — 모델별 평가 원본 로그.
+- `logs/kdtcbench_predictions.json` — 240문항 × 3모델 전체 예측/확률분포 (보고서 5절 예시 선정에 사용).
+- `Ministral-3-3B-Instruct-2512-BF16_gptq_4bit/README.md` — `## K-DTCBench 평가 결과` 섹션 포함.
+- `Ministral-3-3B-Instruct-2512-BF16_foem_3bit/README.md` — 동일.
+- `pseudo/KDTCBENCH_REPORT.md` — 이 파일.
diff --git a/FOEM/pseudo/KMMLU_REPORT.md b/FOEM/pseudo/KMMLU_REPORT.md
new file mode 100644
index 0000000..2824b05
--- /dev/null
+++ b/FOEM/pseudo/KMMLU_REPORT.md
@@ -0,0 +1,279 @@
+# Ministral-3-3B KMMLU 평가 비교 보고서
+**BF16 원본 vs GPTQ 4-bit vs FOEM 3-bit (5-shot, KMMLU 45개 과목 전체)**
+
+작성일: 2026-07-01 · 모델: `mistralai/Ministral-3-3B-Instruct-2512-BF16`
+
+---
+
+## 1. 목적
+
+WikiText-2 perplexity와 KMMLU 정확도를 세 가지 모델 변형에 걸쳐 비교한다: ① **BF16 원본** (비양자화, 기준선), ② **GPTQ 4-bit**, ③ **FOEM 3-bit** (α=0, β=0.2). 이를 통해 각 양자화 방법이 한국어 도메인 지식·추론 능력을 얼마나 보존/손실시키는지 정량화한다.
+
+| 모델 | 양자화 방법 | 비트 | WikiText-2 PPL |
+|---|---|---|---|
+| `Ministral-3-3B-Instruct-2512-BF16` | 없음 (기준) | BF16 | N/A |
+| `Ministral-3-3B-Instruct-2512-BF16_gptq_4bit` | GPTQ | 4-bit | 8.72 |
+| `Ministral-3-3B-Instruct-2512-BF16_foem_3bit` | FOEM (α=0, β=0.2) | 3-bit | 10.87 |
+
+---
+
+## 2. 평가 방법
+
+- **데이터셋**: `HAERAE-HUB/KMMLU` — 단일 "All" config 없음, 45개 과목별 config 순회 누적.
+- **Few-shot**: 5-shot (각 과목 `dev` split 5문항, KMMLU 공식 벤치마크와 동일 설정).
+- **채점 방식**: log-likelihood 기반 4지선다 (generate() 없음). 5-shot 프롬프트 뒤에서 " A"/" B"/" C"/" D" 토큰의 logit argmax.
+- **구현**: `pseudo/eval_kmmlu.py`. BF16 원본은 `Mistral3ForConditionalGeneration.from_pretrained()` + `tie_weights()` 호출, 양자화 모델은 `GPTQModel.load()` + `.model` 추출 패턴.
+
+---
+
+## 3. 전체 결과
+
+| 모델 | 정확도 (micro) | 정확도 (macro) | 소요 시간 | 문항 수 |
+|---|---:|---:|---:|---:|
+| **BF16 원본** | **46.88%** | 46.02% | 47.1분 | 35,030 |
+| **GPTQ 4-bit** | **44.19%** | 43.42% | 62.4분 | 35,030 |
+| **FOEM 3-bit** | **35.58%** | 35.03% | 64.9분 | 35,030 |
+| 4지선다 무작위 기준선 | 25.00% | 25.00% | - | - |
+
+**양자화로 인한 정확도 저하 (BF16 대비)**
+
+| 모델 | micro 차이 | macro 차이 |
+|---|---:|---:|
+| GPTQ 4-bit | -2.69%p | -2.60%p |
+| FOEM 3-bit | -11.30%p | -10.99%p |
+
+---
+
+## 4. 과목별 분석
+
+45개 과목 전체 3-way 비교 표
+
+| 과목 | BF16 | GPTQ 4-bit | FOEM 3-bit | 문항 수 |
+|---|---:|---:|---:|---:|
+| Accounting | 41.0% | 37.0% | 37.0% | 100 |
+| Agricultural-Sciences | 37.7% | 36.1% | 28.0% | 1000 |
+| Aviation-Engineering-and-Maintenance | 44.7% | 41.5% | 35.3% | 1000 |
+| Biology | 38.9% | 36.9% | 28.8% | 1000 |
+| Chemical-Engineering | 49.8% | 47.3% | 37.0% | 1000 |
+| Chemistry | 51.8% | 48.0% | 36.5% | 600 |
+| Civil-Engineering | 44.2% | 41.5% | 31.3% | 1000 |
+| Computer-Science | 72.0% | 69.2% | 54.1% | 1000 |
+| Construction | 36.8% | 34.4% | 32.3% | 1000 |
+| Criminal-Law | 34.0% | 33.5% | 27.5% | 200 |
+| Ecology | 48.7% | 45.8% | 31.4% | 1000 |
+| Economics | 46.9% | 46.9% | 39.2% | 130 |
+| Education | 64.0% | 58.0% | 37.0% | 100 |
+| Electrical-Engineering | 35.3% | 34.3% | 26.4% | 1000 |
+| Electronics-Engineering | 54.5% | 52.9% | 37.9% | 1000 |
+| Energy-Management | 34.0% | 33.1% | 27.5% | 1000 |
+| Environmental-Science | 35.0% | 30.4% | 25.2% | 1000 |
+| Fashion | 46.4% | 44.6% | 35.1% | 1000 |
+| Food-Processing | 43.6% | 41.9% | 34.4% | 1000 |
+| Gas-Technology-and-Engineering | 39.9% | 36.4% | 30.3% | 1000 |
+| Geomatics | 44.5% | 39.8% | 32.6% | 1000 |
+| Health | 64.0% | 55.0% | 37.0% | 100 |
+| Industrial-Engineer | 44.3% | 40.5% | 33.0% | 1000 |
+| Information-Technology | 69.1% | 64.4% | 49.1% | 1000 |
+| Interior-Architecture-and-Design | 53.2% | 50.8% | 41.2% | 1000 |
+| Law | 45.7% | 42.6% | 33.3% | 1000 |
+| Machine-Design-and-Manufacturing | 44.4% | 42.8% | 34.4% | 1000 |
+| Management | 53.9% | 49.0% | 41.6% | 1000 |
+| Maritime-Engineering | 47.0% | 44.8% | 35.2% | 600 |
+| Marketing | 75.4% | 74.9% | 59.9% | 1000 |
+| Materials-Engineering | 48.9% | 44.8% | 35.5% | 1000 |
+| Mechanical-Engineering | 43.0% | 39.4% | 32.1% | 1000 |
+| Nondestructive-Testing | 47.4% | 45.4% | 36.6% | 1000 |
+| Patent | 28.0% | 32.0% | 25.0% | 100 |
+| Political-Science-and-Sociology | 52.0% | 47.3% | 38.0% | 300 |
+| Psychology | 45.5% | 43.2% | 34.6% | 1000 |
+| Public-Safety | 39.8% | 38.1% | 28.9% | 1000 |
+| Railway-and-Automotive-Engineering | 40.5% | 38.6% | 31.9% | 1000 |
+| Real-Estate | 38.5% | 38.5% | 36.5% | 200 |
+| Refrigerating-Machinery | 37.2% | 32.7% | 28.2% | 1000 |
+| Social-Welfare | 55.8% | 52.6% | 38.6% | 1000 |
+| Taxation | 38.0% | 40.0% | 32.5% | 200 |
+| Telecommunications-and-Wireless-Technology | 59.0% | 55.5% | 41.3% | 1000 |
+| Korean-History | 33.0% | 27.0% | 33.0% | 100 |
+| Math | 23.7% | 24.3% | 23.7% | 300 |
+
+과목별 정확도
+
+| 과목 | 정확도 | 문항 수 |
+|---|---:|---:|
+{per_subject_rows}
+
+카테고리별 정확도
+
+| 카테고리 | 정확도 | 문항 수 |
+|---|---:|---:|
+{per_cat_rows}
+
+FOEM 3bit 베이스라인 (group_size=128) — 한국어 질의
+
+
+
+
+
+
+
+
+
+"""
+
+
+@app.post("/chat", response_model=ChatResponse)
+@torch.inference_mode()
+def chat(req: ChatRequest):
+ hf = state["model"]
+ processor = state["processor"]
+ dev = next(hf.parameters()).device
+
+ messages = [{"role": "user", "content": req.message}]
+ text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+ inputs = processor(text=text, return_tensors="pt").to(dev)
+
+ t0 = time.time()
+ out = hf.generate(
+ **inputs,
+ max_new_tokens=req.max_tokens,
+ do_sample=req.temperature > 0,
+ temperature=req.temperature if req.temperature > 0 else 1.0,
+ top_p=0.9,
+ )
+ gen_tokens = out[0][inputs["input_ids"].shape[1]:]
+ response_text = processor.tokenizer.decode(gen_tokens, skip_special_tokens=True)
+ elapsed = time.time() - t0
+
+ return ChatResponse(response=response_text, elapsed_sec=elapsed)
diff --git a/FOEM/pseudo/serve_foem_client_test.py b/FOEM/pseudo/serve_foem_client_test.py
new file mode 100644
index 0000000..4b3c31d
--- /dev/null
+++ b/FOEM/pseudo/serve_foem_client_test.py
@@ -0,0 +1,51 @@
+#!/usr/bin/env -S python -u
+"""serve_foem.py 서버에 기본 한국어 질의를 보내고 응답을 로그로 남긴다."""
+import json
+import time
+
+import requests
+
+BASE_URL = "http://127.0.0.1:8000"
+LOG_PATH = "/workspace/LLM-VLM-in-Jetson/FOEM/logs/serve_foem_korean_queries.log"
+
+PROMPTS = [
+ "대한민국의 수도는 어디인가요?",
+ "김치찌개를 맛있게 끓이는 방법을 3단계로 간단히 설명해줘.",
+ "인공지능이 무엇인지 한 문단으로 설명해줘.",
+ "1부터 10까지 더하면 얼마야?",
+ "오늘 기분이 좋아. 짧은 한국어 시를 하나 지어줘.",
+]
+
+
+def main():
+ r = requests.get(f"{BASE_URL}/health", timeout=10)
+ print("[health]", r.json())
+
+ results = []
+ for i, prompt in enumerate(PROMPTS, 1):
+ t0 = time.time()
+ r = requests.post(f"{BASE_URL}/chat", json={"message": prompt}, timeout=120)
+ r.raise_for_status()
+ data = r.json()
+ wall = time.time() - t0
+ print(f"\n=== [{i}/{len(PROMPTS)}] server={data['elapsed_sec']:.1f}s wall={wall:.1f}s ===")
+ print(f"Q: {prompt}")
+ print(f"A: {data['response']}")
+ results.append({
+ "question": prompt,
+ "answer": data["response"],
+ "server_elapsed_sec": data["elapsed_sec"],
+ "wall_elapsed_sec": wall,
+ })
+
+ with open(LOG_PATH, "w", encoding="utf-8") as f:
+ json.dump({
+ "model": "FOEM 3bit baseline (group_size=128, alpha=0.0, beta=0.2)",
+ "serving": "FastAPI + HF transformers generate() (model loaded once at startup)",
+ "results": results,
+ }, f, ensure_ascii=False, indent=2)
+ print(f"\n[done] saved -> {LOG_PATH}")
+
+
+if __name__ == "__main__":
+ main()
diff --git a/FOEM/pseudo/update_report_with_base.py b/FOEM/pseudo/update_report_with_base.py
new file mode 100644
index 0000000..2a64dc2
--- /dev/null
+++ b/FOEM/pseudo/update_report_with_base.py
@@ -0,0 +1,327 @@
+#!/usr/bin/env python
+"""base_kmmlu.log에서 결과를 파싱해 KMMLU_REPORT.md를 베이스 모델 비교 버전으로 재작성."""
+import ast
+import re
+import sys
+
+LOG_PATH = "/workspace/LLM-VLM-in-Jetson/FOEM/logs/base_kmmlu.log"
+REPORT_PATH = "/workspace/LLM-VLM-in-Jetson/FOEM/pseudo/KMMLU_REPORT.md"
+
+# 기존 GPTQ / FOEM 결과 (하드코딩)
+GPTQ = {
+ "label": "GPTQ 4-bit",
+ "ppl": 8.72,
+ "micro": 44.19,
+ "macro": 43.42,
+ "elapsed_min": 62.4,
+ "n": 35030,
+ "per_subject": {
+ "Accounting": (37.00, 100), "Agricultural-Sciences": (36.10, 1000),
+ "Aviation-Engineering-and-Maintenance": (41.50, 1000), "Biology": (36.90, 1000),
+ "Chemical-Engineering": (47.30, 1000), "Chemistry": (48.00, 600),
+ "Civil-Engineering": (41.50, 1000), "Computer-Science": (69.20, 1000),
+ "Construction": (34.40, 1000), "Criminal-Law": (33.50, 200),
+ "Ecology": (45.80, 1000), "Economics": (46.92, 130),
+ "Education": (58.00, 100), "Electrical-Engineering": (34.30, 1000),
+ "Electronics-Engineering": (52.90, 1000), "Energy-Management": (33.10, 1000),
+ "Environmental-Science": (30.40, 1000), "Fashion": (44.60, 1000),
+ "Food-Processing": (41.90, 1000), "Gas-Technology-and-Engineering": (36.40, 1000),
+ "Geomatics": (39.80, 1000), "Health": (55.00, 100),
+ "Industrial-Engineer": (40.50, 1000), "Information-Technology": (64.40, 1000),
+ "Interior-Architecture-and-Design": (50.80, 1000), "Law": (42.60, 1000),
+ "Machine-Design-and-Manufacturing": (42.80, 1000), "Management": (49.00, 1000),
+ "Maritime-Engineering": (44.83, 600), "Marketing": (74.90, 1000),
+ "Materials-Engineering": (44.80, 1000), "Mechanical-Engineering": (39.40, 1000),
+ "Nondestructive-Testing": (45.40, 1000), "Patent": (32.00, 100),
+ "Political-Science-and-Sociology": (47.33, 300), "Psychology": (43.20, 1000),
+ "Public-Safety": (38.10, 1000), "Railway-and-Automotive-Engineering": (38.60, 1000),
+ "Real-Estate": (38.50, 200), "Refrigerating-Machinery": (32.70, 1000),
+ "Social-Welfare": (52.60, 1000), "Taxation": (40.00, 200),
+ "Telecommunications-and-Wireless-Technology": (55.50, 1000),
+ "Korean-History": (27.00, 100), "Math": (24.33, 300),
+ },
+}
+
+FOEM = {
+ "label": "FOEM 3-bit",
+ "ppl": 10.87,
+ "micro": 35.58,
+ "macro": 35.03,
+ "elapsed_min": 64.9,
+ "n": 35030,
+ "per_subject": {
+ "Accounting": (37.00, 100), "Agricultural-Sciences": (28.00, 1000),
+ "Aviation-Engineering-and-Maintenance": (35.30, 1000), "Biology": (28.80, 1000),
+ "Chemical-Engineering": (37.00, 1000), "Chemistry": (36.50, 600),
+ "Civil-Engineering": (31.30, 1000), "Computer-Science": (54.10, 1000),
+ "Construction": (32.30, 1000), "Criminal-Law": (27.50, 200),
+ "Ecology": (31.40, 1000), "Economics": (39.23, 130),
+ "Education": (37.00, 100), "Electrical-Engineering": (26.40, 1000),
+ "Electronics-Engineering": (37.90, 1000), "Energy-Management": (27.50, 1000),
+ "Environmental-Science": (25.20, 1000), "Fashion": (35.10, 1000),
+ "Food-Processing": (34.40, 1000), "Gas-Technology-and-Engineering": (30.30, 1000),
+ "Geomatics": (32.60, 1000), "Health": (37.00, 100),
+ "Industrial-Engineer": (33.00, 1000), "Information-Technology": (49.10, 1000),
+ "Interior-Architecture-and-Design": (41.20, 1000), "Law": (33.30, 1000),
+ "Machine-Design-and-Manufacturing": (34.40, 1000), "Management": (41.60, 1000),
+ "Maritime-Engineering": (35.17, 600), "Marketing": (59.90, 1000),
+ "Materials-Engineering": (35.50, 1000), "Mechanical-Engineering": (32.10, 1000),
+ "Nondestructive-Testing": (36.60, 1000), "Patent": (25.00, 100),
+ "Political-Science-and-Sociology": (38.00, 300), "Psychology": (34.60, 1000),
+ "Public-Safety": (28.90, 1000), "Railway-and-Automotive-Engineering": (31.90, 1000),
+ "Real-Estate": (36.50, 200), "Refrigerating-Machinery": (28.20, 1000),
+ "Social-Welfare": (38.60, 1000), "Taxation": (32.50, 200),
+ "Telecommunications-and-Wireless-Technology": (41.30, 1000),
+ "Korean-History": (33.00, 100), "Math": (23.67, 300),
+ },
+}
+
+
+def parse_log(path: str) -> dict:
+ per_subject = {}
+ micro = macro = elapsed_min = n_questions = None
+
+ with open(path) as f:
+ for line in f:
+ # [kmmlu] Subject: 44.00% (44/100) [3/45]
+ m = re.match(r"\[kmmlu\] (.+?): ([\d.]+)%\s+\((\d+)/(\d+)\)", line)
+ if m:
+ subj, acc, corr, total = m.group(1), float(m.group(2)), int(m.group(3)), int(m.group(4))
+ per_subject[subj] = (acc, total)
+
+ # [kmmlu] micro=XX% macro=XX% n=XXXXX elapsed=XX.Xmin
+ m2 = re.match(r"\[kmmlu\] micro=([\d.]+)%\s+macro=([\d.]+)%\s+n=(\d+)\s+elapsed=([\d.]+)분", line)
+ if m2:
+ micro = float(m2.group(1))
+ macro = float(m2.group(2))
+ n_questions = int(m2.group(3))
+ elapsed_min = float(m2.group(4))
+
+ return {
+ "micro": micro,
+ "macro": macro,
+ "elapsed_min": elapsed_min,
+ "n": n_questions,
+ "per_subject": per_subject,
+ }
+
+
+def format_diff(base_val, comp_val):
+ d = base_val - comp_val
+ sign = "+" if d > 0 else ""
+ return f"{sign}{d:.1f}%p"
+
+
+def main():
+ base = parse_log(LOG_PATH)
+ if base["micro"] is None:
+ print("ERROR: 평가 결과를 파싱할 수 없습니다. 로그를 확인하세요.", file=sys.stderr)
+ sys.exit(1)
+
+ base["label"] = "BF16 (원본)"
+ base["ppl"] = "N/A"
+
+ print(f"[파싱 완료] micro={base['micro']:.2f}% macro={base['macro']:.2f}% "
+ f"elapsed={base['elapsed_min']:.1f}분 subjects={len(base['per_subject'])}")
+
+ subjects = list(GPTQ["per_subject"].keys())
+
+ # -- 과목별 3-way 비교 표 --
+ subject_rows = []
+ for s in subjects:
+ b_acc, n = base["per_subject"].get(s, (0.0, 0))
+ g_acc = GPTQ["per_subject"][s][0]
+ f_acc = FOEM["per_subject"][s][0]
+ subject_rows.append((s, b_acc, g_acc, f_acc, n))
+
+ # GPTQ 대비 base 차이 기준 정렬
+ subject_rows_sorted = sorted(subject_rows, key=lambda r: r[1] - r[2], reverse=True)
+
+ top5_base_wins = subject_rows_sorted[:5]
+ bottom5 = subject_rows_sorted[-5:]
+
+ # -- 보고서 작성 --
+ base_micro = base["micro"]
+ base_macro = base["macro"]
+ base_elapsed = base["elapsed_min"]
+ base_n = base["n"]
+
+ report = f"""# Ministral-3-3B KMMLU 평가 비교 보고서
+**BF16 원본 vs GPTQ 4-bit vs FOEM 3-bit (5-shot, KMMLU 45개 과목 전체)**
+
+작성일: 2026-07-01 · 모델: `mistralai/Ministral-3-3B-Instruct-2512-BF16`
+
+---
+
+## 1. 목적
+
+WikiText-2 perplexity와 KMMLU 정확도를 세 가지 모델 변형에 걸쳐 비교한다: ① **BF16 원본** (비양자화, 기준선), ② **GPTQ 4-bit**, ③ **FOEM 3-bit** (α=0, β=0.2). 이를 통해 각 양자화 방법이 한국어 도메인 지식·추론 능력을 얼마나 보존/손실시키는지 정량화한다.
+
+| 모델 | 양자화 방법 | 비트 | WikiText-2 PPL |
+|---|---|---|---|
+| `Ministral-3-3B-Instruct-2512-BF16` | 없음 (기준) | BF16 | N/A |
+| `Ministral-3-3B-Instruct-2512-BF16_gptq_4bit` | GPTQ | 4-bit | 8.72 |
+| `Ministral-3-3B-Instruct-2512-BF16_foem_3bit` | FOEM (α=0, β=0.2) | 3-bit | 10.87 |
+
+---
+
+## 2. 평가 방법
+
+- **데이터셋**: `HAERAE-HUB/KMMLU` — 단일 "All" config 없음, 45개 과목별 config 순회 누적.
+- **Few-shot**: 5-shot (각 과목 `dev` split 5문항, KMMLU 공식 벤치마크와 동일 설정).
+- **채점 방식**: log-likelihood 기반 4지선다 (generate() 없음). 5-shot 프롬프트 뒤에서 " A"/" B"/" C"/" D" 토큰의 logit argmax.
+- **구현**: `pseudo/eval_kmmlu.py`. BF16 원본은 `Mistral3ForConditionalGeneration.from_pretrained()` + `tie_weights()` 호출, 양자화 모델은 `GPTQModel.load()` + `.model` 추출 패턴.
+
+---
+
+## 3. 전체 결과
+
+| 모델 | 정확도 (micro) | 정확도 (macro) | 소요 시간 | 문항 수 |
+|---|---:|---:|---:|---:|
+| **BF16 원본** | **{base_micro:.2f}%** | {base_macro:.2f}% | {base_elapsed:.1f}분 | {base_n:,} |
+| **GPTQ 4-bit** | **{GPTQ['micro']:.2f}%** | {GPTQ['macro']:.2f}% | {GPTQ['elapsed_min']:.1f}분 | {GPTQ['n']:,} |
+| **FOEM 3-bit** | **{FOEM['micro']:.2f}%** | {FOEM['macro']:.2f}% | {FOEM['elapsed_min']:.1f}분 | {FOEM['n']:,} |
+| 4지선다 무작위 기준선 | 25.00% | 25.00% | - | - |
+
+**양자화로 인한 정확도 저하 (BF16 대비)**
+
+| 모델 | micro 차이 | macro 차이 |
+|---|---:|---:|
+| GPTQ 4-bit | {GPTQ['micro'] - base_micro:+.2f}%p | {GPTQ['macro'] - base_macro:+.2f}%p |
+| FOEM 3-bit | {FOEM['micro'] - base_micro:+.2f}%p | {FOEM['macro'] - base_macro:+.2f}%p |
+
+---
+
+## 4. 과목별 분석
+
+45개 과목 전체 3-way 비교 표
+
+| 과목 | BF16 | GPTQ 4-bit | FOEM 3-bit | 문항 수 |
+|---|---:|---:|---:|---:|
+"""
+
+ for s, b, g, f, n in subject_rows:
+ report += f"| {s} | {b:.1f}% | {g:.1f}% | {f:.1f}% | {n} |\n"
+
+ report += """
+