experiment_report.md

實驗結果報告

日期: 2025-12-09
實驗數量: 12 (P0-P3 phases)
總耗時: ~3.3 小時
LLM 模型: Ollama (gemma3:12b, qwen3:8b)

---

🏆 實驗總結

#	實驗名稱	F1	Precision	Recall	模型	score_th	llm_th
1	P0_baseline_gemma3	0.1358	0.1719	0.1122	gemma3:12b	0.60	7
2	P0_baseline_qwen3	0.1722	0.2453	0.1327	qwen3:8b	0.60	7
3	P1_score_th_050_gemma3	0.1158	0.1196	0.1122	gemma3:12b	0.50	7
4	P1_score_th_055_gemma3	0.1064	0.1111	0.1020	gemma3:12b	0.55	7
5	P1_score_th_045_gemma3	0.1164	0.1209	0.1122	gemma3:12b	0.45	7
6	P2_llm_th_5_gemma3	0.1353	0.1284	0.1429	gemma3:12b	0.50	5
7	P2_llm_th_6_gemma3	0.1379	0.1333	0.1429	gemma3:12b	0.50	6
8	P2_llm_th_5_qwen3	0.1497	0.1573	0.1429	qwen3:8b	0.50	5
9	P2_llm_th_6_qwen3	0.1750	0.2258	0.1429	qwen3:8b	0.50	6
10	P3_best_gemma3	0.1379	0.1333	0.1429	gemma3:12b	0.50	6
11	P3_best_qwen3	0.1750	0.2258	0.1429	qwen3:8b	0.50	6
12	P3_aggressive_gemma3	0.1359	0.1296	0.1429	gemma3:12b	0.45	5

---

🔍 關鍵發現

1. 模型比較

模型	最佳 F1	平均 F1	優勢
qwen3:8b	0.175	0.162	Precision 更高
gemma3:12b	0.138	0.123	速度更快

結論: Qwen3:8b 明顯優於 Gemma3:12b (+27% F1)

2. 參數影響

參數	最佳值	觀察
score_threshold	0.50-0.60	降低反而降低 Gemma3 的 F1
llm_threshold	6	比 7 略好，5 則過於寬鬆

3. 速度對比

模型	平均實驗時間
gemma3:12b	~600s (10分鐘)
qwen3:8b	~1900s (32分鐘)

---

📊 最佳配置

# config.py 建議設定
llm_provider = "ollama"
llm_model = "qwen3:8b"
score_threshold = 0.50
confidence_threshold = 6

---

📁 結果檔案

檔案	說明
results/experiment_log.csv	實驗記錄
results/train_v99_selective_merge.csv	最佳結果 (F1=0.175)
results/train_v91-v102_selective_merge.csv	各實驗預測結果