File tree 1 file changed +1
-1
lines changed
1 file changed +1
-1
lines changed Original file line number Diff line number Diff line change @@ -43,7 +43,7 @@ Based on Typhoon-7B (https://huggingface.co/scb10x/typhoon-7b) tokenizer
43
43
44
44
## Pretraining
45
45
46
- เราได้ใช้ pipeline สำหรับเทรน LLM ของเราด้วย [ EasyLM project] ( https://github.com/young-geng/EasyLM ) เป็นชุด pipeline ของ[ โมเดล OpenLLaMA] ( https://github.com/openlm-research/open_llama ) เราได้ยืนขอการสนับสนุน TPU ผ่านโครงการ [ TPU Research Cloud] ( https://sites.research.google/trc/about/ ) ของ Google และเราได้ใช้เครติดฟรีของ Googel Cloud สำหรับการทำ pretrained model ทำให้เราไม่เสียค่าใช้จ่ายใด ๆ ในการเทรนโมเดลเลย
46
+ เราได้ใช้ pipeline สำหรับเทรน LLM ของเราด้วย [ EasyLM project] ( https://github.com/young-geng/EasyLM ) เป็นชุด pipeline ของ[ โมเดล OpenLLaMA] ( https://github.com/openlm-research/open_llama ) เราได้ยืนขอการสนับสนุน TPU ผ่านโครงการ [ TPU Research Cloud] ( https://sites.research.google/trc/about/ ) ของ Google และเราได้ใช้เครติดฟรีของ Google Cloud สำหรับการทำ pretrained model ทำให้เราไม่เสียค่าใช้จ่ายใด ๆ ในการเทรนโมเดลเลย
47
47
48
48
เราได้ทำการเทรนโมเดลทั้งขนาด 1B กับ 3B บนชุดข้อมูลเดียวกัน โดยใช้สถาปัตยกรรม Llama 2 จำนวนแค่ 1 Epoch เพื่อไม่ให้ repeat
49
49
You can’t perform that action at this time.
0 commit comments