🖥️ การทดลองฝึก LLM บนเครื่องส่วนตัว บทความของ Giles Thomas เล่าประสบการณ์การ train LLM ขนาดเล็ก (163M parameters) ด้วยการ์ดจอ RTX 3090 ที่บ้าน โดยใช้ชุดข้อมูล FineWeb และ FineWeb-Edu จาก Hugging Face ผลลัพธ์คือสามารถฝึกโมเดล GPT-2 ขนาดเล็กให้มีคุณภาพใกล้เคียงต้นฉบับภายใน 48 ชั่วโมง ซึ่งแสดงให้เห็นว่า การสร้าง base model ไม่ใช่เรื่องที่ทำได้เฉพาะในห้องแล็บใหญ่ ๆ อีกต่อไป. Giles เริ่มจากแรงบันดาลใจในหนังสือของ Sebastian Raschka ที่สอนการสร้าง LLM จากศูนย์ และตั้งคำถามว่า สามารถฝึกโมเดลจริง ๆ บนเครื่องส่วนตัวได้หรือไม่ เขาเลือกใช้สเปก GPT-2 small (163M parameters, context length 1024, 12 layers, 12 heads) และตัดสินใจไม่ใช้ weight tying เพื่อความง่ายในการทดลอง. 📚 ข้อมูลที่ใช้ในการฝึก เขาเลือกใช้ FineWeb 10B tokens และ FineWeb-Edu ซึ่งเป็นชุดข้อมูลที่คัดกรองเนื้อหาการศึกษา โดยรวมแล้วได้ข้อมูลกว่า 14 ล้านเอกสาร (~29GB) และอีก 9 ล้านเอกสาร (~27GB) จาก FineWeb-Edu หลังจาก tokenize พบว่ามีข้อมูลประมาณ 10 พันล้าน tokens ซึ่งเพียงพอสำหรับการฝึกตาม Chinchilla heuristic (20 tokens ต่อ parameter). ⚡ ประสิทธิภาพการฝึก การทดสอบ batch size พบว่า RTX 3090 สามารถประมวลผลได้ราว 12,000 tokens ต่อวินาที ทำให้การฝึกโมเดล 163M parameters บน 3.2 พันล้าน tokens ใช้เวลาประมาณ 3 วัน ซึ่งถือว่าเป็นไปได้จริงสำหรับเครื่องระดับ consumer. Giles ใช้เทคนิค TF32 และ mixed precision เพื่อเร่งความเร็ว และพบว่า การฝึกแบบ Chinchilla-optimal สามารถเสร็จสิ้นภายใน 48 ชั่วโมง. 🌍 ความหมายต่อวงการ AI บทความนี้ชี้ว่า การสร้าง base model ไม่ใช่เรื่องที่ทำได้เฉพาะบริษัทใหญ่ อีกต่อไป นักวิจัยอิสระหรือผู้สนใจสามารถทดลองฝึกโมเดลด้วยเครื่อง consumer-grade ได้แล้ว แม้จะไม่สามารถแข่งขันกับโมเดลระดับพันล้านพารามิเตอร์ แต่ก็เพียงพอสำหรับการศึกษา, การทดลอง และการสร้างโมเดลเฉพาะทาง. 📌 สรุปประเด็นสำคัญ ✅ สเปกโมเดลที่ใช้ ➡️ GPT-2 small, 163M parameters, context length 1024 ➡️ ไม่ใช้ weight tying เพื่อความง่าย ✅ ข้อมูลที่ใช้ ➡️ FineWeb 10B tokens (~29GB) ➡️ FineWeb-Edu (~27GB) ➡️ รวมกว่า 10 พันล้าน tokens ✅ ผลการฝึก ➡️ RTX 3090 ทำได้ ~12,000 tokens/วินาที ➡️ ใช้เวลาประมาณ 48 ชั่วโมงในการฝึกจนใกล้เคียง GPT-2 ต้นฉบับ ‼️ คำเตือนและข้อจำกัด ⛔ ไม่สามารถฝึกโมเดลขนาดใหญ่ระดับพันล้านพารามิเตอร์ได้บนเครื่องเดียว ⛔ การใช้ข้อมูลที่ไม่ได้กรองอาจทำให้คุณภาพโมเดลลดลง ⛔ ต้องใช้เทคนิค mixed precision และการจัดการหน่วยความจำอย่างระมัดระวัง https://www.gilesthomas.com/2025/12/llm-from-scratch-28-training-a-base-model-from-scratch