ข่าวนี้เล่าถึงผลการวิจัยที่ชี้ให้เห็นว่า การฝึกอบรมปัญญาประดิษฐ์ (AI) มากเกินไป อาจส่งผลเสียต่อประสิทธิภาพของโมเดล โดยนักวิจัยจากมหาวิทยาลัยชั้นนำในสหรัฐฯ เช่น Carnegie Mellon, Stanford, Harvard และ Princeton ได้ค้นพบปรากฏการณ์ที่เรียกว่า “Catastrophic Overtraining” นักวิจัยพบว่าเมื่อโมเดล AI ถูกฝึกอบรมด้วยข้อมูลจำนวนมากเกินไป เช่น การเพิ่มจำนวนโทเค็นจาก 2.3 ล้านล้านเป็น 3 ล้านล้านในโมเดล OLMo-1B ประสิทธิภาพของโมเดลกลับลดลงถึง 3% ในการทดสอบมาตรฐาน เช่น AlpacaEval และ ARC สาเหตุหลักมาจาก “Progressive Sensitivity” ซึ่งทำให้โมเดลมีความเปราะบางต่อการเปลี่ยนแปลงเล็กน้อย เช่น การปรับแต่งหรือการเพิ่มเสียงรบกวน นักวิจัยยังชี้ให้เห็นว่า “Inflection Point” หรือจุดที่การฝึกอบรมเพิ่มเติมเริ่มส่งผลเสียต่อประสิทธิภาพ มักเกิดขึ้นเมื่อจำนวนโทเค็นเกิน 2.5 ล้านล้านในโมเดลขนาดเล็ก การค้นพบนี้เรียกร้องให้มีการพิจารณาใหม่เกี่ยวกับการปรับขนาดโมเดล AI โดยเน้นที่กระบวนการฝึกอบรมทั้งหมดแทนที่จะมุ่งเน้นที่การเพิ่มข้อมูลเพียงอย่างเดียว ✅ การค้นพบปรากฏการณ์ Catastrophic Overtraining - การฝึกอบรม AI มากเกินไปอาจลดประสิทธิภาพของโมเดล - Progressive Sensitivity ทำให้โมเดลเปราะบางต่อการเปลี่ยนแปลงเล็กน้อย ✅ ผลกระทบของการฝึกอบรมเพิ่มเติม - โมเดล OLMo-1B ที่ฝึกอบรมด้วยข้อมูล 3 ล้านล้านโทเค็นมีประสิทธิภาพลดลงถึง 3% - Inflection Point มักเกิดขึ้นเมื่อจำนวนโทเค็นเกิน 2.5 ล้านล้าน ✅ ข้อเสนอแนะจากนักวิจัย - ควรพิจารณากระบวนการฝึกอบรมทั้งหมดแทนการเพิ่มข้อมูลเพียงอย่างเดียว - การปรับขนาดโมเดล AI ควรคำนึงถึงความสมดุลระหว่างข้อมูลและความเสถียร ℹ️ ความเสี่ยงจากการฝึกอบรมมากเกินไป - การฝึกอบรมมากเกินไปอาจทำให้โมเดลเปราะบางและลดประสิทธิภาพ - การเพิ่มเสียงรบกวนหรือการปรับแต่งอาจส่งผลเสียต่อโมเดลที่ฝึกอบรมมากเกินไป ℹ️ คำแนะนำสำหรับนักพัฒนา AI - ควรพิจารณาจำนวนข้อมูลที่เหมาะสมสำหรับการฝึกอบรม - การพัฒนาโมเดล AI ควรเน้นที่ความสมดุลระหว่างข้อมูลและความเสถียร https://www.techradar.com/pro/catastrophic-overtraining-could-harm-large-language-ai-models-that-are-trained-on-more-data-for-the-sake-of-training