🧪 “REFRAG — งานวิจัยแรกของ Meta Superintelligence ที่พลิกโฉม RAG ให้เร็วขึ้น 30 เท่า” ลองจินตนาการว่าโมเดลภาษาขนาดใหญ่ (LLM) สามารถตอบคำถามจากฐานข้อมูลได้เร็วขึ้นกว่าเดิมถึง 30 เท่า โดยไม่ต้องเสียความแม่นยำ — นั่นคือสิ่งที่ Meta Superintelligence (MSI) นำเสนอในงานวิจัยแรกของพวกเขา “REFRAG” ซึ่งเป็นการปรับปรุงกระบวนการ Retrieval-Augmented Generation (RAG) ให้มีประสิทธิภาพสูงขึ้นอย่างน่าทึ่ง แทนที่จะส่งข้อมูลทั้งหมดจากเอกสารที่ค้นมาให้ LLM ประมวลผล REFRAG ใช้เทคนิคใหม่ที่แปลงข้อมูลเหล่านั้นเป็น “chunk embeddings” ซึ่งเป็นเวกเตอร์ที่ LLM เข้าใจได้โดยตรง และใช้ policy network ที่ฝึกด้วย reinforcement learning เพื่อเลือกบางส่วนที่ควรขยายกลับเป็น token เต็มรูปแบบภายใต้ข้อจำกัดด้านงบประมาณ ผลลัพธ์คือ ลดการใช้ KV cache และ attention cost ได้อย่างมาก ทำให้ latency ต่ำลงและ throughput สูงขึ้น โดยยังคงความแม่นยำของผลลัพธ์ไว้ได้ ✅ จุดเด่นของ REFRAG ➡️ ปรับปรุงกระบวนการ RAG โดยใช้ chunk embeddings แทน token เต็ม ➡️ ใช้ policy network เพื่อเลือกบางส่วนที่ควรขยายกลับเป็น token ➡️ ลด latency และเพิ่ม throughput โดยไม่ลดความแม่นยำ ✅ วิธีการทำงาน ➡️ เอกสารถูกแบ่งเป็น chunk (~128 token) และแปลงเป็น embeddings ➡️ embeddings ถูกส่งเข้า LLM โดยตรง พร้อมกับบาง chunk ที่ถูกขยายเป็น token ➡️ policy network ตัดสินใจเลือก chunk ที่ควรขยาย โดยใช้ RL objective ✅ ผลกระทบเชิงธุรกิจ ➡️ ลดต้นทุน inference และเพิ่มความเร็วตอบกลับ ➡️ เหมาะกับแอปพลิเคชันที่ใช้ RAG เช่น customer support, summarization, vertical agents ➡️ เพิ่มจำนวน query ต่อ GPU และลดค่าใช้จ่ายโครงสร้างพื้นฐาน ✅ ข้อมูลเสริมจากภายนอก ➡️ RAG คือการใช้การค้นคืนข้อมูลร่วมกับการสร้างข้อความจาก LLM ➡️ ChaCha20-Poly1305 เป็นอัลกอริธึมเข้ารหัสที่ใช้ใน Wireguard และบางระบบ AI ➡️ RL (Reinforcement Learning) ช่วยให้ policy network ตัดสินใจได้ดีขึ้นภายใต้ข้อจำกัด ‼️ ข้อควรระวังและข้อจำกัด ⛔ ต้องฝึก encoder และ projection ให้ LLM เข้าใจ embeddings ⛔ การฝึก policy network ด้วย RL เพิ่มความซับซ้อนในการพัฒนา ⛔ การบีบอัดมากเกินไปอาจลดคุณภาพของผลลัพธ์ ⛔ embeddings ที่ precompute เหมาะกับข้อมูลคงที่ ไม่เหมาะกับข้อมูลที่เปลี่ยนบ่อย ⛔ งานบางประเภท เช่น กฎหมายหรือการแพทย์ อาจต้องใช้ token เต็มเพื่อความแม่นยำ https://paddedinputs.substack.com/p/meta-superintelligences-surprising