🧠 “Meta เปิดตัว OpenZL — ระบบบีบอัดข้อมูลแบบรู้โครงสร้างที่เร็วกว่า ฉลาดกว่า และเปิดให้ทุกคนใช้” Meta ประกาศเปิดตัว OpenZL ระบบบีบอัดข้อมูลแบบใหม่ที่ออกแบบมาเพื่อข้อมูลที่มีโครงสร้าง เช่น ตาราง, ข้อมูลเชิงเวลา, หรือข้อมูลจากโมเดล AI โดย OpenZL เป็นโอเพ่นซอร์สที่ให้ประสิทธิภาพเทียบเท่ากับเครื่องมือเฉพาะทาง แต่ยังคงความง่ายในการใช้งานด้วย binary เดียวสำหรับการถอดรหัสทุกประเภทไฟล์ แนวคิดหลักของ OpenZL คือการ “เปิดเผยโครงสร้าง” ของข้อมูลก่อนบีบอัด โดยผู้ใช้สามารถระบุรูปแบบข้อมูลผ่านภาษาคำอธิบายที่ชื่อว่า SDDL หรือใช้ parser ที่เขียนเอง จากนั้นระบบจะฝึก (train) เพื่อสร้างแผนการบีบอัดที่เหมาะสมที่สุดสำหรับข้อมูลนั้น ๆ ซึ่งสามารถปรับเปลี่ยนได้ตามลักษณะข้อมูลที่เปลี่ยนไปในอนาคต OpenZL ใช้เทคนิคการแยกข้อมูลออกเป็น stream ที่มีลักษณะเหมือนกัน เช่น คอลัมน์ตัวเลข, ข้อมูลที่เรียงลำดับ, หรือข้อมูลที่มีค่าซ้ำ ๆ แล้วเลือกวิธีบีบอัดที่เหมาะกับแต่ละ stream เช่น delta, transpose หรือ tokenize เพื่อให้ได้อัตราการบีบอัดสูงสุดโดยไม่เสียความเร็ว ตัวอย่างการใช้งานจริงแสดงให้เห็นว่า OpenZL สามารถบีบอัดไฟล์จากชุดข้อมูล Silesia ได้ดีกว่า zstd และ xz ทั้งในด้านขนาดและความเร็ว โดยสามารถบีบอัดได้เร็วถึง 340 MB/s และถอดรหัสได้เร็วถึง 1200 MB/s ที่สำคัญคือ OpenZL ใช้ decoder เดียวสำหรับทุกไฟล์ ไม่ว่าจะใช้แผนการบีบอัดแบบใด ทำให้การตรวจสอบความปลอดภัยและการอัปเดตระบบเป็นเรื่องง่าย และสามารถปรับปรุงประสิทธิภาพได้โดยไม่กระทบกับข้อมูลเก่า ✅ ข้อมูลสำคัญจากข่าว ➡️ Meta เปิดตัว OpenZL ระบบบีบอัดข้อมูลแบบรู้โครงสร้าง ➡️ รองรับข้อมูลแบบ structured เช่น ตาราง, tensor, หรือข้อมูลเชิงเวลา ➡️ ใช้ภาษาคำอธิบาย SDDL หรือ parser เพื่อระบุรูปแบบข้อมูล ➡️ ระบบฝึกแผนการบีบอัดแบบออฟไลน์เพื่อให้เหมาะกับข้อมูลแต่ละประเภท ➡️ ใช้เทคนิคเช่น delta, transpose, tokenize เพื่อเพิ่มประสิทธิภาพ ➡️ ตัวอย่างจากชุดข้อมูล Silesia แสดงว่า OpenZL บีบอัดได้ดีกว่า zstd และ xz ➡️ ความเร็วในการบีบอัดสูงถึง 340 MB/s และถอดรหัสได้ถึง 1200 MB/s ➡️ ใช้ decoder เดียวสำหรับทุกไฟล์ ไม่ต้องเปลี่ยนตามแผนการบีบอัด ➡️ รองรับการฝึกใหม่เมื่อข้อมูลเปลี่ยน โดยไม่ต้องเปลี่ยน decoder ➡️ เปิดให้ใช้งานแบบโอเพ่นซอร์สผ่าน GitHub พร้อมเอกสารและตัวอย่าง ✅ ข้อมูลเสริมจากภายนอก ➡️ Zstandard เป็นระบบบีบอัดที่ Meta ใช้มาก่อน OpenZL โดยเน้นความเร็ว ➡️ การบีบอัดแบบรู้โครงสร้างช่วยให้ได้อัตราการบีบอัดสูงกว่าทั่วไป ➡️ SDDL เป็นภาษาที่ใช้ระบุโครงสร้างข้อมูล เช่น คอลัมน์, enum, nested record ➡️ OpenZL เหมาะกับข้อมูลที่มีรูปแบบ เช่น Parquet, CSV, ML tensor, หรือ log ➡️ การใช้ decoder เดียวช่วยลดความซับซ้อนในการจัดการระบบขนาดใหญ่ https://engineering.fb.com/2025/10/06/developer-tools/openzl-open-source-format-aware-compression-framework/