“Jeff Geerling เสียใจที่สร้างคลัสเตอร์ AI ด้วย Raspberry Pi มูลค่า $3,000 — บทเรียนจากความฝันสู่ความจริงที่ไม่คุ้มค่า”
Jeff Geerling นักพัฒนาและบล็อกเกอร์สายฮาร์ดแวร์ชื่อดัง ได้เผยแพร่บทความในเดือนกันยายน 2025 เล่าถึงประสบการณ์การสร้างคลัสเตอร์ AI ด้วย Raspberry Pi Compute Module 5 (CM5) จำนวน 10 ตัว รวม RAM ทั้งหมด 160 GB โดยใช้ Compute Blade ซึ่งเป็นบอร์ดที่ออกแบบมาเพื่อการจัดการคลัสเตอร์ขนาดเล็กโดยเฉพาะ รวมค่าใช้จ่ายทั้งหมดประมาณ $3,000
แม้จะเป็นโปรเจกต์ที่น่าตื่นเต้น แต่ Jeff ยอมรับว่าเขา “เสียใจ” กับการลงทุนครั้งนี้ เพราะผลลัพธ์ที่ได้ไม่คุ้มค่าในแง่ของประสิทธิภาพ โดยเฉพาะเมื่อเทียบกับคลัสเตอร์ Framework Desktop มูลค่า $8,000 ที่เขาเคยสร้างไว้ก่อนหน้านี้
ในด้าน HPC (High Performance Computing) คลัสเตอร์ Pi สามารถทำความเร็วได้ 325 Gflops หลังปรับปรุงระบบระบายความร้อน ซึ่งถือว่าเร็วกว่า Pi เดี่ยวถึง 10 เท่า แต่ยังช้ากว่าคลัสเตอร์ Framework ถึง 4 เท่า แม้จะมีประสิทธิภาพด้านพลังงานดีกว่าเล็กน้อย
ส่วนด้าน AI กลับน่าผิดหวังยิ่งกว่า เพราะ Pi 5 ยังไม่สามารถใช้ Vulkan กับ llama.cpp ได้ ทำให้ inference ต้องพึ่ง CPU เท่านั้น ผลคือการรันโมเดล Llama 3.3:70B ได้เพียง 0.28 tokens/sec และแม้จะใช้ distributed-llama ก็ยังได้แค่ 0.85 tokens/sec ซึ่งช้ากว่าคลัสเตอร์ Framework ถึง 5 เท่า
Jeff สรุปว่า คลัสเตอร์ Pi อาจเหมาะกับงานเฉพาะทาง เช่น CI jobs, edge computing ที่ต้องการความปลอดภัยสูง หรือการเรียนรู้เชิงทดลอง แต่ไม่เหมาะกับงาน AI หรือ HPC ที่จริงจัง และเขายังแซวตัวเองว่า “นี่คือคลัสเตอร์ที่แย่ — ยกเว้น blade หมายเลข 9 ที่ตายทุกครั้งที่รัน benchmark”
ข้อมูลสำคัญจากข่าว
Jeff Geerling สร้างคลัสเตอร์ AI ด้วย Raspberry Pi CM5 จำนวน 10 ตัว รวม RAM 160 GB
ใช้ Compute Blade และอุปกรณ์เสริม รวมค่าใช้จ่ายประมาณ $3,000
คลัสเตอร์ทำความเร็ว HPC ได้ 325 Gflops หลังปรับปรุงระบบระบายความร้อน
ด้าน AI ทำความเร็วได้เพียง 0.28–0.85 tokens/sec เมื่อรันโมเดล Llama 3.3:70B
การเปรียบเทียบกับคลัสเตอร์ Framework
คลัสเตอร์ Framework Desktop มูลค่า $8,000 เร็วกว่าคลัสเตอร์ Pi ถึง 4–5 เท่า
Framework ใช้ APU และ Vulkan ทำให้ inference เร็วกว่าอย่างชัดเจน
Pi cluster มีประสิทธิภาพด้านพลังงานดีกว่าเล็กน้อย แต่ไม่คุ้มค่าในภาพรวม
การรัน distributed-llama บน Pi cluster มีข้อจำกัดด้านจำนวน node และความเสถียร
ข้อมูลเสริมจากภายนอก
Raspberry Pi CM5 ใช้ CPU Cortex-A76 และมีแบนด์วิดธ์หน่วยความจำประมาณ 10 GB/sec
Compute Blade ได้รับความนิยมในกลุ่มผู้พัฒนา แต่ยังไม่เหมาะกับงาน AI ขนาดใหญ่
UC Santa Barbara เคยสร้างคลัสเตอร์ Pi ขนาด 1,050 node ซึ่งยังถือว่าใหญ่ที่สุดในโลก
บริษัท Unredacted Labs ใช้ Pi cluster สำหรับ Tor exit relays เพราะมีความปลอดภัยสูง
https://www.jeffgeerling.com/blog/2025/i-regret-building-3000-pi-ai-cluster
Jeff Geerling นักพัฒนาและบล็อกเกอร์สายฮาร์ดแวร์ชื่อดัง ได้เผยแพร่บทความในเดือนกันยายน 2025 เล่าถึงประสบการณ์การสร้างคลัสเตอร์ AI ด้วย Raspberry Pi Compute Module 5 (CM5) จำนวน 10 ตัว รวม RAM ทั้งหมด 160 GB โดยใช้ Compute Blade ซึ่งเป็นบอร์ดที่ออกแบบมาเพื่อการจัดการคลัสเตอร์ขนาดเล็กโดยเฉพาะ รวมค่าใช้จ่ายทั้งหมดประมาณ $3,000
แม้จะเป็นโปรเจกต์ที่น่าตื่นเต้น แต่ Jeff ยอมรับว่าเขา “เสียใจ” กับการลงทุนครั้งนี้ เพราะผลลัพธ์ที่ได้ไม่คุ้มค่าในแง่ของประสิทธิภาพ โดยเฉพาะเมื่อเทียบกับคลัสเตอร์ Framework Desktop มูลค่า $8,000 ที่เขาเคยสร้างไว้ก่อนหน้านี้
ในด้าน HPC (High Performance Computing) คลัสเตอร์ Pi สามารถทำความเร็วได้ 325 Gflops หลังปรับปรุงระบบระบายความร้อน ซึ่งถือว่าเร็วกว่า Pi เดี่ยวถึง 10 เท่า แต่ยังช้ากว่าคลัสเตอร์ Framework ถึง 4 เท่า แม้จะมีประสิทธิภาพด้านพลังงานดีกว่าเล็กน้อย
ส่วนด้าน AI กลับน่าผิดหวังยิ่งกว่า เพราะ Pi 5 ยังไม่สามารถใช้ Vulkan กับ llama.cpp ได้ ทำให้ inference ต้องพึ่ง CPU เท่านั้น ผลคือการรันโมเดล Llama 3.3:70B ได้เพียง 0.28 tokens/sec และแม้จะใช้ distributed-llama ก็ยังได้แค่ 0.85 tokens/sec ซึ่งช้ากว่าคลัสเตอร์ Framework ถึง 5 เท่า
Jeff สรุปว่า คลัสเตอร์ Pi อาจเหมาะกับงานเฉพาะทาง เช่น CI jobs, edge computing ที่ต้องการความปลอดภัยสูง หรือการเรียนรู้เชิงทดลอง แต่ไม่เหมาะกับงาน AI หรือ HPC ที่จริงจัง และเขายังแซวตัวเองว่า “นี่คือคลัสเตอร์ที่แย่ — ยกเว้น blade หมายเลข 9 ที่ตายทุกครั้งที่รัน benchmark”
ข้อมูลสำคัญจากข่าว
Jeff Geerling สร้างคลัสเตอร์ AI ด้วย Raspberry Pi CM5 จำนวน 10 ตัว รวม RAM 160 GB
ใช้ Compute Blade และอุปกรณ์เสริม รวมค่าใช้จ่ายประมาณ $3,000
คลัสเตอร์ทำความเร็ว HPC ได้ 325 Gflops หลังปรับปรุงระบบระบายความร้อน
ด้าน AI ทำความเร็วได้เพียง 0.28–0.85 tokens/sec เมื่อรันโมเดล Llama 3.3:70B
การเปรียบเทียบกับคลัสเตอร์ Framework
คลัสเตอร์ Framework Desktop มูลค่า $8,000 เร็วกว่าคลัสเตอร์ Pi ถึง 4–5 เท่า
Framework ใช้ APU และ Vulkan ทำให้ inference เร็วกว่าอย่างชัดเจน
Pi cluster มีประสิทธิภาพด้านพลังงานดีกว่าเล็กน้อย แต่ไม่คุ้มค่าในภาพรวม
การรัน distributed-llama บน Pi cluster มีข้อจำกัดด้านจำนวน node และความเสถียร
ข้อมูลเสริมจากภายนอก
Raspberry Pi CM5 ใช้ CPU Cortex-A76 และมีแบนด์วิดธ์หน่วยความจำประมาณ 10 GB/sec
Compute Blade ได้รับความนิยมในกลุ่มผู้พัฒนา แต่ยังไม่เหมาะกับงาน AI ขนาดใหญ่
UC Santa Barbara เคยสร้างคลัสเตอร์ Pi ขนาด 1,050 node ซึ่งยังถือว่าใหญ่ที่สุดในโลก
บริษัท Unredacted Labs ใช้ Pi cluster สำหรับ Tor exit relays เพราะมีความปลอดภัยสูง
https://www.jeffgeerling.com/blog/2025/i-regret-building-3000-pi-ai-cluster
🧠 “Jeff Geerling เสียใจที่สร้างคลัสเตอร์ AI ด้วย Raspberry Pi มูลค่า $3,000 — บทเรียนจากความฝันสู่ความจริงที่ไม่คุ้มค่า”
Jeff Geerling นักพัฒนาและบล็อกเกอร์สายฮาร์ดแวร์ชื่อดัง ได้เผยแพร่บทความในเดือนกันยายน 2025 เล่าถึงประสบการณ์การสร้างคลัสเตอร์ AI ด้วย Raspberry Pi Compute Module 5 (CM5) จำนวน 10 ตัว รวม RAM ทั้งหมด 160 GB โดยใช้ Compute Blade ซึ่งเป็นบอร์ดที่ออกแบบมาเพื่อการจัดการคลัสเตอร์ขนาดเล็กโดยเฉพาะ รวมค่าใช้จ่ายทั้งหมดประมาณ $3,000
แม้จะเป็นโปรเจกต์ที่น่าตื่นเต้น แต่ Jeff ยอมรับว่าเขา “เสียใจ” กับการลงทุนครั้งนี้ เพราะผลลัพธ์ที่ได้ไม่คุ้มค่าในแง่ของประสิทธิภาพ โดยเฉพาะเมื่อเทียบกับคลัสเตอร์ Framework Desktop มูลค่า $8,000 ที่เขาเคยสร้างไว้ก่อนหน้านี้
ในด้าน HPC (High Performance Computing) คลัสเตอร์ Pi สามารถทำความเร็วได้ 325 Gflops หลังปรับปรุงระบบระบายความร้อน ซึ่งถือว่าเร็วกว่า Pi เดี่ยวถึง 10 เท่า แต่ยังช้ากว่าคลัสเตอร์ Framework ถึง 4 เท่า แม้จะมีประสิทธิภาพด้านพลังงานดีกว่าเล็กน้อย
ส่วนด้าน AI กลับน่าผิดหวังยิ่งกว่า เพราะ Pi 5 ยังไม่สามารถใช้ Vulkan กับ llama.cpp ได้ ทำให้ inference ต้องพึ่ง CPU เท่านั้น ผลคือการรันโมเดล Llama 3.3:70B ได้เพียง 0.28 tokens/sec และแม้จะใช้ distributed-llama ก็ยังได้แค่ 0.85 tokens/sec ซึ่งช้ากว่าคลัสเตอร์ Framework ถึง 5 เท่า
Jeff สรุปว่า คลัสเตอร์ Pi อาจเหมาะกับงานเฉพาะทาง เช่น CI jobs, edge computing ที่ต้องการความปลอดภัยสูง หรือการเรียนรู้เชิงทดลอง แต่ไม่เหมาะกับงาน AI หรือ HPC ที่จริงจัง และเขายังแซวตัวเองว่า “นี่คือคลัสเตอร์ที่แย่ — ยกเว้น blade หมายเลข 9 ที่ตายทุกครั้งที่รัน benchmark”
✅ ข้อมูลสำคัญจากข่าว
➡️ Jeff Geerling สร้างคลัสเตอร์ AI ด้วย Raspberry Pi CM5 จำนวน 10 ตัว รวม RAM 160 GB
➡️ ใช้ Compute Blade และอุปกรณ์เสริม รวมค่าใช้จ่ายประมาณ $3,000
➡️ คลัสเตอร์ทำความเร็ว HPC ได้ 325 Gflops หลังปรับปรุงระบบระบายความร้อน
➡️ ด้าน AI ทำความเร็วได้เพียง 0.28–0.85 tokens/sec เมื่อรันโมเดล Llama 3.3:70B
✅ การเปรียบเทียบกับคลัสเตอร์ Framework
➡️ คลัสเตอร์ Framework Desktop มูลค่า $8,000 เร็วกว่าคลัสเตอร์ Pi ถึง 4–5 เท่า
➡️ Framework ใช้ APU และ Vulkan ทำให้ inference เร็วกว่าอย่างชัดเจน
➡️ Pi cluster มีประสิทธิภาพด้านพลังงานดีกว่าเล็กน้อย แต่ไม่คุ้มค่าในภาพรวม
➡️ การรัน distributed-llama บน Pi cluster มีข้อจำกัดด้านจำนวน node และความเสถียร
✅ ข้อมูลเสริมจากภายนอก
➡️ Raspberry Pi CM5 ใช้ CPU Cortex-A76 และมีแบนด์วิดธ์หน่วยความจำประมาณ 10 GB/sec
➡️ Compute Blade ได้รับความนิยมในกลุ่มผู้พัฒนา แต่ยังไม่เหมาะกับงาน AI ขนาดใหญ่
➡️ UC Santa Barbara เคยสร้างคลัสเตอร์ Pi ขนาด 1,050 node ซึ่งยังถือว่าใหญ่ที่สุดในโลก
➡️ บริษัท Unredacted Labs ใช้ Pi cluster สำหรับ Tor exit relays เพราะมีความปลอดภัยสูง
https://www.jeffgeerling.com/blog/2025/i-regret-building-3000-pi-ai-cluster
0 ความคิดเห็น
0 การแบ่งปัน
11 มุมมอง
0 รีวิว