Anthropic ใช้เทคนิค Circuit Tracing เพื่อติดตามวิธีการประมวลผลของ Claude ซึ่งเผยให้เห็นถึงกระบวนการแก้ปัญหาที่แปลกใหม่ เช่น การประมวลแนวคิดข้ามภาษา การคำนวณในรูปแบบสร้างสรรค์ และการแต่งบทกวีที่วางแผนล่วงหน้า งานนี้ช่วยให้เราเริ่มเข้าใจการทำงานของ LLMs มากขึ้น แต่ยังมีเรื่องที่ต้องศึกษาอีกมาก การเชื่อมโยงระหว่างภาษาต่าง ๆ: - การทดลองพบว่า Claude ใช้ "วงจรภาษากลาง" ในการตอบคำถาม เช่น คำถามว่า "อะไรคือตรงข้ามของคำว่าเล็ก" ในหลายภาษา Claude จะหาความหมายในแนวคิดเชิงนามธรรม (abstract concepts) ก่อนเลือกคำศัพท์ในภาษาเฉพาะ แสดงถึงความสามารถในการประมวลผลข้ามภาษา. การแก้ปัญหาทางคณิตศาสตร์ที่ไม่ธรรมดา: - Claude ใช้วิธีคำนวณที่ดูแปลก เช่น การประมาณตัวเลขที่ใกล้เคียง ("40ish and 60ish") แล้วรวมข้อมูลอื่น ๆ เพื่อหาคำตอบ โดยไม่ใช้วิธีการแก้โจทย์แบบทั่วไปที่เรียนในโรงเรียน. การแต่งบทกวี: - Claude สามารถวางแผนล่วงหน้า เช่น การเลือกคำสุดท้ายสำหรับร้อยกรองก่อนสร้างประโยคที่เหลือ ซึ่งแสดงถึงศักยภาพในการมองภาพรวมและความสามารถที่ไม่ใช่แค่การคาดเดาคำศัพท์ต่อ ๆ ไปตามลำดับ. ความหมายเชิงลึกของ Circuit Tracing: - การศึกษานี้เป็นแค่ "ยอดของภูเขาน้ำแข็ง" เพราะการแกะรอยกระบวนการของ AI ยังคงใช้เวลามาก และยังมีสิ่งที่ต้องค้นหาอีกมากมายในอนาคต https://www.techspot.com/news/107347-finally-beginning-understand-how-llms-work-no-they.html