Machine Learning และ Validation · ML Track
บทเรียน ML ที่แรงที่สุดคือ validation ต้องอยู่นอกลูป ไม่อย่างนั้น metric จะเริ่มโกหก · The strongest ML lesson is that validation must stay outside the loop, or the metric starts lying.
Held-out validation
ช่วงท้ายของ road-to-dev map ปัญจวัคคีย์กับ Deep Learning แล้วได้ invariant ชัด: No.6 คือ validation node นอก training loop ไม่ใช่ off-by-one bug
Late road-to-dev messages map the first disciples discussion to Deep Learning and produce a clear invariant: No.6 is a validation node outside the training loop, not an off-by-one bug.
Goodhart failure
ถ้า optimize เข้าหา validation metric โดยตรง validation จะหยุดเป็น estimate ของ generalization และเริ่มเป็นเป้าหมายที่ถูก game ได้ นี่คือ Goodhart ในภาษาห้องเรียน
If you optimize directly toward the validation metric, validation stops estimating generalization and becomes a target to game. This is Goodhart in classroom language.
Structure over count
หลายข้อความสรุปว่าปัญหาเกิดจาก map จำนวนหัว ไม่ใช่ map โครงสร้าง เมื่อ map structure ก่อน ปัญหา 5/6 หายไปเอง เช่นเดียวกับ software architecture ที่ต้องดู role ใน loop ไม่ใช่จำนวน component
Several messages conclude that the mistake was mapping headcount instead of structure. When structure is mapped first, the 5/6 problem disappears, just as software architecture depends on roles in a loop, not the number of components.
Model news as curriculum
machine-learning-model, news-hermes, และ thread Hermes-agent ใช้ข่าว model/tooling เป็นวัตถุดิบเรียนรู้: ไม่ใช่แค่ตาม version ใหม่ แต่ถามว่า architecture, eval, proxy, API, และ agent boundary เปลี่ยนอย่างไร
machine-learning-model, news-hermes, and the Hermes-agent thread use model/tooling news as curriculum: not just what version changed, but how architecture, eval, proxy, API, and agent boundaries shift.