Bias-Variance Tradeoff (การแลกเปลี่ยนความสมดุลระหว่าง Bias และ Variance) เป็นหลักการที่เกี่ยวข้องกับการสร้างและประเมินความสามารถของโมเดลในการทำนายและจำแนกข้อมูลในการเรียนรู้แบบต่าง ๆ ในเชิงสถิติและการเรียนรู้ของเครื่อง (Machine Learning)
Bias คือความคาดหวังหรือความเป็นไปได้ที่โมเดลจะทำนายหรือจำแนกค่าตัวแปรตามข้อมูลต้นฉบับ ความคาดหวังที่มากของ Bias หมายถึงโมเดลมีความเรียนรู้ที่ไม่เพียงพอ นั่นคือ โมเดลไม่สามารถเรียนรู้ความสัมพันธ์ในข้อมูลเข้ากันได้ดีพอ และมีความเบียดบังในการทำนายหรือจำแนกข้อมูลตามข้อมูลต้นฉบับ
Variance คือความคาดหวังของความคลาดเคลื่อนของโมเดลในการทำนายหรือจำแนกค่าตัวแปรตามข้อมูลที่ไม่เห็นมาก่อน ความคาดหวังที่มากของ Variance หมายถึงโมเดลมีความยืดหยุ่นในการเรียนรู้มากเกินไป นั่นคือ โมเดลมีความแม่นยำในการทำนายหรือจำแนกข้อมูลตามข้อมูลต้นฉบับ แต่มีความเบียดบังในการทำนายหรือจำแนกข้อมูลที่ไม่เห็นมาก่อน
การแลกเปลี่ยนความสมดุลระหว่าง Bias และ Variance คือหากเราปรับความซับซ้อนของโมเดลให้มากขึ้น โมเดลจะมี Bias ลดลง แต่ Variance จะเพิ่มขึ้น และหากเราปรับความซับซ้อนของโมเดลให้น้อยลง โมเดลจะมี Variance ลดลง แต่ Bias จะเพิ่มขึ้น จึงต้องหาความสมดุลที่เหมาะสมในการเลือกความซับซ้อนของโมเดลเพื่อให้ได้โมเดลที่มีความแม่นยำในการทำนายและจำแนกข้อมูลในชุดข้อมูลที่ไม่เห็นมาก่อนที่ดีที่สุด
Bias-Variance Tradeoff เกี่ยวข้องกับ Overfitting และ Underfitting ในการเรียนรู้ของเครื่อง (Machine Learning) ดังนี้:
- Overfitting: การเรียนรู้เกินกว่าที่ควร (Overfitting) เกิดขึ้นเมื่อโมเดลมีความซับซ้อนมากเกินไปทำให้เรียนรู้ข้อมูลในชุดข้อมูลฝึกอย่างละเอียด แต่ไม่สามารถทำนายข้อมูลในชุดข้อมูลทดสอบหรือชุดข้อมูลใหม่ได้ดีพอ ความซับซ้อนมากของโมเดลทำให้โมเดลมีความยืดหยุ่นในการเรียนรู้มากเกินไป ทำให้เกิดความคลาดเคลื่อนในการทำนายหรือจำแนกข้อมูลที่มีความซับซ้อนหรือข้อมูลที่ไม่เป็นแบบเส้นตรง ซึ่งส่งผลให้ Variance ของโมเดลมีค่าสูง
- Underfitting: การเรียนรู้ไม่เพียงพอ (Underfitting) เกิดขึ้นเมื่อโมเดลมีความคาดหวังหรือความเป็นไปได้ที่ไม่เพียงพอ นั่นคือ โมเดลไม่สามารถเรียนรู้ความสัมพันธ์ในข้อมูลเข้ากันได้ดีพอ และมีความเบียดบังในการทำนายหรือจำแนกข้อมูลตามข้อมูลต้นฉบับ ความซับซ้อนน้อยของโมเดลทำให้เกิด Bias ของโมเดลมีค่าสูง
การแลกเปลี่ยนความสมดุลระหว่าง Bias และ Variance ใน Bias-Variance Tradeoff นี้เกี่ยวข้องกับ Overfitting และ Underfitting ดังนี้:
- ในกรณีของ Overfitting: โมเดลมีความซับซ้อนมากทำให้มีความสามารถในการเรียนรู้ข้อมูลฝึกมากเกินไป แต่เนื่องจากความซับซ้อนเกินในการเรียนรู้ทำให้ไม่สามารถทำนายหรือจำแนกข้อมูลที่ไม่เห็นมาก่อนได้ ซึ่งส่งผลให้โมเดลมีความแม่นยำในชุดข้อมูลฝึกแต่ในเวลาเดียวกันมีความเบียดบังในชุดข้อมูลทดสอบหรือชุดข้อมูลใหม่
- ในกรณีของ Underfitting: โมเดลมีความคาดหวังหรือความเป็นไปได้ที่ไม่เพียงพอ นั่นคือ โมเดลไม่สามารถเรียนรู้ความสัมพันธ์ในข้อมูลเข้ากันได้ดีพอ แต่เนื่องจากความซับซ้อนน้อยเกินไปในการเรียนรู้ทำให้มีความยืดหยุ่นในการทำนายหรือจำแนกข้อมูลที่ไม่เป็นแบบเส้นตรง ซึ่งส่งผลให้โมเดลมีความแม่นยำในชุดข้อมูลฝึกแต่ในเวลาเดียวกันม