7 ข้อผิดพลาดที่พบบ่อยในการทำ Backtesting

Quants เชื่อมาโดยตลอดว่าแบบจำลองของพวกเราปราศจากอคติด้านพฤติกรรมของมนุษย์ และในบางครั้งก็ใช้ประโยชน์จากอคติเหล่านี้โดยการซื้อขายกับนักลงทุนที่ไม่ใช่เชิงปริมาณเพื่อสร้างกำไร

อย่างไรก็ตาม สิ่งที่หลายๆ คนไม่ทราบก็คือการเงินเชิงพฤติกรรมสามารถเป็นเพื่อนหรือศัตรูได้ Quants ก็อาจโดนอคติจากพฤติกรรมของมนุษย์ โดยที่ไม่รู้ตัวได้

คอร์ส Mastering Backtesting for Algorithmic Trading โดย Hudson มีหัวข้อหนึ่งที่น่าสนใจมากนั้นคือ Seven Sins of Quantitative Investing ที่นำ paper ของ Deutsche Bank มาสรุป และนี้คือ 7 Bias ที่พบบ่อยในการทำการทดสอบย้อนหลัง

1. Research Motivation กลยุทธ์ควรมีสมมุติฐานทางการเงินเศรษฐสาตร์หรือพฤติกรรมรองรับ

2. Multiple Testing and Statistical Methods เราต้องตรวจสอบตัวแปรทุกตัว มีเหตุการณ์ถ้าเกิดทำให้กลยุทธ์ไม่ประสบความสำเร็จไหม ?

3. Data and Sample Choice ข้อมูลที่เราเลือกมันสมเหตุสมผลหรือไม่ เราไม่ได้มี Bias ในการเลือกข้อมูลมาทดสอบใช่ไหม จำนวนข้อมูลยาวเพียงพอใช่ไหม

4. Cross-Validation เราต้องระมัดระวังว่าใช้ข้อมูลที่มีส่วนในการทำโมเดลมาทดสอบ

5. Model Dynamics แบบจำลองของเราจะเป็นอย่างไหร่ถ้ามีโครงสร้างตลาดเปลี่ยนแปลง / หรือแบบจำลองของเราซับซ้อนไปจนเกิด Overfit หรือไม่?

6. Complexity ระวัง Curse of dimensionality 

7. Research Culture เราควรให้ความสำคัญในวัฒนธรรมในการวิจัยมากกว่าค้นหา Winning strategy

บทสรุป

การลงทุนเชิงปริมาณแม้จะให้โอกาสที่สำคัญ แต่ก็ต้องพิจารณาอย่างรอบคอบถึงข้อผิดพลาดที่อาจเกิดขึ้น ด้วยการทำความเข้าใจและจัดการกับข้อผิดพลาด นักลงทุนสามารถปรับปรุงความแข็งแกร่งและประสิทธิภาพของกลยุทธ์เชิงปริมาณ นำไปสู่การตัดสินใจลงทุนที่มีข้อมูลดีขึ้นและผลลัพธ์ที่ดีขึ้น