ทำความเข้าใจองค์ประกอบของคะแนน IQC Stage 1
- 2 วันที่ผ่านมา
- ยาว 2 นาที
สำหรับผู้ที่เข้าร่วมการแข่งขัน IQC การทำความเข้าใจโครงสร้างคะแนนใน Stage 1 ถือเป็นเรื่องสำคัญอย่างมาก เพราะคะแนนในรอบนี้ไม่ได้วัดเพียงจำนวน Alpha ที่ส่งเท่านั้น แต่ยังสะท้อนทั้งคุณภาพของ Alpha ในระดับรายบุคคล และประสิทธิภาพของการนำ Alpha ทั้งหมดในทีมมาทำงานร่วมกันอย่างเป็นระบบ
IQC Stage 1 ใช้คะแนนอยู่ 2 ส่วนหลัก ได้แก่ Individual Qualifier Score และ Merged Performance Score ซึ่งทั้งสองส่วนมีหน้าที่ต่างกันอย่างชัดเจน ส่วนแรกใช้วัดความสามารถรายบุคคลจาก Alpha ที่ส่งเข้าแพลตฟอร์ม ขณะที่ส่วนหลังใช้วัดคุณภาพของพอร์ต Alpha ในภาพรวมของทีม
บทความนี้สรุปวิธีคิดคะแนน โครงสร้างการจัดอันดับ และตัวชี้วัดที่มีผลต่อผลลัพธ์ใน Stage 1 ให้เข้าใจได้ง่ายขึ้น
1) Individual Qualifier Score คืออะไร
Individual Qualifier Score คือคะแนนรายบุคคลที่เกิดจาก Alpha ที่ผู้เข้าแข่งขันส่งบนแพลตฟอร์ม โดยระบบจะพิจารณาทั้ง ปริมาณ และ คุณภาพ ของ Alpha ที่ส่งเข้าไป คุณภาพในที่นี้อ้างอิงจากผลการดำเนินงานของ Alpha ในช่วง 5 ปี In-sample
อย่างไรก็ตาม คะแนนของผู้เข้าแข่งขันไม่ได้ขึ้นอยู่กับผลงานของตนเองเพียงอย่างเดียว แต่ยังขึ้นอยู่กับ จำนวนและคุณภาพของ Alpha ที่ผู้ใช้อื่นส่งเข้ามาในวันเดียวกัน ด้วย กล่าวคือ ระบบจะประเมิน Alpha ของคุณเทียบกับ Alpha ของผู้เข้าร่วมคนอื่นในวันนั้น
การคำนวณคะแนนทำแบบ รายวันตามเวลา ไม่ได้คิดแยกเป็นราย Alpha และ leaderboard จะรีเฟรชทุกวันประมาณ 11 โมง
คะแนนสูงสุดที่สามารถทำได้ต่อวันคือ 2,000 คะแนน โดยทั่วไปมักเกิดจากการส่ง Alpha ประมาณ 1–3 ตัวต่อวัน
สิ่งสำคัญคือ คะแนนส่วนนี้ ไม่มีการติดลบ และ จะไม่ลดลงย้อนหลัง เมื่อได้คะแนนแล้ว คะแนนสะสมของคุณจะเพิ่มขึ้นอย่างเดียว นอกจากนี้ คะแนนนี้เป็น คะแนนรายบุคคล ไม่ใช่คะแนนของทีม
ปัจจัยที่มีผลต่อคะแนนต่อ Alpha
คะแนนที่ Alpha แต่ละตัวได้รับขึ้นอยู่กับหลายปัจจัย เช่น
ประเภทของ Alpha เช่น Alpha ที่อยู่ใน universe ขนาดเล็กอาจได้คะแนนสูงกว่า
คุณภาพของ Alpha เช่น มีค่า fitness สูง หรือมี self-correlation ต่ำ
ความสามารถในการแข่งขันกับ Alpha ของผู้เข้าร่วมคนอื่นในวันเดียวกัน
กล่าวอีกแบบคือ Alpha ที่ผ่านเกณฑ์จะไม่ได้ถูกตัดสินจากค่าของมันเพียงลำพัง แต่ถูกประเมินในเชิงเปรียบเทียบกับสิ่งที่ผู้เข้าแข่งขันรายอื่นส่งในวันนั้นด้วย
จุดที่สำคัญต่อทีม
เมื่อมีสมาชิกในทีม อย่างน้อย 1 คน ทำคะแนน Individual Qualifier Score ได้ถึง 10,000 คะแนน ระบบจะปลดล็อกการแสดงผล merged performance ของทีมบน IQC leaderboard
2) Merged Performance Score คืออะไร
Merged Performance Score เป็นคะแนนที่สะท้อน คุณภาพรวมของ Alpha ทั้งทีม โดยคะแนนนี้จะเริ่มปรากฏบน leaderboard ก็ต่อเมื่อสมาชิกคนแรกของทีมทำคะแนน Individual Qualifier ครบ 10,000 คะแนน แล้วเท่านั้น
บน leaderboard คะแนนนี้จะแสดงผ่านคอลัมน์ IS Score และองค์ประกอบย่อยคือ D0 Score และ D1 Score
ใน Stage 1 การจัดอันดับทีมจะอิงจากตัวชี้วัดที่มาจาก merged performance series ซึ่งเป็นผลการรวม Alpha ของทีมเข้าด้วยกันตามผลกำไรขาดทุน (profit and loss) แบบ equal weighted หรือพูดง่าย ๆ คือสมมติว่าลงเงินใน Alpha แต่ละตัวด้วยจำนวนเงินเท่ากัน
ต่างจากคะแนนรายบุคคล คะแนนส่วนนี้ ไม่มีเพดานคะแนนต่อวัน และระบบจะนำ Alpha ทั้งหมดของทีม มาคิดรวม ไม่ว่าจะเป็น Alpha ที่ส่งเพื่อเก็บคะแนนรายบุคคลหรือส่งเพิ่มเติมภายหลัง
ประเด็นที่ต้องระวังคือ การส่ง Alpha ใหม่ไม่ได้แปลว่าคะแนนทีมจะดีขึ้นเสมอไป หาก Alpha ใหม่ ไม่เพิ่มคุณค่าให้กับชุด Alpha เดิมของทีม ก็อาจทำให้ Merged Performance Score ลดลงได้
วิธีคำนวณคะแนนสุดท้ายของ Stage 1
คะแนนสุดท้ายของ Stage 1 คิดจากสูตรต่อไปนี้
Merged Performance = 25% ของ IS Score + 75% ของ OS Score
และ IS Score = D1 Score + (D0 Score / 3)
ความหมายของแต่ละส่วน
25% แรก มาจากผลการดำเนินงานของ Alpha ในช่วง 5 ปี In-sample (IS)
75% หลัง มาจากผลการดำเนินงานของ Alpha ในช่วง 1 ปี Out-sample (OS)
คะแนน IS จะมองเห็นได้บน leaderboard ตั้งแต่ช่วงเริ่มต้นของ Stage 1 ส่วนคะแนน OS จะปรากฏให้เห็นเมื่อ สิ้นสุด Stage 1
ด้วยเหตุนี้ ผู้เข้าแข่งขันจึงไม่ควรไล่ตามเฉพาะตัวเลขผลงานระยะสั้นในช่วง In-sample เท่านั้น แต่ควรเน้นที่ คุณภาพของแนวคิด และ ความแข็งแรงของการนำแนวคิดไปใช้งานจริง เพราะ Alpha ที่มีโครงสร้างแนวคิดชัดเจนและ implementation ที่ดี มักมีโอกาสรักษาคุณภาพได้ดีกว่าในช่วง Out-sample
ตัวชี้วัดที่มีผลต่อคะแนน Stage 1
คะแนนของ Stage 1 ได้รับอิทธิพลจากตัวชี้วัดหลักของ merged performance series ดังนี้
1. Sharpe
ยิ่งค่า Sharpe สูง คะแนนยิ่งมีแนวโน้มดีขึ้น เมื่อปัจจัยอื่นคงเดิม เพราะ Sharpe สะท้อนผลตอบแทนที่ปรับด้วยความเสี่ยงแล้ว
2. Returns to Drawdown Ratio
ยิ่งอัตราส่วน Returns ต่อ Drawdown สูง คะแนนยิ่งดีขึ้น เมื่อปัจจัยอื่นคงเดิม เนื่องจากเป็นตัวบ่งชี้ว่าพอร์ตสามารถสร้างผลตอบแทนได้ดีเมื่อเทียบกับช่วงการขาดทุนสะสม
3. Turnover
โดยทั่วไป Turnover ที่สูงขึ้นจะทำให้คะแนนแย่ลง หากปัจจัยอื่นเท่าเดิม อย่างไรก็ตาม การลด Turnover ลงต่ำกว่า 12.5% ไม่ได้รับประกันว่าจะช่วยให้คะแนนดีขึ้นเสมอไป ดังนั้นเป้าหมายไม่ใช่การลด Turnover ให้ต่ำที่สุด แต่เป็นการหาสมดุลที่เหมาะสมกับคุณภาพโดยรวมของ Alpha
จะดู merged performance metrics ได้จากที่ไหน
หากคุณทำคะแนน Individual Qualifier ได้ถึง 10,000 คะแนน แล้ว คุณสามารถดูข้อมูล merged performance ได้ที่หน้าจอ simulate โดยไปที่ส่วนผลลัพธ์ด้านขวา จากนั้นเลื่อนลงมาที่หัวข้อ Performance Comparison และกดลูกศรดรอปดาวน์เพื่อเปิดรายละเอียด
ในส่วนนั้น ระบบจะแสดงข้อมูลสำคัญ 2 แบบ คือ
Before Submission และ After Submission
สองส่วนนี้ใช้เปรียบเทียบว่าหากคุณส่ง Alpha ตัวปัจจุบันแล้ว คะแนน IQC Stage 1 ของทีมจะเปลี่ยนแปลงอย่างไร ซึ่งผลลัพธ์อาจออกมาเป็น ลบ ได้ หาก Alpha ใหม่นั้นทำให้โครงสร้างผลงานรวมของทีมแย่ลง
IS Performance After Submission
ตารางนี้จะแสดงให้เห็นว่า หากส่ง Alpha ตัวดังกล่าวแล้ว ตัวชี้วัดหลักของการให้คะแนนใน Stage 1 จะเปลี่ยนไปอย่างไร เช่น
Sharpe
Turnover
Returns
Drawdown
ข้อมูลเหล่านี้ช่วยให้ตัดสินใจได้ดีขึ้นว่า Alpha ตัวใหม่ช่วยเพิ่มมูลค่าให้พอร์ตของทีมจริงหรือไม่
ข้อควรระวังในการตีความกราฟ PnL
ระบบมีกราฟ PnL Plot ให้ดูประกอบ แต่กราฟนี้มีไว้เพื่อ อ้างอิงเท่านั้น ไม่ควรใช้ตัดสินผลสุดท้ายเพียงอย่างเดียว
หากกราฟ PnL after submission ดูเหมือนลดลง แต่ในตาราง IS Performance after Submission กลับแสดงว่าตัวชี้วัดดีขึ้น นั่นหมายความว่า การส่ง Alpha ตัวนั้นยังอาจช่วยเพิ่มคะแนนได้
ดังนั้น เวลาประเมินว่าจะ submit Alpha หรือไม่ ควรให้ความสำคัญกับ ตารางตัวชี้วัด มากกว่าดูเฉพาะเส้น PnL
สรุป
IQC Stage 1 ไม่ได้วัดแค่ว่าใครส่ง Alpha ได้เยอะ แต่ประเมินทั้ง คุณภาพรายบุคคล และ คุณภาพรวมของทีม ไปพร้อมกัน
Individual Qualifier Score เป็นคะแนนสะสมรายบุคคลที่เกิดจากปริมาณและคุณภาพของ Alpha เมื่อเทียบกับคู่แข่งในแต่ละวัน
Merged Performance Score เป็นคะแนนรวมของทีมที่สะท้อนว่า Alpha ทั้งชุดทำงานร่วมกันได้ดีเพียงใด
คะแนนสุดท้ายของ Stage 1 ให้น้ำหนักกับ Out-sample performance มากกว่า In-sample อย่างมีนัยสำคัญ
การส่ง Alpha ใหม่ไม่จำเป็นต้องช่วยให้คะแนนทีมดีขึ้นเสมอไป หาก Alpha นั้นไม่เสริมคุณภาพของพอร์ตโดยรวม
ในทางปฏิบัติ ผู้ที่ต้องการทำผลงานได้ดีใน Stage 1 จึงควรโฟกัสที่ แนวคิดที่แข็งแรง, implementation ที่มีคุณภาพ, และ ความสามารถในการเสริมพอร์ต Alpha ของทีม มากกว่ามองเฉพาะตัวเลขสวยในระยะสั้น
ความคิดเห็น