打印本文
關閉窗口
在最簡單的情況下，擬合是指對于一組已知的離散點，給定一個帶未知系數的函 數，通過調整該函數中系數的取值，使得已知的離散點與函數之間的差別最小化的過 程。量化交易策略研發中的最優化部分可以在一定程度上看作是一個擬合的過程，通 過優化量化交易策略的模型設置和參數設置來讓策略盡量適應交易資產的內在特征， 從而獲得更高的收益和更低的風險。在這個最優化的過程當中，可能會產生出一些偏離實際目標的結果，依照一般量化交易研究的習慣，稱之為過度擬合和欠擬合。 實際上，在大的數據科學框架下，過度擬合和欠擬合具有更豐富的表現形式，下面的內容僅針對量化交易策略研究可能出現的情況進行說明。
這里用一個簡單的例子來實際說明一下過度擬合和欠擬合。假設一個數據集源自 于一個帶有誤差項的二次方程，如下：
其中 ε 是一個在[-50,50]之間均勻分布的誤差項。數據集一共包括二十個點，其中 x 分 別選取從 1 到 20 的 20 個整數。如圖 3.2 所示，星號為二十個觀測數據點，曲線為不 帶誤差項的原始二次方程。
在實際的工作中，研究人員并不知道數據來源的具體邏輯，因此可能會設置出各 種各樣的方法來擬合數據集。當研究者采用三次方程來擬合這 20 個數據點時，得到 的方程曲線如圖 3.3 所示。曲線與數據點的差距有一定縮小，但是曲線形狀與圖 3.2 中原始方程的曲線存在走勢上的差別，在圖形最左側有一個原始圖形沒有的下降趨勢， 右側的下降則比原圖更甚。使用復雜度比二次方程更高的三次方程來研究該數據集， 造成的就是過度擬合的問題。
當研究人員使用一次方程來擬合這 20 個點的數據集時，得到的方程曲線如圖 3.4 所示。很明顯，用復雜度較低的線性方程擬合出的結果損失掉了原始曲線中先上升后 下降的走勢特性，而呈現出一個線性下降的趨勢，這就是由欠擬合造成的。
上面這個例子簡單化的展現了過度擬合和欠擬合在數據研究中的形式。對于量化 交易策略而言，過度擬合指的是由于選取的策略或模型過于復雜，不僅適應了交易資 產本身的內在屬性，而且在優化過程中還刻畫了噪音在樣本數據中表現出的一些特性，
過度的擬合了樣本數據，從而造成偏差，影響到策略的盈利能力。在一些專業書籍當 中，過度擬合問題有時候也被稱之為曲線擬合。欠擬合則恰好相反，往往是由于選取 的策略或者模型過于簡單，適應交易資產內在特征的能力不強，擬合水平較低，因此 盈利能力也就較弱。
就過度擬合和欠擬合的具體表現而言，兩者有相似之處也由于不同之處。正如上 面所述，兩種問題都會導致策略的實際盈利能力下降，這是它們的相同之處。但是欠 擬合的量化交易策略由于對數據的描述和挖掘能力不足，往往在歷史數據優化下和實 際交易中都表現不好，因此在回溯測試時就可以比較直觀的分辨出來。過度擬合的量 化交易策略則不同，由于在擬合樣本數據時過度的優化，進而擬合了樣本中噪音的特 性，因此常常是歷史數據優化下的結果很好，只有在實際交易中才會顯著變差，也就 是俗稱的泛化能力低下。在實際的量化交易策略研發過程當中，這樣的性質增加了過 度擬合判別的難度。
在大部分情況下，一個量化交易策略往往既具有過度擬合的問題，也具有欠擬合 的問題，原因在于金融資產的內在屬性并不像物理學等學科所研究的對象一樣，存在 一個較為明確的運行邏輯，同時也比語音識別等數據科學問題的情況更加復雜和模糊， 人們現在對于資產價格運行模式等問題的了解還處在非常皮毛的狀態。在實際工作中， 研究選取的策略或模型可能只有一部分設置適應了交易資產的內在屬性，相符的內在 屬性也只占交易資產整體屬性的一部分，因此策略模型是欠擬合的。好在量化交易策 略研發并不是一個需要絕對精確的學科，即使策略模型與數據內在特性相符的程度不大，只要存在這種適應性，就有可能為研發者帶來可觀的利潤。于此同時，研究得到 的策略模型的另外一部分設定可能就與交易資產的內在屬性完全沒有相關性，經過最 優化等工作之后只是擬合了資產交易中的噪聲，從而造成過度擬合的問題。。{原文來自 www.tumamayizhan.com }
實際工作中研究人員既需要減少量化交易策略過度擬合的程度，也要同時減少策 略欠擬合的程度。解決欠擬合的途徑較為清晰，就是不斷的嘗試各種各樣的策略，基 于更多、更好的策略模型來挖掘交易資產的內在特征，獲得相應的盈利能力。當然， 嘗試新策略是量化交易策略研究工作的基本要求，因此欠擬合這一問題也較少的被研 究人員所提及，大部分文獻資料都更注重于過度擬合的問題，也存在許多相關論述。 從本質上說，簡化策略當然是一個行之有效的較少過度擬合的方法，馮諾伊曼曾通過 費曼和戴森之口說出了“我能用四個參數擬合一頭大象，用五個參數讓它擺動鼻子” 的經典名言，參數過多、模型過于復雜可能會導致過度擬合這一看法已經成為了一個 公論。
但是與此同時，簡化策略又與研究者要解決欠擬合、嘗試找到更合適的策略的目 標背道而馳。圖 3.5 給出了一個策略在簡單和復雜之間變動時，欠擬合與過擬合情況 的粗略示例。由于交易資產的內在運行邏輯尚不清楚，因此任何一個交易策略都只能 挖掘并利用數據內在特征的一部分，也就是兩個圓重合的淺灰色區域，而剩下的白色 區域則是交易策略沒有實際效用但是客觀存在的部分。當策略復雜度增加時，策略就 有可能更多的利用數據的特征，表現為淺灰色的重合區域增加，欠擬合問題得到緩解。 但是與此同時，策略無效的白色區域也可能相應的增加，這一部分經過最優化就是過 度擬合的成因。因此在量化交易策略的研發工作中，策略的復雜程度、參數數量的設置等問題常常需要研究人員根據實際情況、過往經驗來進行主觀判斷，沒有一個固定的最優標準。好在針對回溯測試過程而言，存在著一些可以用來判別過度擬合問題的 技巧，因此研究者可以在適當增加量化交易策略復雜程度的基礎上，通過這些技巧來盡量規避策略的過度擬合。{原文來自 www.tumamayizhan.com }
除此之外，增加回溯測試時使用的樣本量也是一個可能會產生作用的做法。如果量化交易策略所針對的交易資產內在特性沒有隨著時間產生變化，那么增加樣本量可 以擴展回溯測試的覆蓋范圍，從而在更大的區間內研究策略的穩定程度，而樣本量的 增加也可以讓研究人員更自由的使用一些判斷過度擬合的研究技巧，這樣就能夠在保 證不造成欠擬合問題的條件下，更好的規避過度擬合的產生。在實踐中增加樣本量進 行研究的做法也確實能夠取得一定的效果，因此在可獲得的數據量充足的前 提下，還是應該盡可能的讓回溯測試覆蓋更廣的范圍。不過究其根源，內在特性不隨 時間變化的假設本身是值得懷疑的，前面已經說過，人們現在對于資產價格運行等內 在特性的了解還處于非常皮毛的狀態，即使研究者們發現了某些規律并基于這些規律 形成了可以盈利的策略，也不能保證這些規律會保持下去。在這種情況下，不經判斷 而盲目的增加數據量，就可能對量化交易策略的盈利能力造成誤判。而且在中國市場 這種運作時間較短、環境變化較快的市場上，該問題就更加嚴重。完全消除這個矛盾 需要研究人員對本質問題充分理解和把握，這并不是僅靠一個合理的量化交易策略研 發框架就可以解決的問題。