量化交易策略注意事項(xiàng)2—過(guò)度歷史擬合與欠擬合[古期心得]

在最簡(jiǎn)單的情況下，擬合是指對(duì)于一組已知的離散點(diǎn)，給定一個(gè)帶未知系數(shù)的函 數(shù)，通過(guò)調(diào)整該函數(shù)中系數(shù)的取值，使得已知的離散點(diǎn)與函數(shù)之間的差別最小化的過(guò) 程。量化交易策略研發(fā)中的最優(yōu)化部分可以在一定程度上看作是一個(gè)擬合的過(guò)程，通 過(guò)優(yōu)化量化交易策略的模型設(shè)置和參數(shù)設(shè)置來(lái)讓策略盡量適應(yīng)交易資產(chǎn)的內(nèi)在特征， 從而獲得更高的收益和更低的風(fēng)險(xiǎn)。在這個(gè)最優(yōu)化的過(guò)程當(dāng)中，可能會(huì)產(chǎn)生出一些偏離實(shí)際目標(biāo)的結(jié)果，依照一般量化交易研究的習(xí)慣，稱之為過(guò)度擬合和欠擬合。 實(shí)際上，在大的數(shù)據(jù)科學(xué)框架下，過(guò)度擬合和欠擬合具有更豐富的表現(xiàn)形式，下面的內(nèi)容僅針對(duì)量化交易策略研究可能出現(xiàn)的情況進(jìn)行說(shuō)明。

        這里用一個(gè)簡(jiǎn)單的例子來(lái)實(shí)際說(shuō)明一下過(guò)度擬合和欠擬合。假設(shè)一個(gè)數(shù)據(jù)集源自 于一個(gè)帶有誤差項(xiàng)的二次方程，如下：

        其中 ε 是一個(gè)在[-50,50]之間均勻分布的誤差項(xiàng)。數(shù)據(jù)集一共包括二十個(gè)點(diǎn)，其中 x 分 別選取從 1 到 20 的 20 個(gè)整數(shù)。如圖 3.2 所示，星號(hào)為二十個(gè)觀測(cè)數(shù)據(jù)點(diǎn)，曲線為不 帶誤差項(xiàng)的原始二次方程。

        在實(shí)際的工作中，研究人員并不知道數(shù)據(jù)來(lái)源的具體邏輯，因此可能會(huì)設(shè)置出各 種各樣的方法來(lái)擬合數(shù)據(jù)集。當(dāng)研究者采用三次方程來(lái)擬合這 20 個(gè)數(shù)據(jù)點(diǎn)時(shí)，得到 的方程曲線如圖 3.3 所示。曲線與數(shù)據(jù)點(diǎn)的差距有一定縮小，但是曲線形狀與圖 3.2 中原始方程的曲線存在走勢(shì)上的差別，在圖形最左側(cè)有一個(gè)原始圖形沒(méi)有的下降趨勢(shì)， 右側(cè)的下降則比原圖更甚。使用復(fù)雜度比二次方程更高的三次方程來(lái)研究該數(shù)據(jù)集， 造成的就是過(guò)度擬合的問(wèn)題。

        當(dāng)研究人員使用一次方程來(lái)擬合這 20 個(gè)點(diǎn)的數(shù)據(jù)集時(shí)，得到的方程曲線如圖 3.4 所示。很明顯，用復(fù)雜度較低的線性方程擬合出的結(jié)果損失掉了原始曲線中先上升后 下降的走勢(shì)特性，而呈現(xiàn)出一個(gè)線性下降的趨勢(shì)，這就是由欠擬合造成的。

        上面這個(gè)例子簡(jiǎn)單化的展現(xiàn)了過(guò)度擬合和欠擬合在數(shù)據(jù)研究中的形式。對(duì)于量化 交易策略而言，過(guò)度擬合指的是由于選取的策略或模型過(guò)于復(fù)雜，不僅適應(yīng)了交易資 產(chǎn)本身的內(nèi)在屬性，而且在優(yōu)化過(guò)程中還刻畫(huà)了噪音在樣本數(shù)據(jù)中表現(xiàn)出的一些特性，

        過(guò)度的擬合了樣本數(shù)據(jù)，從而造成偏差，影響到策略的盈利能力。在一些專業(yè)書(shū)籍當(dāng) 中，過(guò)度擬合問(wèn)題有時(shí)候也被稱之為曲線擬合。欠擬合則恰好相反，往往是由于選取 的策略或者模型過(guò)于簡(jiǎn)單，適應(yīng)交易資產(chǎn)內(nèi)在特征的能力不強(qiáng)，擬合水平較低，因此 盈利能力也就較弱。

        就過(guò)度擬合和欠擬合的具體表現(xiàn)而言，兩者有相似之處也由于不同之處。正如上 面所述，兩種問(wèn)題都會(huì)導(dǎo)致策略的實(shí)際盈利能力下降，這是它們的相同之處。但是欠 擬合的量化交易策略由于對(duì)數(shù)據(jù)的描述和挖掘能力不足，往往在歷史數(shù)據(jù)優(yōu)化下和實(shí) 際交易中都表現(xiàn)不好，因此在回溯測(cè)試時(shí)就可以比較直觀的分辨出來(lái)。過(guò)度擬合的量 化交易策略則不同，由于在擬合樣本數(shù)據(jù)時(shí)過(guò)度的優(yōu)化，進(jìn)而擬合了樣本中噪音的特 性，因此常常是歷史數(shù)據(jù)優(yōu)化下的結(jié)果很好，只有在實(shí)際交易中才會(huì)顯著變差，也就 是俗稱的泛化能力低下。在實(shí)際的量化交易策略研發(fā)過(guò)程當(dāng)中，這樣的性質(zhì)增加了過(guò) 度擬合判別的難度。

        在大部分情況下，一個(gè)量化交易策略往往既具有過(guò)度擬合的問(wèn)題，也具有欠擬合 的問(wèn)題，原因在于金融資產(chǎn)的內(nèi)在屬性并不像物理學(xué)等學(xué)科所研究的對(duì)象一樣，存在 一個(gè)較為明確的運(yùn)行邏輯，同時(shí)也比語(yǔ)音識(shí)別等數(shù)據(jù)科學(xué)問(wèn)題的情況更加復(fù)雜和模糊， 人們現(xiàn)在對(duì)于資產(chǎn)價(jià)格運(yùn)行模式等問(wèn)題的了解還處在非常皮毛的狀態(tài)。在實(shí)際工作中， 研究選取的策略或模型可能只有一部分設(shè)置適應(yīng)了交易資產(chǎn)的內(nèi)在屬性，相符的內(nèi)在 屬性也只占交易資產(chǎn)整體屬性的一部分，因此策略模型是欠擬合的。好在量化交易策 略研發(fā)并不是一個(gè)需要絕對(duì)精確的學(xué)科，即使策略模型與數(shù)據(jù)內(nèi)在特性相符的程度不大，只要存在這種適應(yīng)性，就有可能為研發(fā)者帶來(lái)可觀的利潤(rùn)。于此同時(shí)，研究得到 的策略模型的另外一部分設(shè)定可能就與交易資產(chǎn)的內(nèi)在屬性完全沒(méi)有相關(guān)性，經(jīng)過(guò)最 優(yōu)化等工作之后只是擬合了資產(chǎn)交易中的噪聲，從而造成過(guò)度擬合的問(wèn)題。。{原文來(lái)自 www.tumamayizhan.com }

        實(shí)際工作中研究人員既需要減少量化交易策略過(guò)度擬合的程度，也要同時(shí)減少策 略欠擬合的程度。解決欠擬合的途徑較為清晰，就是不斷的嘗試各種各樣的策略，基 于更多、更好的策略模型來(lái)挖掘交易資產(chǎn)的內(nèi)在特征，獲得相應(yīng)的盈利能力。當(dāng)然， 嘗試新策略是量化交易策略研究工作的基本要求，因此欠擬合這一問(wèn)題也較少的被研 究人員所提及，大部分文獻(xiàn)資料都更注重于過(guò)度擬合的問(wèn)題，也存在許多相關(guān)論述。 從本質(zhì)上說(shuō)，簡(jiǎn)化策略當(dāng)然是一個(gè)行之有效的較少過(guò)度擬合的方法，馮諾伊曼曾通過(guò) 費(fèi)曼和戴森之口說(shuō)出了“我能用四個(gè)參數(shù)擬合一頭大象，用五個(gè)參數(shù)讓它擺動(dòng)鼻子” 的經(jīng)典名言，參數(shù)過(guò)多、模型過(guò)于復(fù)雜可能會(huì)導(dǎo)致過(guò)度擬合這一看法已經(jīng)成為了一個(gè) 公論。  

        但是與此同時(shí)，簡(jiǎn)化策略又與研究者要解決欠擬合、嘗試找到更合適的策略的目 標(biāo)背道而馳。圖 3.5 給出了一個(gè)策略在簡(jiǎn)單和復(fù)雜之間變動(dòng)時(shí)，欠擬合與過(guò)擬合情況 的粗略示例。由于交易資產(chǎn)的內(nèi)在運(yùn)行邏輯尚不清楚，因此任何一個(gè)交易策略都只能 挖掘并利用數(shù)據(jù)內(nèi)在特征的一部分，也就是兩個(gè)圓重合的淺灰色區(qū)域，而剩下的白色 區(qū)域則是交易策略沒(méi)有實(shí)際效用但是客觀存在的部分。當(dāng)策略復(fù)雜度增加時(shí)，策略就 有可能更多的利用數(shù)據(jù)的特征，表現(xiàn)為淺灰色的重合區(qū)域增加，欠擬合問(wèn)題得到緩解。 但是與此同時(shí)，策略無(wú)效的白色區(qū)域也可能相應(yīng)的增加，這一部分經(jīng)過(guò)最優(yōu)化就是過(guò) 度擬合的成因。因此在量化交易策略的研發(fā)工作中，策略的復(fù)雜程度、參數(shù)數(shù)量的設(shè)置等問(wèn)題常常需要研究人員根據(jù)實(shí)際情況、過(guò)往經(jīng)驗(yàn)來(lái)進(jìn)行主觀判斷，沒(méi)有一個(gè)固定的最優(yōu)標(biāo)準(zhǔn)。好在針對(duì)回溯測(cè)試過(guò)程而言，存在著一些可以用來(lái)判別過(guò)度擬合問(wèn)題的 技巧，因此研究者可以在適當(dāng)增加量化交易策略復(fù)雜程度的基礎(chǔ)上，通過(guò)這些技巧來(lái)盡量規(guī)避策略的過(guò)度擬合。{原文來(lái)自 www.tumamayizhan.com }

        除此之外，增加回溯測(cè)試時(shí)使用的樣本量也是一個(gè)可能會(huì)產(chǎn)生作用的做法。如果量化交易策略所針對(duì)的交易資產(chǎn)內(nèi)在特性沒(méi)有隨著時(shí)間產(chǎn)生變化，那么增加樣本量可 以擴(kuò)展回溯測(cè)試的覆蓋范圍，從而在更大的區(qū)間內(nèi)研究策略的穩(wěn)定程度，而樣本量的 增加也可以讓研究人員更自由的使用一些判斷過(guò)度擬合的研究技巧，這樣就能夠在保 證不造成欠擬合問(wèn)題的條件下，更好的規(guī)避過(guò)度擬合的產(chǎn)生。在實(shí)踐中增加樣本量進(jìn) 行研究的做法也確實(shí)能夠取得一定的效果，因此在可獲得的數(shù)據(jù)量充足的前 提下，還是應(yīng)該盡可能的讓回溯測(cè)試覆蓋更廣的范圍。不過(guò)究其根源，內(nèi)在特性不隨 時(shí)間變化的假設(shè)本身是值得懷疑的，前面已經(jīng)說(shuō)過(guò)，人們現(xiàn)在對(duì)于資產(chǎn)價(jià)格運(yùn)行等內(nèi) 在特性的了解還處于非常皮毛的狀態(tài)，即使研究者們發(fā)現(xiàn)了某些規(guī)律并基于這些規(guī)律 形成了可以盈利的策略，也不能保證這些規(guī)律會(huì)保持下去。在這種情況下，不經(jīng)判斷 而盲目的增加數(shù)據(jù)量，就可能對(duì)量化交易策略的盈利能力造成誤判。而且在中國(guó)市場(chǎng) 這種運(yùn)作時(shí)間較短、環(huán)境變化較快的市場(chǎng)上，該問(wèn)題就更加嚴(yán)重。完全消除這個(gè)矛盾 需要研究人員對(duì)本質(zhì)問(wèn)題充分理解和把握，這并不是僅靠一個(gè)合理的量化交易策略研 發(fā)框架就可以解決的問(wèn)題。