在評估一個系統(tǒng)的測試指標之前，我認為先檢驗測試結果的可信度。這就像我們在相信一個人說的話之前，先必須相信這個人。你可能找到一個交易系統(tǒng)，也可能是自己開發(fā)了一個交易系統(tǒng)，但是不論你對提供這個系統(tǒng)的人，包括你自己，有多少信任，你都要堅持先檢驗測試結果的可信度。如果因為盲目的相信或僥幸心理，跳過去這個過程，這無異于給你的資金安全埋下一個定時炸彈。


交易系統(tǒng)測試結果的可信度評估主要有以下幾個方面：

一、這個系統(tǒng)是不是“黑盒子”？如果是，不論是什么理由，其結果都不可信。這雖然有些絕對，但僥幸心理是交易之大忌。這有點像在坐飛機時幫陌生人捎帶東西一樣：那東西打不開，但一定是炸彈嗎？也不能下定論。如果你認為不能帶陌生人的東西上飛機，你也不應該相信一個“黑盒子”系統(tǒng)。

二、檢驗系統(tǒng)測試條件與實際交易的符合程度。如果不符，各種績效指標就不用看了。我認為至少要檢查以下幾點：

ａ．測試數(shù)據(jù)是否涵蓋了至少一個大的牛市和一個大的熊市，一般至少要十年以上。我見過很多系統(tǒng)，測試指標很漂亮，可仔細一看，測試結果是基于指定的某段時間，譬如從２０００年到２００５年，這時就要打個問號了，因為２０００年以前的數(shù)據(jù)不難得到啊，為什么不從１９９０年或更早開始呢？對于大多數(shù)要賣錢的交易系統(tǒng)，這樣做是不難理解的。一般來講，測試涵蓋的時間越長，測試的可信度越高。

ｂ．測試是否把交易傭金從贏利中扣除。否則，你可能在為證券公司打工。這一點對于交易頻繁的系統(tǒng)尤其重要。

ｃ．測試是否把交易的滑價(slippage)從贏利中扣除。譬如測試的某個交易是在40元買入的，在實際交易中可能你買不到，你可能要花 40.10元，有的市場甚至可能要40.50元。這一毛或五毛的價差是不是刨去了？好的系統(tǒng)測試會根據(jù)被測市場的流通性假設一個合理的滑價。越是短線的交易系統(tǒng)，滑價造成的影響越大。我還見過幾次這樣的情形：很好的測試結果，滑價預計得比較低，但當前市場的流通性確實很好，滑價好像是合理的。但總覺得結果好得讓人不敢輕易相信。仔細一想，發(fā)現(xiàn)了問題：這個市場只是最近這兩年才熱起來的，以前的日成交量很低，但測試結果是按照當前的日成交量來估算滑價的。如果按以前的日成交量來算滑價，系統(tǒng)的績效就遠不如第一次看到的那樣好。但是起碼這是合理的結果。在測試時堅持合理的假設，會減少在實際交易中出現(xiàn)的沒有預想到的損失。另一個需要注意的情形是如果系統(tǒng)是一個突破型的系統(tǒng)，例如在股票突破五日最高點時買進，這時市場上可能有很多交易者都盯著那個點買入，在價格突破時會有很多人進場作多，這時即使是日成交量很大的股票都可能會出現(xiàn)大的滑價，在測試中這些都需要考慮進去。

三、檢查測試結果是否具有統(tǒng)計意義上的可信度。如果統(tǒng)計意義上的可信度很低，別的指標不用看了。統(tǒng)計的指標有：

ａ．交易次數(shù)。至少要超過30，才能滿足一般的統(tǒng)計要求。結果的不確定性是與交易次數(shù)（統(tǒng)計上的樣本大小）的平方根成反比的。因此，系統(tǒng)交易的次數(shù)越多，這些交易所表現(xiàn)的系統(tǒng)績效的確定程度就越高，也就是結果越可信。

ｂ．系統(tǒng)的贏利是不是集中在少數(shù)幾個交易上。如果一個系統(tǒng)的贏利有十萬元，但其中的七萬來自于某兩次交易，那么應該把這兩次交易去除看你能不能對系統(tǒng)的其他次交易的結果滿意，因為很有可能你在實際交易中碰不到這種“滿貫”型的交易。在Tradestation系統(tǒng)測試軟件的系統(tǒng)分析報告中，除了 “獲利因子”(Profit Factor)外，還有一項“經(jīng)調整的獲利因子”(Adjusted Profit Factor)，就是針對這種情況而設的。

四、系統(tǒng)是否被“過度優(yōu)化”(Over-optimized)。可以看以下兩點得到初步印象：


ａ．看系統(tǒng)有幾個優(yōu)化參數(shù)。參數(shù)越多，“過度優(yōu)化”的可能性越大。一般來講，超過兩個就很危險了。如果你手頭有系統(tǒng)測試軟件，你可以做個簡單的試驗：選一個股票或期貨，用兩個移動平均的交叉作買入和賣出的信號，然后對這兩個移動平均的日數(shù)做優(yōu)化（例如從１０日到１６０日，５日一階），很有可能在優(yōu)化的結果中你能找到很不錯的。如果再加一個參數(shù)，譬如說止損點或贏利靶點(Profit Target)，那么今天你就可以找到不少誘人的系統(tǒng)。但是你會用這些系統(tǒng)去交易嗎？


ｂ．看系統(tǒng)交易程式中是否有“魔術”數(shù)字。如果有，就要問為什么用這個特定的數(shù)字。譬如，程式中用了一個２０天的移動平均，一般我都會問為什么用２０天而不是１０天？如果是１０天的移動平均會是什么結果？３０天又是什么結果？

ｃ．看系統(tǒng)的交易策略是否簡單。越是邏輯簡單的系統(tǒng)，一般來說，越不容易被過度優(yōu)化，也越能經(jīng)得起時間的考驗。海龜交易法則就是一個簡單系統(tǒng)的典范。基于期貨市場價格的季節(jié)性漲跌的系統(tǒng)也是很簡單易懂的。很多人不相信大家都知道的交易策略能持久地贏利。在這里順便談談我的看法。我認為，這個問題的關鍵，是不能簡單地以為知道了交易策略就萬事大吉了。交易策略可以大家都一樣，但每個人的交易計劃，包括資金管理和交易管理，和每個人的性格與自律程度，以及對市場的了解，則千差萬別。好比人人都知道怎樣在墻上釘個釘子：買個錘子啊！聽起來最簡單不過了，三歲小兒都知道。為什么很多人還是敲不好呢？原因很多。可能買了個自己使不動的錘子（交易系統(tǒng)不符合個性），可能不知道有些墻是要先探到磚縫的才好敲的（對市場不了解，選錯了市場或選錯了時段），也可能是釘子敲得太少（缺乏經(jīng)驗，對市場沒感覺），或者是用力過猛把釘子敲彎了（想一夜暴富，結果過度交易搞破產(chǎn)了），等等。總之，交易策略可以簡單，但要指望通過交易達到穩(wěn)定地贏利卻不容易。

回到“過度優(yōu)化”的主題上，如果要做進一步的分析，我一般會看系統(tǒng)指標在不同參數(shù)下的分布。對于好的系統(tǒng)，這種分布的形狀應該像小山包。

假設系統(tǒng)只有一個參數(shù)，即某個移動平均的日數(shù)。而且，為簡單起見，我們只看系統(tǒng)的總贏利。可以看到，雖然總贏利在參數(shù)為45時最優(yōu)，但用其他值時的贏利也很不錯。或者說這是個可以“穩(wěn)定”贏利的系統(tǒng)。


如果像懸崖，說明系統(tǒng)對于參數(shù)的變化太敏感，你就要小心了。


五、看系統(tǒng)的交易策略是否有實際意義。也就是說，系統(tǒng)的交易邏輯必須能夠被合理解釋。好的交易系統(tǒng)捕捉市場的某些可量化的特性，如果系統(tǒng)的邏輯無法合理地解釋成市場的某種特性，那么這個系統(tǒng)是不可信的。舉個例子說，假設某人發(fā)現(xiàn)在黃金突破２０天高點之后的三個月聯(lián)想總是會上漲，于是他開發(fā)出一個系統(tǒng)在黃金突破２０天高點時買入聯(lián)想的股票。這個系統(tǒng)可能可以通過以上所有的可信度檢驗而且每年能給你１００％的回報，但是，在我有足夠的想像力能夠解釋為什么聯(lián)想的股票跟金價會有這種關系之前，我是不會用這個系統(tǒng)進行實戰(zhàn)交易的。

只有在通過了以上所述的可信度檢驗后，討論系統(tǒng)測試的績效指標才有意義。如果是自己進行交易系統(tǒng)的開發(fā)，在交易策略的選擇，優(yōu)化，和測試的過程中就必須把可信度的問題考慮在內。但交易系統(tǒng)的開發(fā)與測試有更多的內容和需要注意的地方，需要另一個專題來討論。

祝大家找到合意的交易方法并穩(wěn)定贏利！