新システムのフォワードテスト

昨日のコラムでは、トレーディングシステムのテスト期間の設定方法について考察した。これは、直近日をテスト終了日として、テスト開始日をいろいろと変えてみることであった。
今回はそれとは逆に、テスト開始日を固定し、テスト終了日をいろいろと変えて最適化を行い、システム性能を評価した。いわゆる、フォワードテストである。

対象としたシステムは日経平均株価の順張り買いシステムで、テスト開始日は1993年11月1日とした。最適化に当たっては、主観を入れないよう、標準的なパラメータ範囲において総損益が最大となる条件を最適パラメータとした。

システムをご利用いただいている方にはお分かりと思うが、これは極めて客観的な決定方法である。
なお、今回、日経平均株価をテストに用いたのは、個別銘柄だと万が一にも実際の運用システムと重なってしまう可能性があるからである。日経平均株価なら、その心配は少ない。

テスト方法は、テスト終了日を2007年6月27日から1年前、2年前、4年前として、それぞれの最適パラメータを決定し、その時の性能指標やチャートを、パラメータを変えずに現在まで運用した時のものと比較する、というものである。

まずは現時点での性能指標であるが、テスト終了日を2006年6月27日とした場合、PF1.36、トレード数95回、勝率43.16%、損益レシオ1.80、平均損益率0.46%であった。
チャートは、昨日のコラムで示したとおりである。

次に、テスト終了日を2006年6月27日にした場合、その時点における性能指標は、PF1.35、トレード数83回、勝率40.96%、損益レシオ1.94、平均損益率0.50%であった。

また、そのまま2007年6月27日まで運用を続けた場合、PF1.36、トレード数95回、勝率43.16%、損益レシオ1.80、平均損益率0.46%であった。
すなわち、2007年6月27日に決定した最適パラメータと全く同じだったことになる。

次に、テスト終了日を2005年6月27日にした場合、その時点における性能指標は、PF1.13、トレード数74回、勝率40.54%、損益レシオ1.66、平均損益率0.20%であった。

また、そのまま2007年6月27日まで運用を続けた場合、PF1.36、トレード数94回、勝率42.55%、損益レシオ1.83、平均損益率0.46%であった。
直近日で最適化した場合と比べて、ほとんど遜色がないことが分かる。

次に、テスト終了日を2003年6月27日にした場合、その時点における性能指標は、PF1.12、トレード数57回、勝率40.35%、損益レシオ1.66、平均損益率0.28%であった。
ちなみに、このテスト期間は完全なダウントレンドであった。

また、そのまま2007年6月27日まで運用を続けた場合、PF1.27、トレード数96回、勝率41.67%、損益レシオ1.77、平均損益率0.35%であった。
直近日で最適化した場合と比べて、若干の性能ダウンは見られるが、システムはきちんと機能しているようである。

テスト期間を1993年11月1日～2003年6月27日として、最適化した場合の資産カーブを下図に示す。上段は2003年6月27日までのチャート、下段はパラメータを変えずに現在まで運用を続けた場合のチャートである。


2004年の株価停滞期には、損切りの連続による資産減少が見られるが、2005年の株価上昇には上手く乗れている。
何よりも、4年前に設定した最適パラメータが、現在においても機能しているというのは、私自身も驚いている。

しかも、4年前は完全にダウントレンドだった。すなわち、株価下落過程において利益が上がるように最適化されていてもおかしくはない状況だった。
それにも拘らず、2005年以降の株価上昇にきちんと追従している。

資産カーブが全体として右肩上がりにならないのは、日足ベースの順張り買いシステムの宿命である。これは、ダウントレンドにおいては資産の下落を出来るだけ避け、上昇トレンドに上手く乗るように設計されているためである。

その分、売りシステムでは2003年6月27日までで見ると、順調な右肩上がりになっている。もしも、売りをも含めたシステム、すなわちドテンシステムでの運用を行なうのであれば、ドテン時の性能指標を最適化してやる必要があるが、それはまた別の話題である。

以上より、新システム（ＫＦシステムクリエイター）における順張り買いシステムは、最適パラメータの決定に際して過剰最適化には陥り難いようである。
これは、実際にシステム運用を行なう場合に、システムを信頼するための大きな動機付けとなる。