システムの検証方法 [システムトレード]
一口にトレーディングシステムの検証と言いましても、そのやり方には様々な方法があります。そして、その違いによって、得られたシステムの概念そのものが、異なってくる場合があるのかもしれません。
私の場合、解析的な検証方法を採っています。それは、検証しているロジックによって得られる出力（売買ポジション）を、評価ブロック（プログラム）に引き渡すことで、直接的にシステムの出力（資産推移や各種性能指標）を得るものです。
この方法の利点は、ロジック設計からシステム運用への移行が容易である、ということです。また、パラメータの調整が容易であるため、細かなチューニングがやり易くなります。
しかし、最大の利点は、「株価の予測」という行為を前提とすることなく、システムを構築できることではないかと考えます。
すなわち、何故システムが機能するかについては、ロジック設計時に定性的に考える程度とし、結果的に良好な性能が得られることを優先します。
そのため、当然のことながら常に過剰最適化（カーブフィッティング）の影が、付きまとってしまいます。
それについては、最適化方法の工夫などによって、ある程度は回避できると考えていますが、残念ながらまだ完全ではありません。
別途、信頼性評価試験などを行うことにより、少しでも長寿命なシステムを追及する必要があります。
また、この方法の場合、ロジック設計そのものが最大のネックとなります。ロジックを検証するためには、アイデアを具体的に売買ポジションとして出力する必要があり、その都度、新たなプログラムを作成する必要があります。
その部分を簡略化しようとすると、既存のテクニカルの組み合わせに特化したり、無茶な最適化に走ったりしがちになります。
また、ロジック設計そのものがシステム開発の最大の目的となってしまい、信頼性評価などへの対応が疎かになってしまうかもしれません。
他方、上述した方法以外では、例えば目的変数と説明変数の相関を調べる、という方法を採ることもあります（これについては私は専門外ですので、間違いがあるかもしれません）。
これは、例えば近々の株価推移を目的変数とし、直近の株価推移や他のテクニカル、あるいはファンダメンタルズ要因などを説明変数に設定します。
近々の株価推移と言いましても漠然としていますが、例えば翌日の日差、もしくは翌日～翌々日の始値差や終値差などを設定すればいいわけです。
そして、説明変数と目的変数の相関（相関図や相関係数）を求めてみます。なお、通常は説明変数の数は複数となりますので、その場合は、多変量解析を行なったりします。
ここでは簡単のため、説明変数は一つとして話を進めます。また、目的変数は翌日の日差ということにしておきます。
あるいは、それらを規格化して、それぞれ-1～+1の値を取るようにしておきます。
さて、当日を過去のある時点に設定し、その時の説明変数と目的変数の値をそれぞれ求めてみます。続いて、日にちを1日進めて、同様に求めます。
それらの作業を現在まで続けますと、説明変数と目的変数の組み合わせが出来上がります。あとは、その散布図を描いて、相関係数もしくは決定係数を求めれば良いわけです。
もしも、説明変数と目的変数との間に強い相関が見られれば、しめたものです。実際にシステムを組んで、例えば説明変数がプラスの時は、翌寄付きで買建てし引けで返済、マイナスの時はその逆にすれば良いことになります。
なお、目的変数と強い相関を持つ説明変数は一つとは限りません。その場合は、例えば説明変数を1次結合して用いることになります。
結合係数は、両者の相関の大きさによって決定することになるでしょう。
この方法の最大のメリットは、システムが機能することに対する説明力が高い、ということになるでしょう。また、全期間に渡って必然的に検証がなされる、というメリットもあります。
そのため、一般にはカーブフィッティングにはなり難い、と考えられるかもしれません。
更に、ロジックの機能性を探るために、相関という非常に原理的な道具を用いるだけですので、ロジック開発の効率が高いことが期待されます。
その一方、有効なロジックを見つけるためには、かなり大掛かりな検証（大量の説明変数を調べる）を行なう必要があるかもしれません。
また、この方法は、基本的に株価推移を予測する、という立場を採ることになります。そのため、前述した解析的な検証方法とは、心情的に相容れない場合が生じてしまいます。
両者の方法の違いによって、結果的に株価の予測性に関する結論が異なるという事実は、興味深くもあります。
ただし、これらのシステムは互いに相容れないといった類のものではなく、ロジック開発の部分を後者のシステムが、それ以降のシステム構築の部分を前者のシステムが、それぞれ担えばいいのではないかと思います。
私の場合、解析的な検証方法を採っています。それは、検証しているロジックによって得られる出力（売買ポジション）を、評価ブロック（プログラム）に引き渡すことで、直接的にシステムの出力（資産推移や各種性能指標）を得るものです。
この方法の利点は、ロジック設計からシステム運用への移行が容易である、ということです。また、パラメータの調整が容易であるため、細かなチューニングがやり易くなります。
しかし、最大の利点は、「株価の予測」という行為を前提とすることなく、システムを構築できることではないかと考えます。
すなわち、何故システムが機能するかについては、ロジック設計時に定性的に考える程度とし、結果的に良好な性能が得られることを優先します。
そのため、当然のことながら常に過剰最適化（カーブフィッティング）の影が、付きまとってしまいます。
それについては、最適化方法の工夫などによって、ある程度は回避できると考えていますが、残念ながらまだ完全ではありません。
別途、信頼性評価試験などを行うことにより、少しでも長寿命なシステムを追及する必要があります。
また、この方法の場合、ロジック設計そのものが最大のネックとなります。ロジックを検証するためには、アイデアを具体的に売買ポジションとして出力する必要があり、その都度、新たなプログラムを作成する必要があります。
その部分を簡略化しようとすると、既存のテクニカルの組み合わせに特化したり、無茶な最適化に走ったりしがちになります。
また、ロジック設計そのものがシステム開発の最大の目的となってしまい、信頼性評価などへの対応が疎かになってしまうかもしれません。
他方、上述した方法以外では、例えば目的変数と説明変数の相関を調べる、という方法を採ることもあります（これについては私は専門外ですので、間違いがあるかもしれません）。
これは、例えば近々の株価推移を目的変数とし、直近の株価推移や他のテクニカル、あるいはファンダメンタルズ要因などを説明変数に設定します。
近々の株価推移と言いましても漠然としていますが、例えば翌日の日差、もしくは翌日～翌々日の始値差や終値差などを設定すればいいわけです。
そして、説明変数と目的変数の相関（相関図や相関係数）を求めてみます。なお、通常は説明変数の数は複数となりますので、その場合は、多変量解析を行なったりします。
ここでは簡単のため、説明変数は一つとして話を進めます。また、目的変数は翌日の日差ということにしておきます。
あるいは、それらを規格化して、それぞれ-1～+1の値を取るようにしておきます。
さて、当日を過去のある時点に設定し、その時の説明変数と目的変数の値をそれぞれ求めてみます。続いて、日にちを1日進めて、同様に求めます。
それらの作業を現在まで続けますと、説明変数と目的変数の組み合わせが出来上がります。あとは、その散布図を描いて、相関係数もしくは決定係数を求めれば良いわけです。
もしも、説明変数と目的変数との間に強い相関が見られれば、しめたものです。実際にシステムを組んで、例えば説明変数がプラスの時は、翌寄付きで買建てし引けで返済、マイナスの時はその逆にすれば良いことになります。
なお、目的変数と強い相関を持つ説明変数は一つとは限りません。その場合は、例えば説明変数を1次結合して用いることになります。
結合係数は、両者の相関の大きさによって決定することになるでしょう。
この方法の最大のメリットは、システムが機能することに対する説明力が高い、ということになるでしょう。また、全期間に渡って必然的に検証がなされる、というメリットもあります。
そのため、一般にはカーブフィッティングにはなり難い、と考えられるかもしれません。
更に、ロジックの機能性を探るために、相関という非常に原理的な道具を用いるだけですので、ロジック開発の効率が高いことが期待されます。
その一方、有効なロジックを見つけるためには、かなり大掛かりな検証（大量の説明変数を調べる）を行なう必要があるかもしれません。
また、この方法は、基本的に株価推移を予測する、という立場を採ることになります。そのため、前述した解析的な検証方法とは、心情的に相容れない場合が生じてしまいます。
両者の方法の違いによって、結果的に株価の予測性に関する結論が異なるという事実は、興味深くもあります。
ただし、これらのシステムは互いに相容れないといった類のものではなく、ロジック開発の部分を後者のシステムが、それ以降のシステム構築の部分を前者のシステムが、それぞれ担えばいいのではないかと思います。
このエントリーの内容で理解できる範囲ではありますが、検証に対するアプローチ・考え方が自分とよく似ています。もちろんＫフローさんの検証プログラムとは天と地ほどの差があると思いますがT_T
ただ、ファクターモデルの構築の最初の仮定が全数検索であると考える点に、Ｋフローさんに株価予測性を感じさせるのかもしれません。私の知る限り、ファクターモデルをつくろうとしているトレーダーの多くがそういうアプローチを取りますが、最初にやるべきことが他にあるはずだ、と思っています。
総じて今回のエントリーは正確に理解できておりませんので間違った意見でしたらご容赦を。
by Y102 (2010-08-12 00:25)
こうして文章にして頂けると非常に参考になります。
ファクターモデルについては、構築、検証方法について勉強不足でファンダメンタルズのお勉強からはじめています。
といいつつも、我慢出来なくてなんちゃってファクターモデルを実運用してたりもするのですがｗ
by Ina (2010-08-12 01:34)
Y102さん、こんにちは。
ファクターモデルに関しては、私のは聞きかじりの知識に過ぎませんので、Y102さんの考え方やおっしゃることなどが、99%（100%は存在しないと考える主義なのでご容赦を）正しいと思います。
株価予測性に関しては、私の記憶違いでなければ、以前土屋氏のブログのエントリーで、「株価が予測できないなどということはない」といったような主旨のご発言があったように思いますが、その時からちょっと引っ掛かるものがありました。
でも、曲がりなりにもファクターモデルらしきものを考えてみたことにより、何となくその意味が分かったような気になりました。
そこで、唐突でしたが、株価予測性の対比という着眼点で考えてみた次第です。
ちなみに、「最初にやるべきことが他にあるはず」の部分には、興味があります。Y102さんの重要なノウハウでしょうから、簡単に明かされることはないと思いますが。
by Ｋフロー (2010-08-12 09:08)
Inaさん、こんにちは。
ファクターモデルに関しては、私は完全にド素人です。実際にファクターモデルを実践し、運用されているInaさんの方が、10歩も20歩も先を行っています。
by Ｋフロー (2010-08-12 09:11)
ぜひＫフローさんもいつか挑戦してくださいｗ
でもＫフローさんの正逆合成システムも素晴らしいですからね。。
by たかとび (2010-08-12 10:00)
ノウハウというほどの大それたものじゃありませんよ。聞いても「なんだ、そういうことね」という程度のコトです。
しかし土屋さんが「株価が予測できないなどということはない」と言っていたというのは驚きですね。完全に読み逃していました。もし本当なら、この点について是非また土屋さんにブログで語って欲しいです。
自分は自己相関でもファクターでも「上か、下か」より「どの程度上へ、どの程度下へ」というのがシストレの基本だと思っていました。土屋さんはこういった基本部分については、もう語ることは無いカモですが・・。
話し変わりますが、円と株、すんごいことになってきましたね。
そこでチョット面白い記事をご紹介。
http://www.bloomberg.co.jp/apps/news?pid=90920013&sid=a3g2HaN4YjCY
予測不可能の代表者が予測してしまっている気がしてならないんですが（笑）
by Y102 (2010-08-12 10:07)
たかとびさん、こんにちは。
「いつか手が空いたら」と、いつも思ってはいるのですが、なかなかそういう状況になりません。まずは、自分の得意分野で最大限の努力をすることを優先しています(^_^;)
by Ｋフロー (2010-08-12 11:27)
Y102さん、どうもです。
土屋氏の件については、完全に私の思い違いかもしれません。同じ頃に、龍金氏のブログとかにも強い衝撃を受けたため、頭の中で妄想化していたのかもしれません(^_^;)
ちなみに、土屋氏の最新のエントリーでは、オーバーナイトの重要性について語られていますね。私も裏デイトレに見切りを付けずに、もっと追求していればよかったかも、などと思ってしまいました。
タレブ氏の記事は、確かに自己矛盾しているみたいに見えますね。ちなみに、私のシステムはこの円高・株安の状況下で、日産自動車買いを指示し、今日の寄付きで買い建てました。
さすがに怖くて（笑）、今日はほとんど株価を見ていません(^_^;)
今、恐る恐る見てみたら、とりあえず今のところ、評価損にはならずに済んでいるようです。
by Ｋフロー (2010-08-12 11:28)
何度もコメントすみません。今日はヒマなもんで（これで今日の自分のトレード結果わかっちゃいますね）。
土屋さんの最新エントリー読みました。
確かに自分も検証していた頃は、明らかにONの方が儲かると分かりました。
しかし、自分のシステムの場合、ブログで再三書いてるように損益がボラと比例するので、DDが耐えられないんですよね。それに対応するためには、更に大きな資金を容易するか低レバでやるしかありません。まっ、自分の場合「寝られなくなる」というのがイチバンの問題ですけどね。
ＰＳ 日産、とんでもなく吹き上がってるじゃないですか！うらやましい！
by Y102 (2010-08-12 13:34)
私も日中はブログを読むか、システムを弄るかくらいしかしていませんので、基本的には暇してます。特に今日のように蒸し暑い日は、システムを弄る気にもなれず、ぼ～～～っとしています（笑）
ONは以前実行していたのですが、その当時はリスク管理の「リ」の字も知らずに、チャイナショックで資産の3割ほどを吹っ飛ばしてしまいました（あの時はトヨタですらストップ安直前でしたから、個人的にはその後のリーマンショックなどよりも強烈でした）。
もちろん、NYが気になって、寝られたものではなかったです。
何故か分かりませんが、昼過ぎから円が急激に戻ってきましたね。日産はとりあえずラッキーでしたが、手仕舞いするまで安心できません（日計りではないもので）。
by Ｋフロー (2010-08-12 14:27)
コメント欄にぎわってますね～！
今日は昼すぎから戻しが入ってくれたので助かりました。
ONのシステムはしばらく自分も運用してましたが、NYや為替が気になって夜中に目が覚めるので、その分スイングに資金を割り当てた方が精神的に安定すると思ってます。
※最近シグナルがあまり出ないからってのもありますが。。。。
日産おめでとうございます！
by Ina (2010-08-12 16:03)
ありがとうございます。
日産は、今日の引け時点でシグナルは出ず、OW決定です。かなり不安ですが、仕方ありません。
たまには10%位の利益がほしいところですが、欲をかくとたいてい負けますね。
by Ｋフロー (2010-08-12 16:21)