histor. Kursdaten importieren

Ich habe vor bei der Eurex oder bei CQG historische Kursdaten für den FDAX zu kaufen.
Bei beiden werden Beispieldateien bereitgestellt welche ich nicht importieren kann.
Kann jemand sagen ob und wie diese Daten zu importieren sind.
Die Beispieldatei ist 1,2 MB groß bei CQG und kann leider nicht im Anhang beigefügt werden.
Das Dateiformat lautet *.ts
Bei Bedarf kann ich per mail die Datei zustellen.

Ich benutze eine Tradestation 2000i

Danke

Hallo tso,

aufgrund der Grösse dxer Datei vermute ich, dass es sich um intraday-Daten (Minuten oder Ticks) handelt?

Grundsätzlich gibt es 2 Möglichkeiten externe Daten in der 2000i zu verwenden, der Import in den GlobalServer oder die direkte Anzeige im Chart als 3rd party Data. Zum Import von intraday Daten in den GS benötigst Du ein zusätzliches Konvertierprogramm welches aus den Daten eine XPO-Datei macht (z.B. HistoryCentre). Zum Anzeigen als 3rd-party im Chart müssen die Daten in einer Textdatei mit definiertem Format vorliegen (siehe TradeStation Hilfe).

Gruss
-Klaus

P.S. Es gibt diverse Anbieter von historischen Daten, die direkt das benötigte Format verkaufen bzw. ein Konvertiertool beilegen.

P.P.S. Ich würde keine Tickdaten von der Eurex direkt kaufen, da dort - zumindest war es früher so - OTC Daten enthalten sind die man vor Verwendung manuell herausfiltern muss.

P.P.P.S Wenn Du mal genau schreibst was für Daten Du benötigst und eine Email-Adresse angibst findet sich ja vielleicht auch ein freundlicher User der Dir die Daten in den nächsten Tagen zuschickt?

Gruss
-Klaus

Zitat:

---

Original von tso
Ich habe vor bei der Eurex oder bei CQG historische Kursdaten für den FDAX zu kaufen.
Bei beiden werden Beispieldateien bereitgestellt welche ich nicht importieren kann.
Kann jemand sagen ob und wie diese Daten zu importieren sind.
Die Beispieldatei ist 1,2 MB groß bei CQG und kann leider nicht im Anhang beigefügt werden.
Das Dateiformat lautet *.ts
Bei Bedarf kann ich per mail die Datei zustellen.

Ich benutze eine Tradestation 2000i

Danke

---

DTB                        daily contract statistics                                      

S512                                                                                      

                                                                                          

contract(s):        year:      month:    day:                                             

                                                                                          

pro- t ex ex       v date       opening  highest   lowest  settlem.           open        

duct y mt yr strke s year mt dy  price    price    price    price   volume  interest      

---- - -- -- ----- - ---- -- -- -------- -------- -------- -------- ------- ---------     

FDAX   09 97     0 0 1996 12 23  2896.00  2896.00  2896.00  2897.50      90        90

FDAX   09 97     0 0 1996 12 27     0.00     0.00  9999.99  2914.00       0        90

FDAX   09 97     0 0 1996 12 30     0.00     0.00  9999.99  2937.50       0        90

....

DTB                  contract time and sales sheet

S511



contract(s): FDAX   year: 1995 month: 05 day: 



pro- t ex ex       v date                    match

duct y mt yr strke s year mt dy hr mn sc cs  price    size

---- - -- -- ----- - ---- -- -- -- -- -- -- -------- -------

FDAX   06 95     0 0 1995 05 02 09 34 29 31  2028.00     156

FDAX   06 95     0 0 1995 05 02 09 34 35 50  2028.00       2

...

FDAX   06 95     0 0 1995 05 31 16 39 55 52  2103.00       4

FDAX   06 95     0 0 1995 05 31 16 39 59 89  2103.00      20

FDAX   06 95     0 0 1995 05 31 16 40 01 13  2103.00      11

FDAX   06 95     0 0 1995 05 31 16 40 02 76  2103.00      10

FDAX   06 95     0 0 1995 05 31 16 40 04 54  2103.00       5

Danke für eure Hinweise.
Mein Problem ist wie folgt:
Zum direkten Handeln benutze ich das Programm StrategyRunner.
Da ich nicht vollzeit handel, habe ich oft das Pech das meine besten Signale zu Zeiten kommen an denen ich nicht am Rechner sitze, also habe ich die Tradestation gekauft und mit der Programmierung begonnen.
Die Ergebnisse hängen aber massgeblich von der Qualität der verwendeten Daten ab.
Das Program soll später automatisch auf dem Server von StrategyRunner laufen, also habe ich mich auf die Suche nach einem Datenanbieter gemacht der mir im Idealfall die gleichen historischen Daten liefert wie ich sie bei StrategyRunner haben würde. (Leider handelt SR mit keinen historischen Daten und hat mich nur an CQG verwiesen.)
Ich habe über 10 Datenanbieter angefragt und von allen für den 28. September 2007 eine Beispieldatei mit Tickdaten für FDAX bekommen. Mein Programm basiert auf dem gehandelten Volumen pro Minute und da liegt mein Problem.
Alle Anbieter weisen beispielsweise für 16:53 Uhr ein anderes Volumen aus. Das reicht von Werten im zweistelligen Bereich bis hin zu Werten von 4000. Mein Realaccount weist einen Wert von 2309 aus, nur leider hat diesen Wert keiner der Datenlieferanten.
Im zuge der Datenrecherche bin ich auf das Importproblem von CQG gekommen.
Der Import hat mit dem HistoryCentre funktioniert.
Danke für den Hinweis.

Mein Problem besteht aber immer noch darin das CQG auch die Daten für den Realaccount stellt, diese aber von Ihren eigenen Daten abweichen. CQG meint ich bilde mir das nur ein?

Ein Backtest mit unterschiedlichen Daten ist doch Unsinn, oder?
Nach meinem Verständnis sollte man die Daten zum Backtest nehmen die später auch real genutzt werden.

Liege ich hier mit meiner Ansicht falsch??

Zitat:

---

Original von tso
...
Ein Backtest mit unterschiedlichen Daten ist doch Unsinn, oder?
Nach meinem Verständnis sollte man die Daten zum Backtest nehmen die später auch real genutzt werden.

Liege ich hier mit meiner Ansicht falsch??
...

---

Deine letzte Frage, @tso,

kann wohl recht kontrovers diskutiert werden, so dass am Ende genaus viel verschiedene Antworten stehen, wie Du verschiedene Daten fü Volumina zu stehen hast.

Also diese Starke Schwankung, die Du beobachtest hast, sind wohl wirklich auf mehr als nur einen Datenfehler zurückzuführen, hier hat wohl schlichtweg das eine oder andere eingesetzte Datenerfassungs-/-übertragungssystem versagt oder rechnet mit versetzten Zeitgrenzen.

Welche besondere Zeit es am 28.09.2007 um 16:53 nun war, die eine derartige Schwankung "ermöglicht" erschließt sich mir auch nicht. Liefern die Nachberintervalle ähnliche Schwankungen und/oder gleichen sich die Angaben der verschiedenen Anbieter als Summe über einen längeren Intervall wieder an?.

Jedoch dies betrifft nicht wirklich den Kern Deiner Frage, nämlich den, ob ein Backtesting nur mit korrekten Daten durchgeführt werden kann, «die die später auch real genutzt werden».

Richtig ist auf jeden Fall, dass Du Dein System auch nach der Qualität der in das System eingespeisten Daten aufbauen solltest (Lieferant, Übertragungsweg, Rechnermöglichkeiten u.a.), wobei dieses allerdings in Zukunft auch anderen Schwankungen unterworfen sein können, als diese bei historischen Kursen beobachtet wurden.

Dieser Umstand spielt wohl eine besondere Rolle, wenn man eine System "sich selbst überlassen will" (automatisches Handelssystem), denn hier sind Mechanismen vorzusehen, die auf derartige Schwankungen reagieren (Stopps, Behandlung von Ausreißern) können.

Allerdings ist m.E. eine auf das Handelsvolumen der Minute abzielendes System wohl mit besonderer Sorgfalt zu prüfen und es kann so eine Segen sein, dass Dir verschiedenen Daten dazu geliefert wurden, denn so kannst Du feststellen, wie robust Deine Krisenmanagement des HS ist, denn selbst durch Fehldaten erzeugte Signale sind rechtzeitig durch geeigenete Aktionsabläufe in ihrer Verlustwirkung zu begrenzen.

Wenn Du allerdings diesen Umstand der veränderbaren Datenqualität nicht so genau abgrenzen kannst, dann solltest Du m.E. in einer MonteCarlo-Simulation testen, wie sich die möglichen Kombinationen der Veränderungen Deiner Daten und Parameter auf den Kontostand auswirken können (DrawDown-Phasen).

Du erkennst, dass ich nicht besonders viel zur allgemeinen Beantwortung Deiner Frage beitragen kann, da eben sehr viel vom Gesamtkonzept des Systems abhängt, dass man näher zu betrachten hat, um möglcihe Gefahrenpunkte hervorzuheben, die infolge der veränderlichen Datenqualität entstehen könnten.

Gruß,
Uwe

Hallo tso,

ich fürchte, Dein Vorhaben wird so nicht funktionieren. Das eigentliche Problem sehe ich beim Strategy Runner, für mich eine Black-Box mit Datenfeed und OrderExecution aber ohne Backtestmöglichkeit. Du versuchst jetzt mit der TradeStation eine Backtestumgebung zu simulieren die dem Strategy Runner möglichst genau entspricht und hast zudem eine zeitkritische Strategie, die stark von Ticks und Volumen abhängt.

Wie ich selbst in der Vergangenheit mehrfach feststellen konnte ist das Trading auch mit Handlessystemen und automatischen Programmen nie zu 100% übertragbar und nachvollziehbar. Selbst auf 2 Rechnern mit dem gleichen Datenfeed und den gleichen Strategien habe ich schon unterschiedliche Signale bekommen, weil bei einem Rechner der Tick noch in der n-ten Kerze, beim anderen erst eine Kerze später zugerechnet wurde. Um aber möglichst nahe an die 100% zu kommen muss man möglichst gleiche Bedingungen für Backtest und realtime Trading schaffen und auch robuste Strategien bzw. Kombinationen aus Markt, Chart und Stategie entwickeln.

Da bei Dir die Umgebungen zum Backtest und realtime schon total unterschiedlich sind müsstest Du beonders robuste Strategien haben und z.B. mit daily Charts arbeiten, dann wäre das OK. Mit Deinem Tickvolumen hast Du aber leider genau eine 2. sehr kritische Komponente ausgesucht. Das wird nicht klappen.

Gruss
-Klaus

P.S. Hast Du wirklich zu Strategy Runner soviel Vertrauen, dass Du Deine Strategien auf dem FDAX auf deren Servern dort unbeaufsichtigt realtime handeln lassen würdest?

Zitat:

---

Original von Klaus
Du versuchst jetzt mit der TradeStation eine Backtestumgebung zu simulieren die dem Strategy Runner möglichst genau entspricht und hast zudem eine zeitkritische Strategie, die stark von Ticks und Volumen abhängt.

---

Hallo tso,

das entscheidende Wort in dem Beitrag von Uwe und mir war robust. Je robuster eine Strategie (bzw. die Kombination aus Markt, Chart und Strategie) ist, desto weniger anfällig ist sie für Änderungen an der Umgebung bzw. desto konstanter sind die Ergebnisse bei veränderten Marktbedingungen. Diese Robustheit kann man z.B. mit der von Uwe angesprochenen Monte-Carlo Simulation testen.

Nach dem was Du schreibst ist Deine Strategie nicht so robust, sondern sie läuft nur in einer bestimmten Umgebung zufriedenstellend. Das heisst nicht gleich dass man diese Strategie nicht realtime traden kann, aber man muss dabei viel viel mehr Wert auf die Umgebung legen. Insbesondere sollte Backtest-Umgebung und realtime-Umgebung in diesem Fall absolut identisch sein. Da hast Du dann das Problem mit dem SR.

Zitat:

---

Original von tso ...Bitte erkläre mir wieso StrategyRunner (SR) eine Black-Box sein soll? Was kann ich den dort nicht einsehen?

---

Hallo Klaus,

das Stichwort lautet robust!
Ich handel bereits seit mehreren Jahren diese Strategie und bin mit den Ergebnissen sehr zufrieden.
Bisher hatte ich nur eine Umgebung, SR, und in dieser läuft alles fehlerfrei. Man kann bei SR auch die historischen Daten auf 1 Minuten Intervallen 5 Jahre rückwärts einsehen. Es gibt aber leider keine Exportmöglichkeit.

Das ganze Problem ist ja erst aufgetreten als ich es automatisieren wollte und verschiedene Kursanbieter unterschiedliche Werte geliefert haben und in diesen Umgebungen geht das System völlig den Bach runter.
Im diskretionären SR ist es stabil und zuverlässig.
Genau genommen ist es auch egal ob ich auf 1, 2, 5 oder 15 Minuten handel, entscheident ist welches Volumen wird angezeigt und darin ligt für mich das elementare Problem. Die Datenanbieter gleichen sich ja leider nicht nach 5 Minuten an. So das man notfalls die Umsätz einfach dem einen oder anderen Bar zurechnen würde. Je größer das betrachtete Zeitintervall desto größer die Unterschiede im Volumen.

Sollte ich aus deiner Sicht nicht mit festen Werten sondern mit bsp. %-Werten arbeiten?
Meint ihr das mit robuster?

Mit dem Traden von mechanischen Systemen habe ich gar keine Erfahrung. Ich scheitere im Moment noch daran das ich für die Tradestation keine historischen Kurse gekauft habe, für meine "spezial Umgebung".

Wieviel würde es mich ca. kosten mit eigenem Server und allem drum und dran?
Bei SR kostet es 3000 Euro einmalig, danach kann ich lebenslang meine Strategie laufen lassen und ggf. auch verändern.

Danke

Gruß
tso

tso, Du hast in Deiner Situation 2 Möglichkeiten (welche man auch kombinieren kann):

1. Du machst Deine Strategie durch Modifikationen robuster
   
2. Du suchst Dir eine neue Umgebung (z.B. TradeStation 8 mit eingebautem Datenfeed) für Backtest UND realtime Handel.
   

Hallo Klaus,

mit der Eurex hab ich schon telefoniert und die liefern keine Kurse an Privatpersonen.
Es gibt eine offizielle Vendorenliste und von denen kann man Kurse beziehen.

Ich danke dir für die guten Hinweise.
Bis Ende der Woche werde ich alle Vendoren bzgl. Kursversorgung durch haben und entweder wissen wer es seien wird oder mir grundsätzlich neue Gedanke machen.

Ich werde dann meine Lösung reinposten, entweder wer der ominöse Datenlieferant von SR ist oder mit wem ich dann weiter arbeite.

Bis die Tage

Grüsse
tso

Zitat:

---

Bei der Eurex gibt es nur einen "richtigen" Datenfeed und der heisst Eurex. Alle anderen Datenfeeds liefern keine originalen Ticks. So gibt es gerade an der Eurex viele OTC Geschäfte die zwar viel Volumen ausmachen aber in keinem(?) Datenfeed auftauchen

---

Zur Verdeutlich des OTC-Volumens hier noch einmal ein Chart aus der TradeStation 8. Die roten Linien und Indikatoren beziehen sich auf den 60 min Chart. Der untere (rote) Indikator zeigt das aufsummierte Volumen der 60 min Kerzen. Die blauen Linien (Data 2) dagegen sind ein daily-Chart vom Dax. Bei diesem wird das komplette Volumen (wie Eurex) ausgewiesen. Man sieht deutlich, dass das tatsächliche Volumen an jedem Tag ca. doppelt so hoch ist wie das intraday Volumen der Minutenkerzen. Diese Differenz kommt von den OTC-Geschäften.

Leider lässt sich mit dem daily Volumen nicht intraday backtesten, für den realtime-Betrieb könntest Du es aber in Deiner Strategie verwenden, wenn Du realtime mit der TradeStation arbeiten würdest.

Ich habe euch ja eine Antwort versprochen wie diese Geschichte ausgeht.
Kurz und knapp ich habe den Broker und die Software gewechselt.

Ich habe mich jetzt für die Firma Fides als Kursanbieter entschieden.

Wenn ich die Fides Datenschnittstelle installiert habe kommt bei jedem Neustart des Global Servers:
"Cannot start ORMD Download timer. Download will not start at the scheduled time."
Weis einer von euch was das bedeutet?
Komischer Weise ist unter View Datafeed setting der Eintrag hellgrau so das ich diesen nicht ändern kann.
Fides, richtiger Name ist B.I.S., meint das es an der Tradestation liegt, könnt ihr das bestätigen?

Danke

Hallo tso,

kenne mich mit BIS leider nicht aus, aber Du musst in jedem Fall nach Installation von BIS den Global Server neu aufsetzen über Tools -> Run Setup Wizard und dort die richtigen Angaben für den Datenfeed machen (sollte in der BIS Anleitung stehen). Früher - als noch viele Leute die 2000i benutzten - war BIS ein verbreiteter Datenfeed und es gab eigentlich nie grössere Probleme damit.

Gruss
-Klaus