Architektur Of A Hochfrequenz Handelssystem

Hochfrequenz-Handelssystemdesign und Prozessmanagement Hochfrequenz-Handelssystemdesign und Prozessmanagement Berater: Roy E. Welsch. Abteilung: System Design und Management Programm. Herausgeber: Massachusetts Institute of Technology Ausgabedatum: 2009 Die Handelsfirmen sind heutzutage in hohem Maße auf Data Mining, Computermodellierung und Softwareentwicklung angewiesen. Finanzanalysten führen viele ähnliche Aufgaben wie in der Software - und Fertigungsindustrie durch. Allerdings hat die Finanzbranche noch nicht vollständig standardisierte Systeme Engineering Frameworks und Prozessmanagement Ansätze, die in der Software-und Fertigungsindustrie erfolgreich waren. Viele der traditionellen Methoden für Produktdesign, Qualitätskontrolle, systematische Innovation und kontinuierliche Verbesserung in Ingenieurdisziplinen können auf das Finanzbereich angewendet werden. Diese These zeigt, wie das Wissen aus Ingenieurdisziplinen das Design und das Prozessmanagement von Hochfrequenz-Handelssystemen verbessern kann. Hochfrequenz-Handelssysteme sind berechnungsbasiert. Diese Systeme sind automatische oder halbautomatische Softwaresysteme, die inhärent komplex sind und ein hohes Maß an Designgenauigkeit erfordern. Die Gestaltung eines Hochfrequenz-Handelssystems verbindet mehrere Felder, darunter quantitative Finanzierung, Systemdesign und Software-Engineering. In der Finanzbranche, in der mathematische Theorien und Handelsmodelle relativ gut recherchiert werden, ist die Fähigkeit, diese Entwürfe in echten Handelspraktiken umzusetzen, eines der Schlüsselelemente einer Wachstumsfirma der Wertpapierfirmen. Die Fähigkeit, Investitionsideen effektiv und effizient in leistungsstarke Handelssysteme umzuwandeln, kann einem Investmentunternehmen einen großen Wettbewerbsvorteil verschaffen (vgl.). Diese Arbeit bietet eine detaillierte Studie aus hochfrequenten Handelssystemdesign, Systemmodellierung und Prinzipien sowie Prozessmanagement Für die systementwicklung Besonderes Augenmerk wird auf Backtesting und Optimierung gelegt, die als die wichtigsten Teile beim Aufbau eines Handelssystems gelten. Diese Forschung baut System-Engineering-Modelle, die den Entwicklungsprozess zu führen. Es verwendet auch experimentelle Handelssysteme, um die in dieser Arbeit angesprochenen Prinzipien zu überprüfen und zu validieren. Schließlich kommt diese These zu dem Schluss, dass systemtechnische Grundsätze und Rahmenbedingungen der Schlüssel zum Erfolg für die Implementierung von Hochfrequenzhandel oder quantitativen Anlagesystemen sein können. Thesis (S. M.) - Massachusetts Institute of Technology, System Design und Management Programm, 2009. Kataloge von PDF-Version der Arbeit. Enthält bibliographische Bezüge (S. 78-79). Schlüsselwörter: System Design und Management Programm. Mein Konto Es gibt eigentlich nur 3 Hauptblöcke in einem Algo Trading System. 1. Market Data Handler (z. B. FAST Handler) 2. Strategy Module (z. B. crossOver Strategie) 3. Order Router (z. B. FIX Router) können Sie Riskschecks entweder im Strategy Module oder im Order Router Module oder beides hinzufügen. So lange dein Datenfluss korrekt ist, solltest du gut gehen. Denken Sie daran, Sie sind die Gestaltung eines ATS für minimale Latenz, und das Hinzufügen von mehr Schichten oder Komplexität wird auf Kosten der Latenz kommen. Minimal ATS Architektur Und wenn Sie die Glocken und Pfeifen hinzufügen, würde es wie folgt aussehen: Wenn Sie sich auch für die nitty-gritty der Umsetzung der oben genannten Architektur interessieren, sollten Sie die folgenden Dinge im Auge behalten. Vermeidung von Locksmutexen. Falls du es benutzen musst, versuchst du es, sie mit locklosen Strukturen zu ersetzen. Es gibt mehrere Bibliotheken für lockless Datenstrukturen (z. B. libcds, concurrency kit usw.). C-11 unterstützt std :: atomar. Und du solltest auch danach streben, sie zu benutzen. Vermeiden Sie, was in QuickFIX gemacht wird. Sein geschrieben für Sicherheitflexibilität Wiederverwendbarkeit als Objekt (Verschluss) Schaffung und Zerstörung wird für jeden Aufruf einer Nachricht an Router durchgeführt. Sicherlich keine Möglichkeit, einen latenzempfindlichen Code zu schreiben. Keine Laufzeitspeicherzuordnung. Laufzeitpfad sollte maßgeschneiderte und lock-freie Speicherverwaltung mit vorab zugewiesenem Speicherpool verwenden. Die Initialisierung kann in Konstruktoren durchgeführt werden. Enge Kopplung Threading-Modell, IO-Modell und Speicher-Management sollten entworfen werden, um miteinander zusammenzuarbeiten, um die beste Gesamtleistung zu erzielen. Dies geht gegen das OOP-Konzept der losen Kopplung, aber es ist notwendig, Laufzeitkosten für dynamischen Polymorphismus zu vermeiden. Vorlagen verwenden In der gleichen Vene, würde ich auch vorschlagen, Sie schauen auf C templatization, um Flexibilität des Codes zu erreichen. OSHardware-Optimierung: Schließlich solltest du mit Linux RT Kernel und Solarflare Netzwerkkarte mit OpenOnLoad Treiber arbeiten, um eine minimale Latenz zu erreichen. Sie können weiter schauen, um die CPU zu isolieren und führen Sie Ihr Programm auf diesem bestimmten Kern. Und schließlich die öffentliche API, die du den Strategieentwicklern aussetzen musstest. Ich möchte, dass dies der minimale Satz ist, der die ganze Komplexität dieser bestimmten Austauschdestination verkapseln würde. Klasse OrderRouter public: virtuelles bool sendNewOrd (OrderInfo) 0 virtuelles bool sendRplOrd (OrderInfo) 0 virtuelles bool sendCxlOrd (OrderInfo) 0 virtualBut bedeutet dies, dass die OrderInfo-Klasse alle Details benötigt, die vom destinationexchange benötigt werden. Im Allgemeinen verlangt der Austausch die gleiche Art von Informationen, aber während Sie entlang gehen und mehr Austauschtests unterstützen, würden Sie sich fügen Sie mehr Variablen in dieser Klasse. Im Folgenden sind die wichtigen Fragen, die Sie sich stellen müssen: 1. Multi-Prozess-Architektur oder Multi-Threaded-Architektur. Ob man einen monolithischen Prozess mit mehreren Threads baut oder mehrere Prozesse schreibt. Die Kosten für mehrere Prozess ist Nachricht übergeben Latenz, während die Kosten für mehrere Threaded Single-Prozess ist, dass jeder Fehler kann das ganze System zu senken. 2. Meldungsübergabe: Während Sie aus der Fülle von Optionen wählen können, sind Sie durch Latenzbetrachtung eingeschränkt. Schnellste IPC wäre geteiltes Gedächtnis, aber wie würden Sie dann die Synchronisation einige Zeit mit diesen beiden Fragen verbringen, weil sie der Baustein sein würden, auf dem Ihre Architektur steht. Bearbeiten: FIX und FAST In Bezug auf populäres Protokoll, FIX ist für das Senden von Aufträgen und FAST ist für Marktdaten. Having said that, die meisten Austausche haben ihre eigenen nativen Protokoll, das ist schneller als FIX, weil FIX ist in der Regel auf der Oberseite ihrer nativen Protokoll implementiert. Aber sie unterstützen immer noch FIX fügt der Geschwindigkeit des Einsatzes hinzu. Auf der anderen Seite, während FIX von den meisten Austausch vergeben wird, genießt FAST nicht so breite Akzeptanz. Wenn überhaupt, würde es nur eine Handvoll Austausch geben. Die meisten von ihnen senden entweder FIX selbst (niedrige Latenz) oder verwenden ihr eigenes natives Binärprotokoll. z. B. In Indien, NSE, BSE und MCXMCXSX, alle drei Börsen gibt Ihnen FIX-Protokoll zusätzlich zu nativen Protokoll, aber nur BSE gibt Ihnen FAST für Marktdaten. Und das bewegt sich auch von FAST zu Eingeborenen mit Einführung von EOBI. Sie können die gleiche Sache zu anderen Börsen extrapolieren. 3.9k Aufrufe middot View Upvotes middot Nicht für die Reproduktion Wie John erwähnt, OMS ist die Crux jeder Handelsplattform und Sie sollten von der Erforschung darüber beginnen. Sie müssten Zeit haben, um Ihren Lebenszyklus zu bestimmen, Ereignisse und Funktionen, die Sie auf dem OMS einbetten möchten, und die, die Sie Ihre Algo Engine behandeln möchten. Metcetera bietet eine Open-Source-OMS, ich haven039t verwendet es persönlich aber it039s einer der wenigen auf dem Markt. Das nächste, was Sie sehen sollten, ist die Bereitstellung einer Schnittstelle zu Quelldaten in und schieben Sie es aus. Dies ist für ein Kundenauftragseingabesystem, um die Auftragsdetails zu werfen und Algo-Motor, um es zu quellen. Eine Menge von Sell Side OMS039s verwenden eine Kombination von proprietären Programmen in JavaC mit FIX geschrieben. FIX-Protokoll ermöglicht es Ihnen, realtime über Systeme in einem vereinfachten amp vordefinierten Nachrichtenformat zu vermitteln, das von der FIX-Protokollgemeinschaft festgelegt wird. Gehen Sie auf die FIX Protocol Organisation gt Homepage, um mehr darüber zu lesen. Auch bei Open Source FIX Engine. Eine Open-Source-Implementierung der FIX-Engine. Als nächstes kommt eine Marktdatenschnittstelle zur Quelle Echtzeitzeit Sicherheit Marktinformationen, Daten von HighLowOpenClose zu Best BidBest Ask, Total gehandelt Volumen, Letzter Preis, Last Volume, Bid Zitate, Fragen Zitate etc. Die Informationen, die Sie suchen, hängt wirklich von der Art von Strategie, die Sie umsetzen möchten. Ich glaube, Interactive Broker bietet einen Echtzeit-Daten-Feed über FIX. Exchange-Konnektivität ist als nächstes, wo Ihr Algo die Signale interpretiert, einen Auftrag erstellen und zu einem Exchange oder ECN führt. Die Entwicklung im eigenen Haus könnte hart sein, wie Sie die Austausch-Mitgliedschaft ausarbeiten müssten, Ihre Plattform zertifizieren und einen regulären Mitgliedsbeitrag bezahlen. Eine billigere Möglichkeit ist, eine Broker-API (wie IB) zu verwenden und die Bestellung durch sie zu führen. Historische Daten sind auch von Bedeutung, wie man das aktuelle Marktverhalten mit seinen historischen Werten vergleichen könnte. Parameter wie durchschnittliche Ausbreitung, VWAP-Profile, durchschnittliches Tagesvolumen usw. können erforderlich sein, um die Entscheidungsfindung zu beeinflussen. Sie können es auf Datenbank (bevorzugt), aber wenn Geschwindigkeit der Essenz dann laden Sie es auf dem Server-Cache, wenn Sie Ihr Programm beginnen. Sobald Ihre Peripheriesysteme eingerichtet sind, können Sie mit der Entwicklung Ihres Algo-Programms beginnen, wie Sie es funktionieren möchten. Diese Grundinfrastruktur würde es Ihnen ermöglichen, einen übergeordneten Algo-Auftrag einzugeben, Marktdaten zu lesen, auf die Signale zu reagieren, aber Kinderaufträge zu erzeugen und sie auf den Umtauschauftrag und historische Daten zu setzen, um die Entscheidungsfindung zu beeinflussen. Das OMS hält die Verknüpfung zwischen dem Elternteil-Kinder-Auftrag, seinen Echtzeit-Status und Updates durch die Algo - oder Exchange-Konnektivitätsplattform. Was du in der Algo implementieren willst, liegt ganz bei dir. 2.3k Ansichten middot View Upvotes middot Nicht für ReproductionInfoReach HiFREQ High Frequency Trading Software (HFT) für Algorithmic Trading HiFREQ ist eine leistungsstarke algorithmische Engine, die Händlern die Möglichkeit bietet, HFT-Strategien für Aktien, Futures, Optionen und FX-Handel einzusetzen, ohne zu investieren Zeit und Ressourcen bei der Errichtung und Pflege ihrer eigenen Technologie-Infrastruktur. Es bietet alle wesentlichen Komponenten, um den Durchsatz von Zehntausenden von Aufträgen pro Sekunde bei Unter-Millisekunden-Latenz zu erleichtern. HiFREQ kann unabhängig als eigenständige Black-Box-Handelslösung oder als Teil der InfoReach TMS-Handelsplattform für ein komplettes End-to-End-Handelssystem eingesetzt werden. Die offene, maklerneutrale Architektur ermöglicht es Anwendern, proprietäre, komplexe Handelsstrategien zu erstellen und einzusetzen sowie Zugriffsalgorithmen von Brokern und anderen Drittanbietern. Aufträge können zu jedem globalen Marktziel über InfoReachs interne Low-Latency FIX Engine weitergeleitet werden. Multi-Asset Globale Aktien, Futures, Optionen und FX Risikokontrolle HiFREQ bietet eine Risikobewertung für jede Auftragsanforderung und sorgt für die Einhaltung vorgegebener firmenspezifischer Handelszwänge. Broker neutral HiFREQ verbindet Sie mit den Multiple Brokern, Börsen und ECNs. Zentrale Überwachung und Steuerung Während Komponenten von HiFREQ über verschiedene geografische Standorte verteilt werden können, können alle Strategie-Performance-Überwachungs - und Steuerungsfunktionen von einem zentralen Remote-Standort aus durchgeführt werden. HiFREQ kann 20.000 Aufträge pro Sekunde pro Einzel-FIX-Verbindung ausführen. Die Verwendung von zwei oder mehr FIX-Verbindungen kann den Durchsatz erheblich erhöhen. Niedrige Latenz Unter-Millisekunden Rundlauf-Latenz gemessen vom Punkt HiFREQ bekommt einen FIX-Ausführungsbericht an den Punkt, an dem HiFREQ das Senden einer FIX-Auftragsnachricht abschließt. Verteilt und skalierbar Um die Effizienz und Leistungsfähigkeit der Handelsstrategien zu steigern, können ihre Komponenten gleichzeitig ausgeführt werden. Strategy-Komponenten können auch über mehrere Server bereitgestellt werden, die mit verschiedenen Ausführungsorten zusammengestellt werden können. Java Programmierer GuideBitte beachten: Teil 1 dieses Aufsatzes erschien in der Februar 2015 Ausgabe von Contributoria. Es wird hier veröffentlicht und geändert unter einer Creative Commons Lizenz. TEIL 1 (3500 Wörter) Ein 900 Millionen Mikrosekunden-Primer auf Hochfrequenzhandel In der Zeit, in der Sie diesen Satz lesen können, könnte ein Hochfrequenz-Handel (HFT) - Algorithmus, der an eine Börse über die Handelsinfrastruktur von 8220low Latency8221 angeschlossen ist, , Vielleicht, 1.000 Trades. Ich sage vielleicht, weil es wirklich davon abhängt, wie lange du an diesen Kommas pausierst, habe ich den Satz in den Satz gebracht. Wenn du eine Person mit großem Respekt für Kommas hast, kannst du dem Algorithmus eine Chance geben, ein paar hundert weitere Aufträge zu werfen. Let8217s nur klären dies. Das bedeutet, dass Computer, die von einer Firma irgendwo besessen oder geleast werden können, 1) Daten aus einer Börse saugen können, 2) sie durch ein kodiertes Schritt-für-Schritt-Regelsystem (Algorithmus) verarbeiten, um eine Entscheidung darüber zu treffen, ob sie handeln oder nicht , 3) senden Sie eine Nachricht zurück an die Börse mit einem Auftrag für Aktien des Eigentums in einer Firma 8211 zum Beispiel eine Firma, die Kinder macht8217s Spielzeug 8211 4) erhalten die Bestellung ausgeführt und bestätigt, und 5) wiederholen Sie dies vielleicht 250 mal pro Sekunde . Nun, es könnte auch mehr oder weniger sein, und um ehrlich zu sein, scheinen nur wenige Leute zu wissen, wie schnell diese algorithmischen Motoren handeln. Aber auch wenn es nur 50 mal eine Sekunde oder sogar nur zehnmal eine Sekunde handelt, ist es noch unmenschlich schnell. Nachdem ich in Finanzhandelsmärkten 8211 gearbeitet habe, wenn auch in deutlich langsameren Over-the-Counter-Swaps-Märkten 8211 und habe an einer Vielzahl von Advocacy-Kampagnen im Zusammenhang mit dem Finanzhandel gearbeitet, ist dies ein Thema, das mich fasziniert. Der Zweck dieses Stückes ist aber nicht unbedingt, Sie davon zu überzeugen, ob HFT eine gute oder schlechte Sache ist oder nicht. Vielmehr ist es, einige Frames zu liefern, durch die man das Phänomen betrachten kann und durch die die Debatten und Nachrichtengeschichten verstanden werden, die zweifellos auch in den kommenden Jahren darüber hinaus geschrieben werden. 1.1: HFT in Kontext setzen HUMANS: SO SLOOOWWWW In der fernen Vergangenheit der 1970er Jahre gab es eine Zeit, als der Handel an Börsen im Grunde die exklusive Domäne menschlicher Akteure war. Ob es sich um den umsichtigen, langfristigen Investor kaufte ein Portfolio von Aktien für einen Ruhestand Fonds, oder die Cowboy-Spekulant kaufen und verkaufen in rascher Folge, war der Prozess immer durch die Geschwindigkeit des menschlichen Geistes begrenzt, und die Zeit, um tatsächlich zu nehmen Holen Sie sich ein Telefon und legen Sie einen Auftrag durch. Sogar der schnellste Spekulant würde noch eine Reihe von Minuten dauern, um den Handel abzuschließen. Heutzutage ist das nicht mehr der Fall. Der Zusammenfluss von Computertechnologie, Codierungstechniken und Kommunikationsinfrastrukturen ermöglichten es den Händlern, menschliche Denkprozesse zu automatisieren, indem sie sie in Algorithmen verwandeln, die mit Lichtstrahlen in Glasfaserkabeln ausgeführt werden können. Die Zeit, die man braucht, um einen Handel zu vollenden, ist in das Reich von Millisekunden und sogar Mikrosekunden getaucht, nur Tausendstel und Millionstel Sekunden. Dies hat das surreale Reich des Hochfrequenzhandels zum Leben erweckt. Es hat sich nicht aus dem nirgendwo kommen 8211 it8217s eine lange Zeit zu entwickeln, seit den frühen Tagen von 8220program Handel 8221 in den 80er Jahren allmählich immer schneller und schneller 8211 aber es ist nur in den letzten Jahren, dass die Menschen begonnen haben, Notiz zu nehmen. Insbesondere kam es während des Flash Crash von 2010 in den Vordergrund, als der US-Aktienmarkt unerklärlich abgestürzt war und sich dann in wenigen Minuten zurückzog, ein Ereignis, das vielen HFT-Algorithmen zugewiesen wurde, die haywire gehen. 1.2: Wie soll ich das fühlen, ich vermute nicht, zu wissen, wie du das fühlst. Die Menschen sind routinemäßig besorgt über harmlose Dinge, und routinemäßig völlig unbesorgt über unglaublich schädliche Dinge. Was wir sagen können, ist das für viele gewöhnliche Leute, die über die tägliche Arbeit mit tatsächlicher Arbeit irgendwelcher Art gehen, das Konzept eines Roboter-Traders, der 100 Trades in der Zeit macht, die sie nimmt, um eine Tasse Tee zu treffen, macht Sie fühlen sich unruhig Die Praxis kann einfach unnatürlich oder komplex erscheinen oder außer Kontrolle geraten oder einfach nur seltsam. Auch wenn es nicht schadet, es ist schwer zu verstehen, was es ist. Ich meine, Luft - und Raumfahrt-Ingenieure machen etwas, was ziemlich komplex ist und ich kann Ihnen sagen, wie sie es technisch tun, aber ich verstehe trotzdem, was sie im Prinzip tun: Sie entwerfen fliegende Maschinen, die es Menschen ermöglichen, lange Strecken zu fahren. Ein hochfrequenter Trading-Algorithmus-Designer, auf der anderen Seite, tut was genau Nun, wir wissen, dass sie Geld verdienen, aber normalerweise Menschen machen Geld, indem sie etwas, das etwas Nutzen Wert für die Gesellschaft hat, wie passende Rohre in Ihre Toilette oder Design Ihres Unternehmens Karte oder Schlachtung von Rindern, um Hamburger zu machen. Wenn wir fragen sollten, was der Zweck von HFT auf der anderen Seite ist, würden die Leute wahrscheinlich eine Weile anhalten, bevor sie versuchen zu antworten. Die Dunkelheit der Technik und des Ziels wirft natürlich den Verdacht auf, dass dies nur ein weiteres Schema von aufgeblähten finanziellen Eliten ist, um mehr aus der Gesellschaft herauszuholen. Oder natürlich, zu jenen Finanzfachleuten, die in HFT arbeiten, Leute, die sich darüber ausgeflippt haben, könnten ein bisschen wie abergläubische, unwissende Bauern angesehen werden, die die Märkte nicht verstehen. Sie wollen, dass die Menschen diesen intuitiven Sinn überschreiben, dass es etwas fremdes über HFT gibt, und einfach nur chillen: 8220Wir sind Wissenschaftler, hartnäckige Rationalisten, stoppen Sie Ihr unbegründetes Waffeln darüber. It8217s vollkommen natürlich. Wir würden nicht Geld verdienen, wenn unser Service war8217t 8216demanded82178230 right8221 Sie finden Verbündete mit bestimmten Marktwissenschaftlern und gehen häufig weiter, um einen ausdrücklich moralischen Rand der Empörung hinzuzufügen: 8220Wir helfen den Märkten, indem sie einen wertvollen Service für Liquidität und Preisfindung anbieten. Wenn Sie uns aufhalten, werden alle von Ihnen leiden.8221 1.3: Handel, zum technischen Handel, zum Handel zu gehen, zu HFT Let8217s einen Schritt zurück und versuchen, diese Tätigkeit in Kontext zu setzen. Finanzmärkte wie ein Aktienmarkt erleichtern den Kauf und Verkauf von Finanzinstrumenten, die Verträge sind, die Ihnen Rechte geben, um Renditen im Laufe der Zeit zu erhalten. Sie neigen dazu, verschiedene Spieler mit unterschiedlichen Zeithorizonten zu veranstalten. Auf den äußeren Ringen bekommst du die riesigen institutionellen Investoren wie Pensionskassen. Sie kommen gelegentlich auf den Markt und machen große Investitionen, kaufen eine große Anzahl von Aktien, oft mit dem Ziel, sie für eine Reihe von Jahren zu halten. Dann, in den inneren Ringen, bekommst du schneller, mehr wankelmütig, Spieler 8211 könnten wir sie Händler nennen, die Geld verdienen, indem sie in und aus Märkten springen, wie flinke Haie, die zwischen den langsamen Schoten riesiger Wale schwimmen. Nicht alle handeln ist das gleiche aber Wenn Sie den Weg zum Hochfrequenzhandel konzeptualisieren wollen. Beginnen Sie mit dem Verständnis des allgemeinen Begriffs des Handels. Finanzhändler kaufen und verkaufen Finanzinstrumente wie Aktien in Unternehmen. Sie hoffen, zu einem niedrigeren Preis zu kaufen, als sie verkaufen, um dadurch einen Gewinn zu erzielen. Jetzt verstehe Technischer Handel. Händler haben verschiedene Techniken der Spekulation. Sie können z. B. Stunden damit verbringen, die Aufzeichnungen eines bestimmten Unternehmens zu erforschen, um Einschätzungen zu machen, eine Praxis, die als Grundhandel bezeichnet wird. Alternativ können sie die Aktivitäten anderer Händler in einem Markt analysieren, um Entscheidungen zu treffen. Diese technische Analyse von Preis-, Auftrags - und Volumendaten, die von anderen Händlern generiert werden, führt zum technischen Handel. Jetzt vorstellen, dass automatisiert in Algorithmic Trading. Man könnte sich entscheiden, den Prozess des technischen Handels zu automatisieren, so dass ein Algorithmus analysiert einen eingehenden Strom von Preis, Bestellung und Volumen Daten und macht Trades unter bestimmten Bedingungen. Wir nennen diesen algorithmischen Handel. (Anmerkung: es ist möglich, zwischen algorithmischem und automatisiertem Handel zu unterscheiden, aber für Leichtigkeit lässt man einfach davon ausgehen, dass diese gleich sind) Dann stell dir vor, dass in Hochfrequenzhandel geschüttet wird. Wenn Sie diesen Prozess des automatisierten algorithmischen Handels auf extreme Geschwindigkeiten beschleunigen, machen Sie Hochfrequenzhandel. HFT ist also am besten anfangs als sehr schneller algorithmischer Handel gedacht. Die selbst ist automatisierter technischer Handel, der selbst ein Unterzweig des breiteren Handels ist. Es kann kontrastiert werden, zum Beispiel, langsamer, grundlegende Handel, was ist, was die Leute wie George Soros tun (er und seine Analysten tatsächlich sitzen in einem Raum und beobachten Sie die Welt und dann machen große Wetten auf sie). Schließlich erinnern wir uns, dass wir diese ganze Welt des Handels mit der Welt der langfristigen Investition wieder kontrastieren können. Was sind die großen, langsamen Pensionsfonds. Um wieder in die frühere Ökosystem-Analogie zurückzukehren, dann sind HFT-Firmen irgendwie wie Piranhas unter den Haien unter den Walen. HINWEIS: Wenn du das bisher genossen hast, magst du mein Buch 1.4: Wie man eine HFT-Firma einrichte, SEIN. SCHNELLSTEN Verschiedene Handelsorganisationen könnten etwas andere Gründe haben, sich in HFT zu engagieren. Einige große Banken, zum Beispiel, verwenden Sie es als ein Werkzeug, um einen großen Auftrag zu nehmen und es in viele kleine Aufträge zu zerteilen, wie die Verwendung einer Dispersionsdüse, um einen Feuer-Schlauchstrahl in einen feinen Marktnebel zu verwandeln, den die Leute nicht merken. Viele HFT-Spieler sind jedoch reine kurzfristige Spekulanten, spezialisierte proprietäre Handelsfirmen und Hedgefonds. Wenn du eines davon machen wolltest, hier sind einige Dinge, die du tust. Erstens bekommen Sie Start-up-Geld - entweder Ihre eigenen oder von einigen wirklich reichen Menschen. Zweitens, integrieren und kapitalisieren ein Unternehmen (vielleicht eine Verwaltungsgesellschaft in London, wo Sie tatsächlich sitzen und arbeiten, und dann eine separate Firma in den Cayman-Inseln, die tatsächlich das Geld hält, und dann einen Vertrag, der sagt, dass die London arbeitet für den Cayman eins). Dann mieten Sie einige Leute, vielleicht durch eine spezialisierte Rekrutierungsagentur, oder vielleicht durch Tippen auf LinkedIn, um nach HFT Profis zu suchen. Vielleicht möchtest du auch Steve anbieten. Wer weiß, wie man teure HFT Hardware Arbeit für Sie macht, oder Fabio, die Ihnen schreiben können C-Code und bauen Sie Ihre Software-Architektur. Mark hier ist fast nichts auf sein Profil geschrieben, was darauf hindeutet, dass er ausschließlich über Headhunters arbeitet, typisch für Ex-Cambridge, Ex-Goldman Sachs Mitarbeiter. Bieten Sie diese Prime Talente viel Geld, und erhalten sie, um einige Algorithmen zu entwerfen. Beginnen Sie mit dem konzeptionellen Design und dann bekommen Sie Ihre C guy, um es für Sie Code. Sie könnten sogar Ihre Algorithmen patentieren. Oder die Systemarchitektur you8217ve entworfen. Dies ist ein pedantischer technischer Artikel über die genaue Natur der HFT-Technologie. Es gibt riesige Mengen von Jargon-beladenen Bumf und geeky Diskussionen im Internet, wenn you8217re wirklich interessiert in der Tech, aber die Essenz dessen, was Sie tun müssen, ist dies: Sie müssen eine Art von Deal mit einer Maklerfirma und eine Aktie zu schneiden Austausch, um Ihren fantastischen Algorithmus so nah an der Börse wie möglich zu bekommen. Sie müssen den physischen Abstand zwischen dem Computer, in dem sich Ihr Algorithmus befindet, minimieren und den Computer, auf dem sich das Exchange8217s Order-Matching-System befindet, so dass die beiden in einen intensiven, lichtgeschliffenen Dialog mit einander eingehen können. Es gibt ein ganzes arkanes technisches Teilfeld um eine solche Direkt-Latenz-Direktzugriffsinfrastruktur. Normalerweise, wenn eine Person Aktien kaufen oder verkaufen will, müssen sie über einen Broker gehen, der Mitglied der Börse ist, die sie kaufen oder verkaufen möchten. Das dauert waaaaaaay zu lange für einen HFT-Trader aber. Schrauben Sie das, Sie müssen direkt in das Herz der Börse gehen, ohne durch normale Vermittlungsprozesse zu gehen. Idealerweise möchten Sie einen Weg finden, um direkt mit einem Austausch zusammenzuarbeiten, was eine ausgefallene Art ist zu sagen, dass Sie buchstäblich Ihren Computer in den Raum neben ihren Computern einrichten müssen. Zur Beseitigung von Co-Location, schauen Sie sich die Dienstleistungen von NYSE angeboten. Nasdaq. Londoner Börse Eurex CME und sogar die Johannesburg Börse. Hier ist die Toyko Börse, die den Unterschied zwischen ihrem Standort und seinem Proximity-Bereich beschreibt (beide geben Ihnen eine 100-200V Stromquelle, aber der Co-Location-Bereich hat eine größere Kühlkapazität von 8kVa, so dass Sie vielleicht verwenden möchten Dass wenn dein Algorithmus wahrscheinlich den Computer schmelzen lässt). Hier ist ein Werbevideo, das sie gemacht haben. Der Austausch hat ein ganzes Floß von 8220connectivity8221 Dienstleistungen. Vielleicht geht es darum, Ihnen schöne, hochspezifische Kabel - und Kühlsysteme zu geben, während Sie sich auch mit Premium-Daten-Feeds einsetzen. Unnötig zu sagen, das ganze Array kommt mit einem (anfänglich) verwirrenden Array von Jargon - eine Menge davon mit dem Tech-Stack verbunden - aber am Ende kommt es auf eine ziemlich einfache Formel: Sie leasen einen Computer neben dem Austausch. Sie installieren Ihre Algorithmen hinein. Der Austausch sendet dann Ihre Algorithmen einen großen Daten-Feed über ein Kabel, Ihre Algorithmen verarbeiten es und schießen Aufträge zurück durch das Kabel. Und du versuchst, dein Rig zu entwerfen, damit es das alles schneller macht als jeder andere. Vielleicht sitzt du in einem Büro ein paar Kilometer entfernt, um alles zu überwachen und eine neuere Version deines Systems aufzubauen. Wenn Sie Hilfe benötigen, um all dies aufzuheben, können Sie abholen einige Low-Latency Trading-Infrastruktur-Support und Beratung von der Gleichen von Sungard. Cisco Algospan Interaktive Daten. Und Lato Networks. Andernfalls lernen Sie von den vorhandenen Meistern, den eigentlichen HFT-Firmen, die diese Sachen bereits bekommen haben. Wie die mächtigsten, hinter der Kulissen Institutionen haben diese Firmen oft unklar, unerkannte Namen und uninformative, leicht vage Webseiten. Check out, zum Beispiel Virtu. ATD KCG Tradebot Tradeworx Flüssigkapital Chopper Trading. Citadel8217s Tactical Trading Fund Tower Research und RGM. 1.5: Vervollkommnen Sie die elektronische Kunst des Krieges PIMP MEIN ALGORITHME Nun, es8217s nicht wie diese Firmen alle die gleichen Strategien verwenden. Einige verwenden statistische Analysen und Arbitrage von verschiedenen Sorten, während andere ausschließlich in 8220market microstructure8221 Strategien, die scheinen zu verstehen, die intime elektronische Eingeweide der Austausch-Systeme und wie sie können, um, ausgenutzt werden. Man könnte sich im Flash-Handel engagieren. Die einige argumentieren ist eine Form der legalisierten Front-Run. Sie könnten die Märkte mit Aufträgen über 8221order stolpern lassen 8243 (was HFT Whistle-Blower Dave Lauer einen finanziellen DDOS-Angriff nennt). Sie können Aufträge über einen Markt wie Fee Staub, vielleicht versuchen, Ausbrüche von 8221momentum Zündung 8220, die scheint eine Form der subtilen Markt Manipulation zu sein. Manche haben aggressive Handelsstrategien, die darauf abzielen, nachträglich Trends zu verfolgen und Chancen zu ergreifen, während andere passiver sein könnten, wie elektronische Aikido-Bots mit minimaler Energieausübung. Es lohnt es, dieses Stück von Irene Aldridge zu lesen, wenn Sie sich für einige der Strategien interessieren. Diese Einführung hier ist auch nützlich. Als beiseite, wenn du ein Gefühl für die Sprache und den Geist der Szene bekommst, lohnt es sich immer, die Techie-Diskussionen der professionellen Finanzen auf Orte wie die Wilmott-Foren zu durchsuchen. Solche Leute sind in die nitty kiesige der alltäglichen Finanzierung eingetaucht und haben in der Regel ein anständiges Wissen über dieses Zeug. Wenn du das Spiel hast, um mit dem Jargon zu kämpfen, schau dir einen Benutzer wie Quantumar an, der gern einen Strom von finanziellem Cowboy hinlegt ... Es ist egal, ob du es nicht verstehst, aber es ist nützlich, diese Gespräche für Hinweise zu machen.): 8220Most of HFT Ist eine sehr einfache Geschwindigkeit Spiel von Arbitrage. Sie entweder Bargeld vs Futures-Märkte oder in Aktien, die sie in einem ECN und Sellbuy auf irgendwo anders, entweder alle oder die meisten des Geldes aus einem Bruchteil der Rabatte in Markt machen Aktien gemacht werden. Einige wenige Unternehmen machen Millisekunden Impuls Handel, sie erkennen, dass jemand kommt mit Aufträgen und sie springen vor den Aufträgen (weil sie schneller sind, um den Markt zu erreichen) sie drücken den Markt ein Cent und verkaufen zurück an die ursprüngliche Käufer8230 Sie verwenden auch Flash Aufträge, um vor großen Aufträgen zu springen. Manche schauen auch in die Tiefe des Buches und versuchen, auch zu handeln. Es gibt noch ein paar Strategien, die sie in Aktien verwenden. Auch einige Firmen betrachten Optionsmärkte und bauen die Delta-Hecken. Die meisten Strategien sind nicht mathematisch, sondern im Zusammenhang mit der Mikrostruktur der Märkte8230 Diese Läden sind Ultrahochfrequenz-Läden, dort könnte bis zu Millionen von Aufträgen pro Tag je nachdem, wie viele Märkte und wie aktiv sie handeln. Sie benötigen meist sehr gute C-Skill-Sets, API-Konnektivitätswissen auf der Software-Seite. Hardware-Seite benötigen sie wirklich niedrige Hardware-Kenntnisse wie Umgehen der Stapel und Trick-Kerne. Sie suchen auch nach Lanwan-Jungs, die Daten ein paar Mikrosekunden schneller im Netzwerk schieben können. Sie benutzen sehr teure und spezialisierte Ausrüstung. Ein einfacher Schalter, der anständig schnell kostet 50K8230 Alle Daten, die für HF-Gruppen zur Verfügung stehen, steht allen Händlern zur Verfügung, der Unterschied ist, dass sie auf diesen Informationen handeln, bevor sie es sogar in Ihrem Computer erhalten können. Wie schnell sie es bekommen und auf dem Markt reagieren können, ist der Unterschied. Sie beschäftigen sich mit einstelligen Mikrosekunden-Latenzen in ihren Netzwerken und Computern, nicht milliseconds.8221 1.6: Die (enge) akademische Debatte weg von allen Youtube-Video-Erklärungen. Journalistische Berichterstattung und Forum Diskussionen über HFT, gibt es offensichtlich auch eine akademische Forschung. Wenn Sie auf der Suche nach robusten Argumenten anstatt Quantumar8217s gunslinging 82208217let mich Ihnen sagen, wie es is8221 street-smarts ist, könnte die forschungsorientierte Person die akademischen Zeitschriften durchsuchen. Es gibt Forschung aus Finanz - und Wirtschaftsabteilungen, nicht überraschend, sondern auch aus einigen anderen Disziplinen. Ein Freund von mir, der die Hochschulfinanzierung unterrichtet, stellte fest, dass ein potenzielles Problem in der HFT-Forschung darin besteht, dass die Forscher auf HFT-Unternehmen angewiesen sind, ihnen Daten zu geben und sind daher immer gefährdet, von den Firmen, auf die sie sich verlassen, intellektuell gefangen zu werden, vielleicht sogar einzugehen Formen der Selbstzensur. Um dies zu ergänzen, scheint die Forschung oft so trocken und technisch wie möglich zu sein, es klingt wie es in einer Welt ohne Politik, Kultur oder Geschichte auftaucht, oder, für diese Angelegenheit, die tatsächlichen Menschen, die es tödlich langweilig und schwer zu lesen . Die Forschungsfragen sind eng, mit einem obsessiven Fokus auf Fragen wie HFT8217s Auswirkungen auf Liquidität und Preisentdeckung. Im Wesentlichen bezieht sich Liquidität auf wie einfach es ist, zu handeln. Wenn ich in einem Markt ankomme und I8217m sofort in der Lage zu verkaufen oder zu kaufen, gibt es hohe Liquidität. Wenn es dagegen eine lange Zeit zum Kauf oder Verkauf gibt, gibt es eine geringe Liquidität. Ein Teil der Debatte um HFT und Liquidität geht davon aus, ob HFT Liquidität hinzufügt oder einfach nur aufnimmt. Mit anderen Worten: HFT-Unternehmen, im Netz, helfen anderen Teilnehmern, leichter zu handeln, oder kommen sie in die Art und Weise Diese Debatte beinhaltet Fragen, ob die Liquidität, die sie anbieten könnten, real ist oder nicht. Zum Beispiel können die Roboterhändler ständig signalisieren, dass sie bereit sind zu handeln und dann wegzulaufen. Die Preisentdeckung ist ein etwas fetischisierter Begriff für den Prozess, bei dem der scheinbar korrekte Preis für etwas durch eine Gruppe von Marktteilnehmern herausgefunden wird 1) auf Informationen um 2 zu reagieren) Kauf und Verkauf von Aufträgen, die durch eine Marktinfrastruktur vermittelt werden. Also, wenn it8217s angekündigt, dass eine Firma im Begriff ist, in Konkurs zu gehen und der Aktienkurs plötzlich rakelt nach oben, it8217s wahrscheinlich, dass etwas mit dem Preisfindungsprozess falsch gegangen ist. The question is, does HFT help reveal the true sentiment in a market, or does it just cause instability and weird anomalies like the Flash Crash There is also an emergent body of research on whether what HFT firms do is legal, or constitutes some form of market manipulation or 8220front-running8221 at the expense of other market participants. And, finally, we are starting to see a trickle of articles about the human dimensions of HFT, the actual people who run these operations, the politics of it all, the anthropology and how it reflects the broader trajectory of the global economy. at a later date I will hopefully update this with a proper database of this research 1.7: Research, and lobbying, informs a regulatory debate PRESENT YOUR IMPARTIAL EVIDENCE Much of the news on HFT is about the political battles and the threats of regulators to clamp down on it. Theoretically, the regulatory debate is supposed to be informed by the academic research, but of course we might also suspect that the regulatory debates are equally informed by lobbying . Lobbying itself often takes the form of groups picking particular academic research pieces to showcase to regulators. The Modern Markets Initiative. for example, has curated a heartwarming selection of friendly research articles to back up its claim that HFT creates a market utopia that 8220saves individual investors8217 money by lowering the cost of trades8221 and that it 8220democratises today8217s marketplace8221. When not getting spammed by such transparently self-serving groups, the regulatory bodies have been putting a fair amount of research into this themselves, churning out papers and briefings. They might also receive submissions from those firms and reforms groups that are on the warpath against HFT. This includes groups like Themis Trading. who, in the words of author Michael Lewis, have 8220done more than anyone to explain and publicise the predation in the new stock market8221 (see their extensive collection of critical HFT research ). Other critics include data provider Nanex and the aforementioned David Lauer. There is also a whole raft of renegade financial pundits from the financial blogosphere who speak out against it. Types of regulations that are being suggested include taxation of HFT (something along the lines of a financial transaction tax), and regulations concerning the speed of trading, the order size, and order-to-trade ratio (how many orders a trader can put in, relative to how many times they actually trade). These debates are at various stages in the US, the EU and Asia. Take a look, for example, at the German High-Frequency Trading Act . Incidentally, it8217s worth looking at the dynamics of similar regulatory battles over commodity market speculation. Commodity exchanges like CME Group pointed to a single study by a dude at the University of Illinois to argue for why speculation didn8217t negatively destabilise commodity prices, despite the fact that many other studies argued it did. HFT firms, like commodity trading firms, take advantage of the complexity of the situation and slowness of regulators. They implicitly take the position that 8220until it8217s proven wrong, it8217s right8221, rather than 8220until it8217s proven right, we should take precautions8221. NOTE: If youd like to support my ongoing Creative Commons writing, please consider buying me a virtual beer PART 2 (4500 words) Five frames through which to view HFT WHAT DO YOU WANT TO SEE To some extent, I am indifferent as to whether or not HFT disrupts markets. Partly this is because I don8217t take markets to be some kind of holy construct that obviously serve humankind, and that thus cannot be defiled. I mean markets have long been institutions of systematised abuse, where those with more power can use the apparently apolitical act of exchange to extract advantage. But, let8217s for a moment imagine that market infrastructures do generate some kind of mysterious holy force that always makes society better off. What exactly does HFT do to help this Well, the refrain from the proponents is that HFT facilitates liquidity in markets for financial instruments. This statement comes complemented by wrath-of-god like warnings about what will happen if this liquidity is reduced. If you allow liquidity to go down, your grandmothers pension will suffer Goddamn LIQUIDITY is always trotted out like it8217s the greatest service to humankind since fire was invented. Now, I don8217t like to be (too) judgmental, but in the grand scale of societal injustices, 8216slightly lower liquidity in Microsoft shares8217 barely ranks, and in the grand scale of human achievements, 8216slightly higher liquidity in Microsoft shares8217 barely ranks either. It8217s not like the creator of the algorithm has invented a new way to harvest energy from lightning bolts. And certainly, using your university degree in advanced computing to contribute to microscopically more accurate 8216price discovery8217 doesn8217t mean you get to go down in the grand book of human virtue. But of course, this whole appeal to morality from the lobbyists is obviously completely disingenuous. It8217s not like people are getting jobs in HFT firms because theyre possessed with an evangelical desire to improve liquidity to help pensioners. Creating an epic light-speed infrastructure array to exploit microscopic price discrepancies has got about as much to do with helping pensioners as Formula 1 racing has to do with improving transportation for the elderly. 2.1: The unstoppable progress of rational agents without agency WERE INDEPENDENT AGENTS, RESPONDING RATIONALLY TO INCENTIVES Regardless of appeals to the morality of HFT, there is another more subtle line. Note the name of the aforementioned pro-HFT lobby group 8211 The Modern Markets Initiative . The name is a deliberate attempt to paint anyone who is concerned about HFT as an enemy of modern progress, standing in the way of the inevitable triumph of a more efficient, rational world. The tech-as-progress dogma is widely entrenched in our society, like a hard-to-remove piece of social malware that disarms peoples critical impulses. The luddite impulse is ridiculed, rather than celebrated as a healthy skepticism towards tools of the powerful. But this tech fetishism becomes even more entrenched when it meets with the mainstream economics belief in the virtue and inevitability of rational economic agents pursuing self-interest . It8217s here that the dual utopian visions of tech-as-unstoppable-progress and markets-as-unstoppable-progress merge into one stream. If the technology can be built, and provided that some kind of profit can be made by entrepreneurs taking the short-term opportunity to build it, an inertia sets in, an imagined inability to stop the 8216progress8217, regardless of whether it is actually useful in the long term or not. Attempting to stand in the way of such a stream of individual actions is seen as futile, and even unjust, like trying to stop a river flowing down a hill. Indeed, this is part of the implicit background thinking that leads to terms like 8216arms race8217 being used to describe the development of HFT (and other technologies). If one entrepreneur doesn8217t do it, another will . Ever heard a tech person saying you cannot stop technology There is a deep irony to this vision. Above all, there is a distinct lack of agency projected when people insist that 8216this cannot be stopped8217, but it gets coupled with a vision of thousands of entrepreneurs all individually impelled through 8216agency8217 towards something that will occur regardless of whether they choose to make it occur or not. In other words, a kind of agency towards executing a preordained plan. This vision of the rational-agent-without-agency is something that plagues much mainstream thinking on economics, a strange blend of extolling the virtue of the risk-taking individual whilst simultaneously asserting that they8217re irrelevant, mere puppets acting out the will of 8216the market8217. Here, for example, is big-shot venture capitalist Mark Cuban explaining his take on HFT: 8216If you know the game is rigged and that it is legal to participate in this rigged game, would you do everything possible to participate if you could Of course you would . Its a statement dripping in contradictory ambiguity, a vision of independent agents acting like pre-programmed robots that have to abide by some imagined law of economics. MUST. PARTICIPATE. IN. RIGGED. GAME. In reply Id say: No Mark, I am not a character out of an Econ 101 textbook. I am perfectly capable of overriding the impulse to play the rigged game, and to decide to not play it. In saying it is inevitable, you8217re just trying to justify your own inability to do that. The problem, though, is that provided enough people think like Mark, the inertia continues to be presented as natural . a collective action problem portrayed as a liberator of previously unrealised human potential. 2.2: Automation: People create robots to crunch (big) data GOOD DOG, GO FETCH To be one of the aforementioned economic agents in the HFT space, you need to master three things. Firstly, you need to master the physical hardware: the actual wires, cables and microwave towers. Then, you must be able to master the data streams travelling through those wires, to collect it and arrange it in an efficient manner. Then you must be master of the algorithm that knows what to do based on that data. The algorithm is your automated avatar in the marketplace, 8216thinking8217 and acting on your behalf. Your algos must work with lots of data, but it8217s worth noting that not everyone perceives HFT as a realm of 8216big data8217. The hype around big data, to some extent, concerns the growing capability to do real-time processing of huge dams of data (like modelling of climate on supercomputers), but 8216real-time8217 doesn8217t necessarily mean microsecond-level speed. It makes no difference whether it takes you 5 minutes or 20 microseconds to know a hurricane is forming. Much HFT, on the other hand, is more about brute reaction time to a high pressure hose of data, rather than a dam. That said, being able to react at microsecond speed to colossal dams of data is emerging. The HFT company Tradebot (based in this building in Kansas City), has been known to trade a billion shares in one day, making millions of individual trades. In their own words, 8220Market data changes trigger our system to produce new orders in a few hundred nanoseconds. We collect and analyze billions of data rows to find the edge. Our Hadoop cluster is over two petabytes.8221 A Hadoop cluster is an array for holding massive amounts of data, and two petabytes is 2 million gigabytes. How many gigabytes is your computer Regardless of whether all HFT strategies should be considered a realm of Big Data, HFT is a subset of the broader realm of algorithmic trading, which is on the cutting edge of financial data science more generally. To create financial algorithms often first involves 8216back-testing8217 potential algorithms on huge banks of historical market data, essentially engaging in 8220what if I8217d done this between 1980 and the present8221 time-travel exercises. If you find an algo that seems to work on past data, you can crystalise it, then send it to work on real-time data in the present. John Fawcett of Quantopian notes with a certain amount of joy how automated algorithms 8220remove human emotion and bias from trading decisions8221, opening up a brave new world of emotionless finance. You use statistical back-testing to find the most 8216rational8217 strategy, then lock it in a hard-coded shell that 8220never falls prey to sentimental pitfalls8221. You too can now isolate and strip away your emotion from your rationality, automating your rational self in the form of your very own algorithm that you can keep like a pet, or a slave, to do things for you. 2.3: Automation: Robots create (big) data to crunch people NETWORK, OR SPIDERS WEB We tend to understand the concept of actively using technology to achieve certain ends (exercising agency), but we find it harder to conceptualise the potential loss of agency that technology can bring. It8217s a phenomenon perhaps best demonstrated with email . I can use email to exercise my agency in this world, to send messages that make things happen. At the same time, it8217s not like I truly have the option to not use email. In fact, if I did not have an email account, I would be severely disabled. There is a contradiction at play: The email empowers me, whilst simultaneously threatening me with disempowerment if I refuse to use it. In HFT and algorithmic trading more generally, we have a range of disparate players each individually working on building little pieces of the infrastructure and single algorithms that they control. When we zoom out though, we might see the outlines of something bigger. While individual algorithms appear as isolated, individual slaves to creative masters, the collective array of algos can begin to seem like a spiders web displaying emergent properties that are not under the control of any particular human master. Or, lets put it this way: Traditional sci-fi depictions of artificial intelligence always show an individual mad genius building and unleashing an overlord computer that then kind of behaves like a hyper-powerful human. In reality, if an overlord technological system was to be built, it would not be a single computer, and neither would it be built by a single mad genius, and it wouldnt really look or feel anything like a human. It would be an interwoven mesh of technology, brought to life by individuals who never explicitly designed it, with no obvious human face or interface. In reality we already see these emergent forms all around us, but are not well trained to recognise them. They emerge whenever humans 8216lock themselves in8217 to reliance on a technological infrastructure, and lock themselves in to a point where they cannot pull back out due to the interconnections and dependencies that subsequently emerge. Those infrastructures then, have a certain power over society, even though their individual nodes may be under the control of particular people. I have previously referred to this concept 8211 albeit in a different context 8211 as the Techno-Leviathan. technological infrastructures that seem passive and neutral but that contain a kind of latent organising force over the people who seemingly contract into using them. So, the question to ponder is whether, when viewed collectively . we might begin to imagine the high speed mesh of individual algorithms as resembling one a giant robot, brought to life by hapless human agents-without-agency, all believing themselves to be shit-hot independent gunslingers of the market, but actually just a disconnected workforce for an emergent AI. Or at least that8217s what Stephen Hawking might argue . Even if you dont buy that abstract concept, we might look into the more concrete realm of individual algorithms to see the shifting power dynamics: there is much excitement about 8216machine-learning8217, the creation of self-teaching algorithms that seek constant enlightenment and self-improvement, creating their own personalities. Artificial intelligence is not just being able to process stuff, it8217s the ability to learn. Indeed, the FT8217s Sally Davies notes that 8220GFT, which works with big global investment banks, has partnered with Massive Analytic, a big data start-up, to develop trading software based on 8220artificial precognition8221. Even if it doesnt end up in the realm of Minority Report, it stands to be a total mindfuck for regulators. 2.4: Disconnected boys with dangerous toys NERD CULTURE MEETS JOCK CULTURE Having detoured into the possibilities for an emergent rise of the machines, we might go back down to earth and look into the human world of HFT. Who are the individual people involved, and what are the cultural dynamics Obviously there are many different types of people involved in HFT. Im sure many of them are lovely, but the last algo trader-boy I met was a guy from Ronin Capital who happened to be one of the most condescending assholes I8217ve experienced in a while, coming packaged with one of those heavy-set wrist-watches and a shirt with expensive fibres, both marking out a rising member of the financial elite. He spent a lot of time in the gym, because you dont develop big muscles from sitting behind a computer. This seemed to fit quite well with the pseudo Samurai aesthetic of his firm. If you enter Ronin8217s website, there are gong sounds and pictures of swords, as if the traders behind the interface of the computers want to imagine themselves engaged in hand-to-hand combat with a vicious opponent that could actually kill them. Of course, given that they are probably educated at elite universities, it is unlikely that they8217ve ever had any exposure to actual bodily harm, and probably never will. This is a dynamic in the financial sector more broadly: highly educated people, frequently male, induced into believing they8217re engaged in some kind of mortal combat, despite the fact that they8217re surrounded with abundant opportunities and money, and despite the fact that they8217re sitting in an air-conditioned office at a computer engaged in nothing remotely like combat or physical hardship. This pseudo-battle is perhaps best exemplified by TradeBot, who without a trace of irony state that: The stock market is tough. It owes us nothing. It punishes our mistakes. Others have more money, more power, more connections. We are underdogs. We keep learning. We innovate. Every day is a new fight. Technology is our weapon. We make millions of small trades. We cut losses. We identify opportunities. We focus. The market can be beaten. We love the game. When assessing these banal market-as-mortal-combat statements, I like to use the WWII Grandfather Test . which involves me asking myself what my grandfather would say about it. He was a bomber pilot during WWII and got shot down over Germany, crash-landing a flaming heap of metal on the coastline after probably killing a lot of people with incendiary bombs. Ask your granddad: what do you think about Tradebot8217s battle with the 8216the market8217 I don8217t know about your granddad, but I like to think mine would have said, 8216I have no bloody idea what they are doing, but I know it has no connection to real people living in real places8217 . Seriously Tradebot, if you really think you8217re so tough, go do some shipbreaking in Bangladesh. and you8217ll quickly discover that an actual battle isn8217t a 8216game8217. Indeed, you can always sense something is a realm of cushioned elites when the language is all about 8216players8217 jostling with each other. Sports and games are simulacrums of combat, not actual combat. You only perceive the real world as a 8216game8217 when you8217re in certain types of environments that provide a big cushion to protect you 8211 like an elite, global city, for example. There is a particular urban geography to these infantile computer games. When one is sitting in a nice modern city full of other fairly superficial activities, things like HFT gain a certain legitimacy. They are creatures of urban, tech-centric society, where couches, excel-spreadsheets and lattes abound. It8217s only in such a setting that you can imagine grown adults bickering with each other over the meterage of cable connecting them to a stock exchange. Imagine the furious exec shouting at the co-location manager, 8216Our cable is a metre longer than Tradebot8217s cable, why the fuck did you allow that We8217ve lost a nanosecond8217 It8217s kind of embarrassingly juvenile when you stand back a moment, look through granddad8217s eyes, and watch a serious-faced discussion about whether C or Java will achieve the holy grail of zero latency. We8217re not talking about old-school realpolitik here, where some tycoon is battling another tycoon for control of some vast mining territory. Regardless of whether HFT is damaging or not, its just kind of. um. lame. 2.5: HFT and the financialisation of meaningless noise AS YOU CAN SEE, OUR PRODUCT CAPTURES MEANINGFUL MARKET MOVEMENTS 8216Financialisation8217 is a term laden with various interpretations, but it tends to refer to the increasing importance of the financial sector in overall economic life, the infusion of financial sector norms and morality into everyday culture, and the process by which previously uncommoditised things get turned into financial products that can be traded on financial markets. That8217s a pretty broad description, so I prefer to initially think of financialisation as the end result of things being made 1) ownable 2) investable and 3) tradable. The greater the intensity and extent of these elements, the greater the degree of financialisation of that thing. Ownable means the thing can be claimed by someone, and that they can exclude others from its use. 8216Ownability8217 relies on being able to isolate and separate something off from things around it. For example, the enclosure movement involved turning land into demarcated parcels that could be separated from each other and privately owned Investable means turning the thing owned into an asset that delivers returns over time. While a piece of land might be something that you can own, and have an emotional connection too, you might begin to view it as an asset when it is used to produce yields over time. It might be perceived as a generic investment, rather than a piece of land with a particular history and life Tradable means that asset can be passed on to others Still, moving land from person to person is slow and personal. Land only really gets financialised with it is turned into a generic 8216asset class8217 that disconnected investors can quickly buy into or out of. So, imagine a financialisation process in this sequence: I own a farm. I can use it to make food I own a share in my neighbour8217s farm. I can claim a portion of the produce I own a share in a small private farming company. I get annual monetary dividends and read the reports I own a share in a large publicly traded farming corporation. I get monetary dividends and can sell my shares to others at any point on the stock exchange I own a share in a huge agriculture exchange-traded fund (ETF) that owns shares of farming corporations all over the world I own a share in a hedge fund that rapidly trades a portfolio of such ETFs, and bets on such ETFs via derivatives We might say that financialisation is the creeping process by which new frontiers of ownership are isolated, and turned into investable products that a wide, disconnected range of dispassionate investors can emotionlessly slide into and trade with each other. The more distant you are from the thing you8217re invested in, and the easier it is to trade, and the faster the trading, the more disconnection you can experience. But, there is a point when the speed of trading hits a tipping point, and takes you into a realm that is no longer about the farm, or anything real for that matter, at all . This is where HFT take us. While it ostensibly seems to be about the trading of shares on stock-markets (and other things like currencies), in reality HFT has nothing to do with shares. The 8216thing8217, or object that is being traded is not actually a financial instrument, but rather it is the microscopic tremblings of a financial instrument. This is a subtle point to convey. Much normal speculative trading is done fast, with a trader quickly buying something and then trying to sell it to someone else. Nevertheless, there is always a sense of a thing being manipulated in some way. Just like when you are flipping a hot potato, there is always a brief moment of being invested in the heat of the real world, even if fleeting, and there is always some residual awareness that there is some reality to the thing. In the case of a BP share, for example, the share has a reality based the fact that it is a legal claim upon what BP owns. It is thus directly connected to the real world outlook of those oil fields and pipelines. We call traders who make assessments of that reality fundamental traders: They might say I think OPEC is going to decrease supply and thereby boost the price of oil, and thereby boost BPs profit. I will therefore buy this BP share that allows me to benefit from any perceived increase in the value of BP8217s collective assets. The actions of such fundamental traders give rise to a second-degree reality that is exploited by traders who watch the data they generate. We call this technical trading. Such traders may say Market data suggests that a lot of people are currently buying BP shares. I am going to ride with this sentiment. Both of these techniques rely on a type of sentience, an awareness of some external reality and an ability to reason about it. In the case of fundamental trading, its the awareness about some new development in the world of oil. In the case of technical trading, its the awareness of some new trend that is developing among other traders. For something to contain meaning, in the human sense of the word, it should be something that is open to human experience . There are many things that are not open to human experience - for example, perceiving radio waves - and in a sense that takes them out of the realm of meaning. Sure, we can use instruments to detect radiowaves, and try make meaning out of the resultant observations, but radio waves cannot ever really mean anything to us in their raw state. The key thing about a radiowave though, is that its existence does not depend upon human observation. It exists regardless of whether you can perceive it or not. A share is nothing like this. A share, by definition, is a politically constructed claim on a politically constructed company that is run by humans, doing things that are perceivable by humans. Its value does not exist outside of human assessment of how well that is being done, and there is no hidden reality to a company that operates outside the realm of human experience. We cannot say something like well, we cannot see BP, but we know it exists through experiments at CERN . BP, unlike radio-waves, has no microsecond reality. In other words, nothing can meaningfully change in such a legally constructed entity in the imperceptible space of microseconds. Thus, when you in fact do dip into the realm of microseconds, it is highly implausible that an automated trading algorithm is actually being exposed to external 8216outside information8217 that has anything to do with either BPs operations, or observation of an emergent trend in people trading BP shares. At that level, all youre doing is highly precise arbitrage activities in microscopic inconsistencies in peoples perceptions, or perceptions of perceptions, of reality. The activity going on at the molecular microsecond level is by definition, not about the thing being traded. The sheer emotional disconnection engendered by the technological medium, combined with the sheer speed means that this certainly cannot be thought of as trading in things at all. This is the isolation of, and subsequent trading of microscopic, subconscious instability. It is the financialisation of meaningless noise, something that previously wasnt subjected to commodification. The algos have an internal world, like the internal world we see in those electron microscope pictures where tiny, imperceptible flakes of dust appears as a whole landscape with valleys and hills. From the perspective of an atom, that world means a lot, but from the perspective of humans, the internal contours of a speck of dust are irrelevant and meaningless. Likewise, at microsecond level, you8217re trading meaninglessness. In closing: Parasitic algorithmic surrealism One common problem in thinking about HFT, though, is that people8217s minds run away with them. They feel panicked by how alien it seems, having visions of extreme market meltdown as rogue algorithms run everything in a giant psychedelic orgy of routers. Its worth taking a breath before stressing out too much. While it8217s true that the algorithms might exist in serene, unreal bubbles, at some point they are constrained by the reality of the world. Take, for example, the Flash Crash. It was a momentary breach where rogue algorithms painted a warped picture of reality, but minutes later the real world kicked back in and the algos had their collective wills bent back. If Wallmart goes bankrupt, the value of a Wallmart share will tank, and if an algorithm says otherwise, it will be crushed by the legal reality that the shareholders of Wallmart are going to get blasted out of the water. There are probably limits on how much HFT can proliferate. I mean, a parasite relies upon an ecosystem to survive, and in the end, HFT algos have to feed off something. In this case, it8217s probably the big institutional investors - the whales that make up the baseload order flow of the market - that host the HFT parasite. The question is not so much whether HFTs can 8216take over8217 a market, but rather whether they disrupt it, exert a new cost on it, or otherwise cause a nuisance. (of course, if youre an industry lobbyist, you might alternatively suggest that they 8216offer useful services8217 and improve the ecosystem) To me, though, the really interesting question about HFT is not this banal fixation on whether it disrupts markets or not. Its the cultural and political elements. Its how such a ridiculous thing can be viewed as legitimate . And, its the sheer physicality of it, the fact that it appears ephermeral yet relies upon huge real world infrastructure to engage in the essentially meaningless activity. And, it is the geography. Its a technology set that attempts to eliminate distance and time, but perception of distance and time are two main components of a sense of difference between places. Eliminate the sense of distance and the time it takes to get there, and you can create the homogenising illusion of being in many places at once simultaneously. The computer interface at a global HFT firm, presiding over multiple global markets, is an agent of bland homogenisation. Above all, though, HFT is an agent of financial surrealism. We make electricity by burning real fossil fuels dredged out of the Niger Delta, and then waste that running servers doing something that cannot even be represented. Serious-faced men have serious-faced meetings about it, but they might just as well be wearing pink unicorn outfits in a Neverland dream. Seriously, WTF are you doing Further reading: People to follow for up-to-date HFT info And finally. These pieces take me ages to write, so if youd like to support my ongoing Creative Commons writing, please consider buying me a virtual beer. Cheers The funny bit about this statement: quotI mean, aerospace engineers do something that8217s pretty complex and I can8217t tell you how they technically do it, but I nevertheless understand what they do in principlequot Is that computers design the flying machines now, and engineers direct the machines which design them. This is a decent overview: aero. stanford. edureportsvkievolutionarykrooa. pdf I39m sure they do Mason. My point here wasn39t so much whether or not computers are involved in aerospace engineering, but rather the fact that we have an intuitive grasp of the end goal of aerospace engineering (which we often don39t have with HFT) Well written and you make some thought-provoking points at the end. I don39t think your understanding of automated trading is particularly nuanced (I run a trading firm) but it does not necessarily detract from your point. Keep in mind that these trading firms are able to make money because there are eager and willing counterparties looking to trade. If you want to argue that the world would be better off if all this short term trading could be somehow abolished, I could be persuaded to agree. Unfortunately no one involved (the buyers -- or more likely agents thereof -- or the sellers, in this market for instantaneous liquidity) are particularly interested in that scenario. Best Introduction of High Frequency trading I have ever read. Großartiger Artikel. Paul Great piece, thanks Would just question your claim about there being no legal or political reality in the microsecond realm. We can make authority over any social category rest with whatever we like, even if that state of affairs is never observed. Brett Scott I explore economic systems.160I wrote160 The Heretic39s Guide to Global Finance: Hacking the Future of Money 160 (Pluto Press: 2013).160I39ve written for publications like The Guardian . Wired, New Scientist, 160 Aeon Mag160 amp CNN 160and have appeared on shows such as BBC World Update . BBC Newsday . the Keiser Report . and Arte TV . 160I39ve worked as a broker, barman and blues musician, and I39m a Fellow at the160Finance Innovation Lab .160I160tweet as160Suitpossum. View my complete profile