Krypto braucht GPT-3 nicht zu fürchten. Es sollte es umarmen

Free Bitcoins: FreeBitcoin | BonusBitcoin

Coins Kaufen: Bitcoin.deAnycoinDirektCoinbaseCoinMama (mit Kreditkarte)Paxfull

Handelsplätze / Börsen: Bitcoin.de | KuCoinBinanceBitMexBitpandaeToro

Lending / Zinsen erhalten: Celsius NetworkCoinlend (Bot)

Cloud Mining: HashflareGenesis MiningIQ Mining


Jesus Rodriguez ist der CEO von IntoTheBlock, einer Market-Intelligence-Plattform für Krypto-Assets. Er hatte Führungspositionen bei großen Technologieunternehmen und Hedgefonds inne. Er ist aktiver Investor, Redner, Autor und Gastdozent an der Columbia University.

In den letzten Tagen gab es in der Crypto-Community eine Explosion von Kommentaren zum neuen GPA-3-Sprachgeneratormodell von OpenAI. Einige der Kommentare drücken nützliche Neugierde für GPT-3 aus, während andere etwas extrem sind und behaupten, dass die Krypto-Community Angst davor haben sollte.

Das Interesse ist etwas überraschend, da die GPT-Modelle nicht gerade neu sind und seit über einem Jahr Schlagzeilen in der Community des maschinellen Lernens machen. Die Forschung hinter dem ersten GPT-Modell wurde im Juni 2018 veröffentlicht, gefolgt von GPT-2 im Februar 2019 und zuletzt GPT-3 vor zwei Monaten.

Siehe auch: Was ist GPT-3 und sollten wir Angst haben?

Ich halte es für unwahrscheinlich, dass GPT-3 für sich genommen einen großen Einfluss auf das Krypto-Ökosystem haben kann. Die Techniken hinter GPT-3 stellen jedoch den größten Fortschritt beim Deep Learning in den letzten Jahren dar und können daher für die Analyse von Krypto-Assets unglaublich relevant werden. In diesem Artikel möchte ich mir ein paar Minuten Zeit nehmen, um einige der Konzepte hinter GPT-3 kennenzulernen und sie für die Kryptowelt zu kontextualisieren.

Was ist GPT-3?

GPT-3 ist ein massiv großes NLU-Modell (Natural Language Understanding), das erstaunliche 175 Milliarden Parameter verwendet, um mehrere Sprachaufgaben zu meistern. Die Größe macht GPT-3 zum größten NLU-Modell der Welt und übertrifft das Turing-NLG von Microsoft und sein Vorgänger GPT-2.

GPT-3 kann verschiedene Sprachaufgaben ausführen, z. B. maschinelle Übersetzung, Beantwortung von Fragen, Sprachanalyse und natürlich Texterzeugung. GPT-3 hat die Aufmerksamkeit der Medien auf sich gezogen, weil es gefälschten Text erzeugen kann, der nicht von echtem zu unterscheiden ist.

Wie ist das für Krypto relevant? Stellen Sie sich vor, Sie könnten regelmäßig gefälschte Pressemitteilungen erstellen, die den Preis der kleineren Krypto-Assets erhöhen? Klingt nach einer beängstigenden Bedrohung, ist aber nicht der wichtigste Teil von GPT-3.

GPT-3 ist ein sprachbasiertes Modell und arbeitet folglich mit Textdatensätzen. Vom Standpunkt des Kryptomarktes aus ist diese Fähigkeit cool, aber sicherlich nicht so interessant. Worauf wir wirklich achten sollten, sind die Techniken hinter GPT3.

Die Magie hinter GPT-3

GPT-3 basiert auf einer neuen Deep-Learning-Architektur, die als Transformatoren bekannt ist. Das Konzept der Transformatoren wurde ursprünglich in dem 2017 von Mitgliedern des Google Brain-Teams veröffentlichten Artikel „Aufmerksamkeit ist alles, was Sie brauchen“ beschrieben.

Die Hauptinnovation der Transformatorarchitektur ist das Konzept der „Aufmerksamkeit“ (daher der Titel des Papiers). Aufmerksamkeit wird normalerweise bei einem als Seq2Seq bekannten Problemtyp verwendet, bei dem ein Modell eine Folge von Elementen (Wörter, Buchstaben, Zahlen) verarbeitet und eine andere Folge ausgibt. Diese Art von Problem ist in Sprachintelligenzszenarien wie Texterzeugung, maschinelle Übersetzung, Beantwortung von Fragen usw. unglaublich häufig.

Jedes Mal, wenn Sie ein Seq2Seq-Szenario sehen, sollten Sie es mit sogenannten Encoder-Decoder-Architekturen verknüpfen. Codierer erfassen den Kontext der Eingabesequenz und übergeben ihn an den Decodierer, der die Ausgabesequenz erzeugt. Aufmerksamkeitsmechanismen adressieren die Einschränkungen traditioneller neuronaler Netzwerkarchitekturen, indem sie die Schlüsselaspekte der Eingabe identifizieren, auf die „geachtet werden sollte“.

Herkömmliche Deep-Learning-Architekturen benötigen ein ständiges Feedback zwischen Codierern und Decodierern, was sie äußerst ineffizient macht.

Denken Sie an ein maschinelles Übersetzungsszenario von Spanisch nach Englisch. Typischerweise übersetzt der Decoder die spanische Texteingabe in eine Zwischendarstellung, die als "imaginäre Sprache" bekannt ist und vom Decoder verwendet wird, um sie ins Englische zu übersetzen. Traditionellere Deep-Learning-Architekturen erfordern eine ständige Rückmeldung zwischen Codierern und Decodierern, was sie äußerst ineffizient macht.

Konzeptionell betrachten Aufmerksamkeitsmechanismen eine Eingabesequenz und entscheiden bei jedem Schritt, welche anderen Teile der Sequenz wichtig sind. Beispielsweise würde in einem maschinellen Übersetzungsszenario der Aufmerksamkeitsmechanismus Wörter hervorheben, auf die der Decodierer "achten sollte", um die Übersetzung durchzuführen.

Die Transformatorarchitektur, die Modelle wie GPT-3 mit Strom versorgt, ist eine traditionelle Encoder-Decoder-Architektur, die Aufmerksamkeitsblöcke einfügt, um die Effizienz zu verbessern. Die Rolle dieses Blocks besteht darin, die gesamten Eingabe- und aktuellen Ausgaben zu betrachten und Abhängigkeiten abzuleiten, die zur Optimierung der Produktion der endgültigen Ausgabe beitragen.

Die Transformatorarchitektur hat Modelle hervorgebracht, die in sehr großen Datenmengen trainiert und effizient parallelisiert werden können. Es ist nicht überraschend, dass es nach dem ursprünglichen Google-Artikel einen Wettlauf gab, um super große Modelle zu bauen, die verschiedene Sprachaufgaben beherrschen. BERT von Google, RoBERTa von Facebook, Turing-NLG von Microsoft und OpenAI GPT-3 sind neuere Beispiele für diese Modelle.

GPT-2 überraschte die Welt mit 1,5 Milliarden Parametern. Dieser Rekord wurde von Microsoft Turing-NLG gebrochen, das 17 Milliarden Parameter verwendete, nur für GPT-3, um lächerliche 175 Milliarden Parameter zu verwenden. All das ist in einem Jahr passiert. Schlicht und einfach: Wenn es um Transformatoren geht, ist größer besser.

Siehe auch: Ben Goertzel – KI für alle: Super-Smart-Systeme, die Datenersteller belohnen

Die erste Generation von Transformatorarchitekturen hat sich auf Sprachaufgaben konzentriert. Unternehmen wie Facebook und OpenAI haben jedoch kürzlich veröffentlichte Forschungsergebnisse veröffentlicht, in denen Transformatormodelle an die Bildklassifizierung angepasst wurden. Sie könnten denken, dass dies nur ein Versuch ist, gefälschte Bilder zu erzeugen. Aber die Auswirkungen gehen weit darüber hinaus.

Die Erzeugung gefälschter Bilder ist sehr wichtig, um das Training von Bildklassifizierungsmodellen ohne große beschriftete Datensätze zu optimieren. Es wurden Versuche unternommen, Transformatoren an finanzielle Zeitreihendatensätze anzupassen, mit der Hoffnung, dass sie quantitative Handelsstrategien vorantreiben können.

Transformatoren und Krypto-Assets

Nachdem wir nun einen Kontext zu Transformatoren und GPT-3 haben, können wir die ursprüngliche Frage erneut prüfen. Ist GPT-3 für Krypto-Assets wirklich beängstigend?

Sicher, die Aussicht auf Modelle, die gefälschte Nachrichten generieren können, die Kryptomärkte bewegen, ist kein Scherz. Aber ich denke, dass GPT-3 in seiner gegenwärtigen Form keine Bedrohung für den Kryptoraum darstellt. Interessanter ist der Einfluss, den Transformatorarchitekturen auf die nächste Generation von Crypto Intelligence-Lösungen haben können. Hier sind einige reale Szenarien zu berücksichtigen:

Handelsstrategien. Wenn sich herausstellt, dass Transformatoren auf Finanzdatensätze anwendbar sind, können sie natürlich einen großen Einfluss auf Quant-Strategien für Krypto-Assets haben. Tiefe neuronale Netze eröffnen im Allgemeinen neue Grenzen im quantitativen Handel. Ausgehend von grundlegenden Modellen des maschinellen Lernens wie linearer Regression oder Entscheidungsbäumen untersuchen Quant Funds nun ausgefeilte Deep-Learning-Strategien.

Krypto ist von Haus aus digital und die perfekte Anlageklasse für Quant-Strategien. Techniken wie wiederkehrende neuronale Netze (RNNs) und Faltungs-neuronale Netze (CNNs) haben im Quantenraum an Popularität gewonnen und scheinen in der Krypto gut zu funktionieren. Genau wie bei der Sprachanalyse könnten Transformatoren einen Vorteil gegenüber CNNs und RNNs haben, insbesondere wenn es darum geht, die Aufmerksamkeit in mehreren Segmenten eines Datensatzes zu lenken (z. B. während des Bitcoin-Absturzes im März 2020) und auch mit massiv großen Datenmengen zu arbeiten (zB Blockchain-Transaktionen).

Interessanter ist der Einfluss, den Transformatorarchitekturen auf die nächste Generation von Crypto Intelligence-Lösungen haben können.

Blockchain-Analyse. Transformatoren können angepasst werden, um Muster in Blockketten rechnerisch effizienter zu erfassen als derzeitige Verfahren. Ein Teil der Magie von Transformatoren ist ihre Fähigkeit, die Aufmerksamkeit auf bestimmte Teile eines Eingabedatensatzes zu lenken und potenzielle Ausgaben abzuleiten. Stellen Sie sich ein Szenario vor, in dem wir Bitcoin-Mining-Transaktionen oder -Flüsse zu Börsen analysieren und versuchen, Muster in der Auftragsbuchaktivität zu extrapolieren. Transformatoren scheinen besonders gut gerüstet zu sein, um diese Aufgabe anzugreifen.

Dezentrale Transformatoren. Es werden derzeit Anstrengungen unternommen, Transformatormodelle an dezentrale KI-Architekturen wie SingularityNet anzupassen. Diese Art von Anwendungsfall könnte die Verwendung von Transformatoren auf Szenarien ausweiten, die wir uns noch nicht vorgestellt haben. Bisher waren Transformatormodelle wie GPT-3 das Privileg großer KI-Labors von Unternehmen, die über die Daten und Ressourcen verfügen, um solch massive neuronale Netze aufzubauen und zu betreiben. Die dezentrale KI bietet eine Alternative, bei der die Schulung, Ausführung und Überwachung von Transformatoren in dezentralen Netzwerken erfolgen kann, die auf Anreizmechanismen basieren.

Genau wie andere neuronale Netzwerkarchitekturen in dezentralen Infrastrukturen arbeiten konnten, ist es nicht verrückt zu glauben, dass bald Modelle wie GPT-3 auf dezentralen KI-Plattformen wie SingularityNet oder dem Ocean Protocol ausgeführt werden.

GPT-3 und die Transformatorarchitektur stellen einen wichtigen Durchbruch in der Geschichte des Deep Learning dar. In den nächsten Jahren werden Transformatoren wahrscheinlich alle wichtigen Bereiche des Deep Learning beeinflussen, und der Einfluss wird sich wahrscheinlich auf die Finanzmärkte ausweiten. Krypto sollte von diesen Durchbrüchen profitieren.

Ja, GPT-3 ist beeindruckend, aber es gibt keinen Grund, Angst zu haben. Im Gegenteil, wir sollten die Arbeit tun, um diese wichtigen KI-Errungenschaften anzupassen und Krypto zur intelligentesten Anlageklasse in der Geschichte zu machen.

Offenlegung

CoinDesk ist führend in Blockchain-Nachrichten und ein Medienunternehmen, das nach höchsten journalistischen Standards strebt und strenge redaktionelle Richtlinien einhält. CoinDesk ist eine unabhängige operative Tochtergesellschaft der Digital Currency Group, die in Kryptowährungen und Blockchain-Startups investiert.

Free Bitcoins: FreeBitcoin | BonusBitcoin

Coins Kaufen: Bitcoin.deAnycoinDirektCoinbaseCoinMama (mit Kreditkarte)Paxfull

Handelsplätze / Börsen: Bitcoin.de | KuCoinBinanceBitMexBitpandaeToro

Lending / Zinsen erhalten: Celsius NetworkCoinlend (Bot)

Cloud Mining: HashflareGenesis MiningIQ Mining

By continuing to use the site, you agree to the use of cookies. more information

The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.

Close