PyTorch

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen
PyTorch

Pytorch logo.png
Basisdaten

Entwickler Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan
Erscheinungsjahr 2016
Aktuelle Version 1.7.0[1]
(27. Oktober 2020)
Betriebssystem Linux, MacOS, Windows
Programmiersprache Python, C, CUDA
Lizenz Open Source
pytorch.org

PyTorch ist eine auf Maschinelles Lernen ausgerichtete Open-Source-Programmbibliothek für die Programmiersprache Python, basierend auf der in Lua geschriebenen Bibliothek Torch, die bereits seit 2002 existiert.[2][3][4] Entwickelt wurde PyTorch von dem Facebook-Forschungsteam für künstliche Intelligenz.[5][6][7] Die Non-Profit-Organisation OpenAI gab Ende Januar 2020 bekannt auf PyTorch für Machine Learning zu setzen.[8]

Funktionen und Versionsgeschichte[Bearbeiten | Quelltext bearbeiten]

Mit der Programmbibliothek lassen sich zum einen mit GPUs beschleunigte Tensor-Analysen erstellen und zum anderen Neuronale Netze auf Basis eines bandbasierten Autograd-Systems erstellen. Dabei lassen sich bewährte Python-Bibliotheken wie NumPy, SciPy und Cython nutzen. Beim Deep Learning zeichnet sich die Programmbibliothek durch viel Flexibilität und eine hohe Geschwindigkeit aus.[9] ONNX zum Austausch von Modellen mit anderen Programmbibliotheken wird unterstützt. TorchScript-Dokumente können durch einen Compiler in PyTorch-Modelle umgewandelt werden. TorchScript kann unabhängig von Python ausgeführt werden und ist seit der Version 1.2 in PyTorch enthalten.[10][11]

Die im Oktober 2019 erschienene 1.3-Version ermöglicht die Nutzung von PyTorch auf den mobilen Plattformen Android und iOS (PyTorch Mobile). Ein 8-Bit-Quantisierungsmodell soll ebenfalls das Deployment auf Servern und Edge-Geräten effizienter gestalten. Da die traditionelle Implementierung von Tensoren Mängel auswies, können Tensoren seit der Version auch als Named Tensors benannt werden.[12] Mit der Version 1.4 von Januar 2020 wurde Pruning für künstliche neuronale Netze und ein paralleles Training von Modellen mit Remote Procedure Call ergänzt. Des Weiteren wurde eine Anbindung zu Java hinzugefügt.[13] Seit der Version 1.5, die Mitte April 2020 erschienen ist, wird TorchServe als Open Source-Server für PyTorch verwendet. Neben Facebook ist dabei auch der Cloud-Anbieter Amazon Web Services (kurz: AWS) an dem Dienst beteiligt. Ebenfalls lässt sich seit der Version eine C++-Frontend-API verwenden.[14]

Bibliotheken und Plattformen[Bearbeiten | Quelltext bearbeiten]

PyTorch setzt sich aus mehreren Bibliotheken und Plattformen zusammen, die für Maschinelles Lernen eingesetzt werden. Nachfolgend eine Liste der einzelnen Elemente von PyTorch mit einer Übersicht der wichtigsten Funktionen:[15]

Name Funktionen
AllenNLP Design und Entwicklung von Natural language processing-Modellen
advertorch Umgang mit abweichenden Trainingsdaten
BoTorch Module für Künstliche neuronale Netze, GPU- und Autograd-Unterstützung
ELF Lösen von Computerspielen
fastai Bilderkennung/ Texterkennung/ Tabellenkalkulation/ Kollaboratives Filtern
flair Natural language processing (Computerlinguistik)
glow Compileroptimierung und Codegenerierung von neuronalen Netzwerkgraphen
GPyTorch Gauß-Prozesse mit Berechnungen durch den Grafikprozessor
Horovod Verteiltes Deep Learning mit Performance-Optimierungen durch Übertragungen zwischen den Knoten, die auf dem Message Passing Interface basieren.[16]
ignite Trainieren von Künstlich neuronalen Netzen
ParlAI Austausch von großen Datensets zum Trainieren und Testen von Deep Learning-Anwendungen
pennylane Quantencomputing im Bereich Maschinelles Lernen, Automatisches Differenzieren und Optimierung
PySyft Datensicherheit/ Datenverarbeitung
PyTorch geometric Erkennung geometrischer Muster
PyTorch Lightning Automatisierung
Pyro Statistik-, Prognosen- und Wahrscheinlichkeitsrechnung
skorch Implementierung von Scikit-learn-Funktionen
TensorLy Tensoranalysis/ Tensoralgebra
Translate Maschinelle Übersetzung

Wichtige Bibliotheken in PyTorch für Maschinelles Lernen sind torchvision für die Bilderkennung, torchtext für die Texterkennung und torchaudio für die Sprach- und Audioerkennung.[11]

Beispiel[Bearbeiten | Quelltext bearbeiten]

Im folgende Beispiel soll die Funktionsweise der Bibliothek an einem einfachen Beispiel gezeigt werden

 1import torch
 2dtype = torch.float
 3device = torch.device("cpu") # Hiermit werden alle Berechnungen auf der CPU ausgeführt
 4# device = torch.device("cuda:0") # Hiermit werden alle Berechnungen auf der GPU ausgeführt
 5
 6# Erstellung eines Tensors und Befüllung des Tensors mit Zufallszahlen
 7a = torch.randn(2,3,device=device,dtype=dtype)
 8print(a) # Ausgabe des Tensors A
 9# Ausgabe: tensor([[-1.1884,  0.8498, -1.7129],
10#                  [-0.8816,  0.1944,  0.5847]])
11
12# Erstellung eines Tensors und Befüllung des Tensors mit Zufallszahlen
13b = torch.randn(2,3,device=device,dtype=dtype)
14print(b) # Ausgabe des Tensors B
15# Ausgabe: tensor([[ 0.7178, -0.8453, -1.3403],
16#                  [ 1.3262,  1.1512, -1.7070]])
17
18print(a*b) # Ausgabe einer Multiplikation der beiden Tensoren
19# Ausgabe: tensor([[-0.8530, -0.7183,  2.58],
20#                  [-1.1692,  0.2238, -0.9981]])
21
22print(a.sum()) # Ausgabe der Summe aller Elemente im Tensor A
23# Ausgabe: tensor(-2.1540)
24
25print(a[1,2]) # Ausgabe des Elements in der dritten Spalte der zweiten Zeile
26# Ausgabe: tensor(0.5847)
27
28print(a.min()) # Ausgabe des Minimumwertes im Tensor A
29# Ausgabe: tensor(-1.7129)

Weblinks[Bearbeiten | Quelltext bearbeiten]

Literatur[Bearbeiten | Quelltext bearbeiten]

Deutsch[Bearbeiten | Quelltext bearbeiten]

  • Tariq Rashid: Neuronale Netze selbst programmieren: Ein verständlicher Einstieg mit Python, O'Reilly, 2017, ISBN 9783960101031
  • Delip Rao, Brian McMahan: Natural Language Processing mit PyTorch: Intelligente Sprachanwendungen mit Deep Learning erstellen, Dpunkt.Verlag, 2019, ISBN 9783960091189
  • Sebastian Raschka: Machine Learning mit Python: das Praxis-Handbuch für Data Science, Predictive Analytics und Deep Learning, mitp Verlags, 2017, ISBN 9783958454231
  • Ramon Wartala: Praxiseinstieg Deep Learning: Mit Python, Caffe, TensorFlow und Spark eigene Deep-Learning-Anwendungen erstellen, O'Reilly, 2018, ISBN 9783960101574

Englisch[Bearbeiten | Quelltext bearbeiten]

  • Chitra Vasudevan: Concepts and Programming in PyTorch, Chitra Vasudevan, 2018, ISBN 9789388176057
  • Sherin Thomas, Sudhanshu Passi: PyTorch Deep Learning Hands-On: Build CNNs, RNNs, GANs, reinforcement learning, and more, quickly and easily, Packt Publishing Ltd, 2019, ISBN 9781788833431
  • Pradeepta Mishra: PyTorch Recipes: A Problem-Solution Approach, Apress, 2019 ISBN 9781484242582
  • Samuel Burns: Python Deep Learning: Develop Your First Neural Network in Python Using Tensorflow, Keras, and Pytorch, Independently Published, 2019, ISBN 9781092562225
  • Vishnu Subramanian: Deep Learning with PyTorch: A practical approach to building neural network models using PyTorch, Packt Publishing, 2018, ISBN 9781788626071
  • Hyatt Saleh: Applied Deep Learning with PyTorch: Demystify neural networks with PyTorch, Packt Publishing, 2019, ISBN 9781789807059
  • Eli Stevens, Luca Antiga: Deep Learning with Pytorch, MANNING PUBN, 2019, ISBN 9781617295263
  • David Julian: Deep Learning with PyTorch Quick Start Guide: Learn to train and deploy neural network models in Python, Packt Publishing, 2018, ISBN 9781789539738

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. Release 1.7.0. 27. Oktober 2020 (abgerufen am 28. Oktober 2020).
  2. Serdar Yegulalp: Facebook brings GPU-powered machine learning to Python. In: InfoWorld. (infoworld.com [abgerufen am 26. Januar 2018]).
  3. Ben Lorica: Why AI and machine learning researchers are beginning to embrace PyTorch. In: O'Reilly Media. 3. August 2017 (oreilly.com [abgerufen am 26. Januar 2018]).
  4. Nikhil Ketkar: Introduction to PyTorch. In: Deep Learning with Python. Apress, Berkeley, CA, 2017, ISBN 978-1-4842-2765-7, S. 195–208, doi:10.1007/978-1-4842-2766-4_12 (springer.com [abgerufen am 26. Januar 2018]).
  5. Mo Patel: When two trends fuse: PyTorch and recommender systems. In: O'Reilly Media. 7. Dezember 2017 (oreilly.com [abgerufen am 26. Januar 2018]).
  6. John Mannes: Facebook and Microsoft collaborate to simplify conversions from PyTorch to Caffe2. In: TechCrunch. (techcrunch.com [abgerufen am 26. Januar 2018]).
  7. Tech giants are using open source frameworks to dominate the AI community | VentureBeat. Abgerufen am 26. Januar 2018 (amerikanisches Englisch).
  8. heise online: Machine Learning: OpenAI setzt künftig auf Facebooks PyTorch. Abgerufen am 18. Mai 2020.
  9. Alexander Neumann: PyTorch: Ein Deep-Learning-Framework von Facebook. Abgerufen am 26. Januar 2018 (deutsch).
  10. Was ist ONNX (Open Neural Network Exchange)? Abgerufen am 30. August 2019.
  11. a b heise online: Machine Learning: PyTorch 1.2 verbessert Scripting und Export. Abgerufen am 30. August 2019.
  12. heise online: Machine Learning: PyTorch 1.3 setzt auf Mobilgeräte. Abgerufen am 14. Oktober 2019.
  13. heise online: Machine Learning: PyTorch 1.4 öffnet sich für Java. Abgerufen am 18. Mai 2020.
  14. heise online: Machine Learning: TorchServe dient PyTorch 1.5 als neuer Open-Source-Server. Abgerufen am 18. Mai 2020.
  15. PyTorch. Abgerufen am 30. August 2019 (englisch).
  16. https://www.bigdata-insider.de/was-ist-horovod-a-846416/. Abgerufen am 30. August 2019.