OpenCL

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche
OpenCL
Entwickler Khronos Group
Aktuelle Version 2.1 official
(15. November 2015)
Aktuelle Vorabversion 2.2 provisional
(18. April 2016)
Betriebssystem plattformunabhängig
Kategorie Programmierschnittstelle
Lizenz verschieden
www.khronos.org/opencl

OpenCL (englisch Open Computing Language) ist eine Schnittstelle für uneinheitliche Parallelrechner, die z. B. mit Haupt-, Grafik- oder digitalen Signalprozessoren ausgestattet sind. Dazu gehört die Programmiersprache „OpenCL C“. OpenCL wurde ursprünglich von der Firma Apple entwickelt, um die Leistung der aktuellen Grafikprozessoren auch für nicht-grafische Anwendungen nutzbar zu machen.

In Zusammenarbeit mit den Firmen AMD, IBM, Intel und Nvidia wurde der erste Entwurf ausgearbeitet und schließlich von Apple bei der Khronos Group zur Standardisierung eingereicht.[1] Die Spezifikation für OpenCL 1.0 wurde am 8. Dezember 2008 veröffentlicht. Am 16. November 2011 folgte die Spezifikation 1.2 mit Verbesserungen, die zu 1.0 abwärtskompatibel bleibt. Zwei Jahre später, am 18. November 2013, wurde dann die OpenCL-2.0-Spezifikation eingeführt.

OpenCL 1.0 wurde erstmals am 28. August 2009 von Apple mit dem Betriebssystem Mac OS X v10.6 (Snow Leopard) auf den Markt gebracht, die dazugehörigen Programme („Kernel“) können zur Laufzeit auf verschiedene vorhandene OpenCL-fähige Geräte verteilt werden. Aktuell wird abhängig von der Hardware nur OpenCL 1.0 bis 1.2 von Apple unterstützt.[2][3]

Mit OpenCL 2.0 kompatible Hardware unterstützt mit aktualisierten Treibern auch die höheren Versionen 2.1 und 2.2 laut Khronos-Group.[4]

OpenCL 2.1 wurde im November 2015 offiziell freigegeben.[5] Eine entscheidende Neuerung in OpenCL 2.1 ist die Integration von SPIR-V, dem SPIR-Nachfolger (Standard Portable Intermediate Representation). SPIR-V ist eine Zwischensprache mit nativer Unterstützung für Grafik-Shader und Prozessor-Kernels. Sie ermöglicht die Aufteilung der Compiler-Kette auf die unterschiedlichen Recheneinheiten. Somit können High-Level-Sprachen über SPIR-V die heterogene Architektur ansprechen, ohne sich selbst um die Übersetzung auf die unterschiedlichen Hardware-Komponenten zu kümmern. SPIR-V wird außer in OpenCL auch in der Vulkan-Grafik-API genutzt.

OpenCL 2.2 wurde provisorisch freigegeben im April 2016.[6] Als wichtigste Änderung nennt die Bekanntmachung die Integration der OpenCL C++ Kernel Language in OpenCL, was unter anderem beim Schreiben parallel arbeitender Programme helfen soll. Die im Rahmen der Open Computing Language als statische Untermenge des C++14-Standards definierte Kernel-Sprache enthält Klassen, Templates, Lambda-Ausdrücke und andere Konstrukte.

Architektur[Bearbeiten | Quelltext bearbeiten]

Plattform-Modell

Ein OpenCL-System besteht aus einem Host und einem oder mehreren OpenCL-Geräten. Ein Gerät besteht aus einer oder mehreren unabhängigen Recheneinheiten (englisch „compute unit“, kurz „CU“). Dies sind bei einem Mehrkernprozessor die verfügbaren Kerne, die zusammengefasst die Central Processing Unit ergeben, und für die Grafikkarte die Shader. Die Compute Unit ist in ein oder mehrere ausführende Elemente (englisch „processing element“, kurz „PE“) unterteilt. Der Host verteilt dabei die Kernel (dt. Kerne) zur Laufzeit auf die verfügbaren Geräte.

Es gibt zwei Arten von Kernel:

OpenCL-Kernel
Diese sind in der Programmiersprache OpenCL C geschrieben. OpenCL C basiert auf ISO C99 und wurde um Funktionen und Datentypen zur parallelen Verarbeitung erweitert.
Native Kernel
Diese Kernel sind optional und implementierungsspezifisch.

Die OpenCL-Kernel werden zur Laufzeit vom OpenCL-Compiler übersetzt und danach von einem OpenCL-Gerät ausgeführt. Hierdurch muss zur Entwicklungszeit nicht bekannt sein, auf welcher Hardware das Programm zur Laufzeit ausgeführt wird.

Die Berechnungen werden zur Laufzeit von den sogenannten Work-Items durchgeführt. Diese Work-Items werden zu einem ein-, zwei- oder dreidimensionalen Gitter angeordnet, über das die Work-Items adressiert werden können. Work-Items werden zu Work-Groups gruppiert, in denen eine Synchronisation möglich ist und die auf einen gemeinsamen Speicher zugreifen können. Ein einzelnes Work-Item kann also absolut, durch seine Koordinate und relativ, durch die Koordinate der es enthaltenden Work-Group und die Koordinate innerhalb der Work-Group angesprochen werden.

Speichermodell[Bearbeiten | Quelltext bearbeiten]

Speichermodell

In OpenCL werden fünf Arten von Speicher unterschieden:

  • Hostspeicher (host memory): Beim Hostspeicher handelt es sich um den regulären Arbeitsspeicher des Leitprogramms. Ein OpenCL-Kernel kann darauf nicht direkt zugreifen.
  • globaler Speicher (global memory): Hierbei handelt es sich um den Arbeitsspeicher der OpenCL-Kernel. Jede Instanz eines Kernels hat auf den gesamten Bereich wahlfreien Zugriff.
  • konstanter Speicher (constant memory): Der konstante Speicher unterscheidet sich vom globalen Speicher darin, dass die Kernelinstanzen diesen Speicher ausschließlich lesen, aber nicht verändern können.
  • lokaler Speicher (local memory): Eine Gruppe von Kernelinstanzen hat wahlfreien Zugriff auf einen kleinen Bereich von typischerweise 16 kiB lokalen Speicher. Jede Gruppe hat ihren eigenen Bereich, auf den jeweils nur die Mitglieder zugreifen können.
  • privater Speicher (private memory): Dieser Speicher ist einer Kernelinstanz vorbehalten. Andere Kernelinstanzen und das Leitprogramm können nicht auf den Inhalt dieses Speichers zugreifen.

OpenCL C[Bearbeiten | Quelltext bearbeiten]

Die Sprache OpenCL C basiert auf der Syntax von ISO C99, erweitert um zusätzliche Datentypen und Funktionen zur parallelen Verarbeitung, wurde an anderer Stelle aber auch eingeschränkt (siehe unten). Es handelt sich somit nicht um eine Obermenge von C, dennoch haben beide Sprachen viele Gemeinsamkeiten.

Ergänzend zu den C99-Datentypen unterstützt OpenCL C folgende Datentypen:

  • half: 16 Bit Gleitkommazahlen nach IEEE 754r.
  • Vektordatentypen: Die Datentypen char, uchar, short, ushort, int, uint, long, ulong und float gibt es als Vektoren mit 2, 4, 8 und 16 Elementen. Die Elementanzahl wird hierbei an den Namen der Datentypen angehängt, also z. B.: uchar4, float8 oder int16. Mit OpenCL 1.1 wurden zusätzlich drei-elementige Vektoren eingeführt.
  • image2d_t: Ein zweidimensionales Bild.
  • image3d_t: Ein dreidimensionales Bild.
  • sampler_t: Ein sampler, der definiert, wie ein Bild abgetastet wird.
  • event_t: Ein "event handler".

Folgende Datentypen wurden zudem für spätere Versionen von OpenCL reserviert:

  • booln: Ein Vektor mit Wahrheitswerten.
  • double, doublen: 64-Bit-Gleitkommazahlen und -vektoren. Eine Erweiterung für double existiert bereits, deren Unterstützung ist aber bei OpenCL 1.0 nicht erforderlich.
  • halfn: Ein Vektor mit 16-Bit-Gleitkommazahlen.
  • quad, quadn: 128-Bit-Gleitkommazahlen.
  • complex {half | float | double | quad}: Komplexe Zahlen mit unterschiedlicher Genauigkeit.
  • complex {half | float | double | quad}n: Vektoren komplexer Zahlen mit unterschiedlicher Genauigkeit.
  • imaginary {half | float | double | quad}: Imaginäre Zahlen mit unterschiedlicher Genauigkeit.
  • imaginary {half | float | double | quad}n: Vektoren imaginärer Zahlen mit unterschiedlicher Genauigkeit.
  • {float | double}nxm: nxm Matrizen mit 32 oder 64 Bit Genauigkeit.
  • long double, long doublen: Gleitkommazahlen und -vektoren mit mindestens der Genauigkeit von double und maximal der Genauigkeit von quad.
  • long long, long longn: Vorzeichenbehaftete 128-Bit-Ganzzahlen und -vektoren.
  • unsigned long long, unsigned long longn: Vorzeichenlose 128-Bit-Ganzzahlen und -vektoren.

Arithmetische Operationen (+, -, *, /, %, ++, --), Vergleichsoperationen (>, >=, ==, !=, <= <), Bitoperatoren (&, |, ^, ~) sowie logische Operatoren (&&, ||) sind sowohl für skalare Datentypen definiert als auch für Vektoren. Werden sie auf Vektoren angewendet, so wird die Operation komponentenweise durchgeführt. Hier verhält sich OpenCL analog zu bekannten Shadersprachen wie zum Beispiel GLSL.

Ebenfalls den Shader-Sprachen entlehnt sind eine Reihe mathematischer Funktionen, die ebenfalls komponentenweise durchgeführt werden, beispielsweise Sinus, Cosinus, Wurzel, Minimum, Maximum etc.

Gegenüber C ist OpenCL C unter anderem in folgenden Punkten eingeschränkt:

  • Es gibt keine Funktionszeiger
  • Rekursion ist nicht möglich.
  • Felder ("arrays") dürfen keine variable Länge haben.

Nutzung von OpenGL- und DirectX-Objekten[Bearbeiten | Quelltext bearbeiten]

OpenCL kann direkt auf Objekte von OpenGL oder DirectX (nur unter Windows) zugreifen, etwa auf Texturen. Somit kann OpenCL genutzt werden, um beispielsweise Texturen zu ändern, ohne die Daten extra umkopieren zu müssen.

Erweiterungen[Bearbeiten | Quelltext bearbeiten]

Wie OpenGL kann auch OpenCL durch herstellerspezifische Erweiterungen um zusätzliche Funktionen ergänzt werden. Beispiele für bereits definierte Erweiterungen sind:

  • Gleitkommazahlen mit doppelter Genauigkeit (64-Bit-Gleitkommazahlen, cl_khr_fp64).
  • Vektoren von Gleitkommazahlen mit halber Genauigkeit (16-Bit-Gleitkommazahlen, cl_khr_fp16).
  • Die Art des Rundens bei Gleitkommaoperationen zu definieren (cl_khr_select_fprounding_mode).
  • Schreiben in 3D-Bilder (cl_khr_3d_image_writes).

Implementierungen[Bearbeiten | Quelltext bearbeiten]

OpenCL kann für beliebige Betriebssysteme und Hardwareplattformen – genau wie OpenGL und OpenAL – implementiert werden. So ist in der Spezifikation von CPUs, GPUs, DSPs und dem Cell-Prozessor die Rede. Es existiert zudem eine Spezifikation für eingebettete Systeme mit reduzierten Anforderungen.

Nvidia bietet eine OpenCL-Implementierung für seine GPGPU-Schnittstelle CUDA unter Linux, Windows und macOS an.[7] Die Generation der Tesla-Chips G80 und GT200 (Nvidia Tesla) unterstützt OpenCL 1.1 mit aktuellen Treibern ab Version 341.95.[8] Fermi unterstützt OpenCL 1.1. Maximal wird OpenCL 1.2 unterstützt in den Chips der Kepler- und Maxwell-GPU zum Beispiel mit den Nvidia-Geforce-700-Serie und Nvidia-Geforce-900-Serie, sowie auch in der Quadro-Serie.[9] Auch die neue Pascal-GPU unterstützt nur OpenCL 1.2 in der GeForce-10-Reihe wie auch in der Quadro und Tesla-Serie mit den bisherigen Treibern der 370er-Reihe. Mit der Treiber-Version 378.66 wird erstmals OpenCL 2.0 als Beta in wichtigen Funktionen unterstützt.[10]

Weitere Implementierungen für GPUs kommen von ARM,[11] Intel,[12] S3[13] und VIA.[14]

Intel hat neben seiner kommerziellen SDK (2.0 für GPU und 2.1 für CPU ab Gen7)[15][16][17] für Linux und Android das Open Source Projekt Beignet (von Intel China) aufgesetzt.[18][19] Zuletzt wurde im November 2016 nach der schon längeren Unterstützung von OpenCL 1.2 (ab Ivy Bridge) die Unterstützung von OpenCL 2.0 angekündigt.[20] Aktuell ist Version 1.3.1 mit optionalem OpenCL 2.0 mit Optimierungsbedarf.

Die OpenCL-Implementierung von AMD ermöglicht die Nutzung von GPUs über ihre GPGPU-Schnittstelle ATI-Stream und von CPUs mit SSE3 für Linux und Windows.[21] Ab der R700-Baureihe wird OpenCL 1.0 unterstützt und mit den nachfolgenden R800 und R900 mit der Terascale 2-Architektur OpenCL 1.2. Die aktuellere AMD GCN-Architektur 1.0 ist bisher in den Treibern auf OpenCL 1.2 limitiert. GCN 1.1 und 1.2 unterstützen voll OpenCL 2.0 und damit auch zukünftig mit neueren Treibern die Versionen 2.1 und 2.2 mit vielen 28nm-Prozessoren in der AMD-Radeon-HD-7000-Serie, AMD-Radeon-R200-Serie und AMD-Radeon-R300-Serie. Die neue RX400-Serie im 14nm-Prozess unterstützt als 4. GCN-Generation OpenCL 2.0 voll und damit auch mit späteren Treibern auch 2.1 und 2.2.

IBM bietet eine Implementierung für die Power-Architektur und die Cell Broadband Engine an.[22]

Die OpenCL-Implementierungen von Nvidia, Intel und Apple setzen technisch auf LLVM auf, einer Technologie, die Apple in macOS ab Version 10.5 in seinem JIT-OpenGL-Compiler[23] und auch im IOS für Apple iPhone und Ipad einsetzt.

Mit Clover[24] ist seit Mitte 2011 eine unter der GPL stehende Implementierung für Linux in der Entwicklung, die ebenfalls auf LLVM aufsetzt und eine CPU oder – indirekt über Mesa 3D – eine Grafikkarte nutzen soll. Clover wurde in das Mesa-Projekt integriert und ist Teil von GalliumCompute.[25] Im Gegensatz zum folgenden ARM-Ableger Shamrock werden viele Tests für OpenCL 1.0 bis 1.2 noch nicht bestanden.

Ein Ableger von Clover für Android ARM V7+ ist Shamrock.[26][27] OpenCL 1.2 wird aktuell unterstützt. Der Khronos Test wurde mit der OpenCL 2.0 Samples Suite für die Beispiele bis 1.2 zuletzt bestanden.

Im Rahmen der Initiative OpenCompute hat AMD auch mit anderen das Projekt ROCm gestartet. (A new open source Linux Compute project is Radeon Open Compute ROCm for Radeon Graphics GCN 3 and 4 (Hawaii, Fiji, Polaris) and Intel Gen7.5+ CPU (Haswell+) or new AMD Ryzen with PCIe 3.0. OpenCL 1.2 with a basic part of 2.0 are supported.)[28][29]

Eine Liste zertifizierter Produkte liegt bei Khronos vor.[30]

Anwendungssoftware[Bearbeiten | Quelltext bearbeiten]

Viele rechenintensive Programme nutzen OpenCL zur Beschleunigung:[31]

Grafikprogramme[Bearbeiten | Quelltext bearbeiten]

CAD-Renderer[Bearbeiten | Quelltext bearbeiten]

Audio[Bearbeiten | Quelltext bearbeiten]

  • CUETools: Mit dem CUERipper von den CUETools können die FLAC-Dateien besonders schnell mit der Funktion FLACCL von WAV-Format in FLAC konvertiert werden mit der Nutzung von OpenCL in den modernen Grafikkarten.[53] Dabei sind Beschleunigungen von Faktor 10 bis 100 für diesen Teil des Rip-Prozesses möglich abhängig von schnellen Grafikkarten und SSD-Datenspeichern gegenüber normaler CPU und Festplatte.

Video[Bearbeiten | Quelltext bearbeiten]

Simulation[Bearbeiten | Quelltext bearbeiten]

  • Advanced Simulation Library[66]
  • SecondSpace OpenCL-Programm zur Simulation von Wellen im 2D-Raum.
  • PATRIC Particle-in-cell-Code[67]
  • Bullet: GPU rigid body simulation using OpenCL[68][69]
  • Monte-Carlo Simulation on AM57x[70]
  • Intel Demo Real-Time Shallow Water Simulation[71][72]
  • Intel Code Samples[73]
  • GROMACS molekulare Simulationen ab Version 5.1[74][75]
  • FEM: SIEMENS NX Nastran 9.1+ und Simulia Abaqus 6.11+ [76][77][78][79]

Web[Bearbeiten | Quelltext bearbeiten]

Bibliotheken[Bearbeiten | Quelltext bearbeiten]

  • ArrayFire: is for parallel computing with an easy-to-use API with JIT-Compiler (Open Source)[87]
  • Bolt: STL compatible library for creating accelerated data parallel applications[88]
  • clMAGMA: OpenCL port of the MAGMA project, a linear algebra library similar to LAPACK but for Multicore+GPU Systems[89][90]
  • Netlib BLAS[91] mehr in BLAS
  • PARALUTION[92]
  • random123: Kollektion von Zufallszahlengeneratoren (counter-based random number generators (CBRNGs))[93]
  • VexCL: vector expression template library (MIT-Lizenz)[94]
  • ViennaCL: freie Open-Source Linear Algebra Bibliothek der TU Wien[95]
  • HIP: OpenSource C++ Toolkit für OpenCL und Cuda[96]

Weblinks[Bearbeiten | Quelltext bearbeiten]

  • OpenCL bei der Khronos Group – Offizielle Webseite (englisch)
  • OpenCL bei AMD (englisch)
  • OpenCL bei Intel (englisch)
  • OpenCL bei Nvidia (englisch)
  • OpenCL bei Texas Instruments (englisch)


Tutorials

  • OpenCL auf der Website der Universität Erlangen

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. Khronos OpenCL API Registry Spezifikation und Headerdateien (englisch)
  2. " Heise: OpenCL auf dem Mac" Heise: OpenCL auf dem Mac im Jahr 2014
  3. "Apple-Support: OpenCL auf dem Mac-Rechnern" nur OpenCL 1.0 bis 1.2 auf den macOS-Rechnern, kein OpenCL 2.x (Stand April 2016)
  4. " Khronos OpenCL Overview 2.1" PDF mit Überblick von OpenCL 2.1 in Englisch
  5. https://www.heise.de/developer/meldung/Khronos-aktualisiert-Spezifikationen-fuer-OpenCL-2-1-und-SPIR-V-1-0-2922960.html
  6. https://www.heise.de/developer/meldung/Khronos-veroeffentlicht-vorlaeufige-Spezifikation-fuer-OpenCL-2-2-3177422.html
  7. Nvidia zu OpenCL (28. September 2009)
  8. http://de.download.nvidia.com/Windows/Quadro_Certified/341.95/341.95-win8-win7-winvista-quadro-grid-release-notes.pdf
  9. http://de.download.nvidia.com/Windows/Quadro_Certified/368.39/368.39-win10-quadro-grid-release-notes.pdf
  10. https://streamcomputing.eu/blog/2017-02-22/nvidia-enables-opencl-2-0-beta-support/
  11. ARM Introduces New Graphics Processor with OpenCL Support. 10. Oktober 2010
  12. Intel springt mit „Sandy Bridge“ auf den OpenCL-Zug auf. 13. August 2010
  13. S3 Graphics launched the Chrome 5400E embedded graphics processor. 27. Oktober 2009
  14. VIA Brings Enhanced VN1000 Graphics Processor. 10. Dezember 2009
  15. http://www.phoronix.com/scan.php?page=news_item&px=Intel-OpenCL-SDK-Linux-2016R2
  16. https://software.intel.com/en-us/articles/whats-new-code-builder-2016-r2
  17. https://software.intel.com/en-us/whats-new-code-builder-2016-r3
  18. https://www.freedesktop.org/wiki/Software/Beignet/
  19. http://www.phoronix.com/scan.php?page=news_item&px=Intel-Beignet-Android
  20. http://www.phoronix.com/scan.php?page=news_item&px=Beignet-Birthday-CL2
  21. AMD zu ATI Stream und OpenCL (1. Oktober 2009)
  22. OpenCL Development Kit for Linux on Power (30. Oktober 2009)
  23. Chris Lattner: A cool use of LLVM at Apple: the OpenGL stack. 15. August 2006 (LLVM-Chefentwickler, Apple-Angestellter)
  24. Website des Clover-Projekts, Blog des Clover Entwicklers
  25. https://www.x.org/wiki/Events/XDC2013/XDC2013TomStellardCloverStatus/XDC2013TomStellardCloverStatus.pdf
  26. https://s3.amazonaws.com/connect.linaro.org/lca14/presentations/LCA14-412-%20GPGPU%20on%20ARM%20SoC%20session.pdf
  27. https://git.linaro.org/gpgpu/shamrock.git/about/
  28. https://github.com/RadeonOpenCompute/ROCm
  29. https://www.heise.de/newsticker/meldung/AMD-auf-der-Supercomputing-Konferenz-SC16-OpenCompute-mit-ROCm-aber-kein-Zen-3491050.html
  30. https://www.khronos.org/conformance/adopters/conformant-products#opencl
  31. http://www.amd.com/de-de/solutions/professional/hpc/opencl
  32. https://www.khronos.org/news/permalink/gimp-2.8-rc-1-includes-opencl-acceleration
  33. http://www.tomshardware.de/photoshop-cs6-gimp-aftershot-pro-opencl-opengl,testberichte-241066-5.html
  34. https://www.phoronix.com/scan.php?page=news_item&px=More-GEGL-OpenCL-Support
  35. https://wiki.gimp.org/wiki/Roadmap
  36. http://www.amd.com/en-us/press-releases/Pages/amd-and-adobe-creative-suite-6-2012apr23.aspx
  37. http://www.tomshardware.de/photoshop-cs6-gimp-aftershot-pro-opencl-opengl,testberichte-241066-6.html
  38. ImageMagick: Architecture. Abgerufen am 7. August 2015.
  39. http://www.imagemagick.org/script/opencl.php
  40. http://www.agisoft.com/downloads/system-requirements/
  41. http://cgpress.org/archives/cgreviews/photoscan-review/2
  42. http://www.darktable.org/2012/03/darktable-and-opencl/
  43. https://www.darktable.org/usermanual/ch10s02s07.html.php
  44. http://www.phoronix.com/scan.php?page=article&item=darktable-opencl-gpu&num=1
  45. http://www.phoronix.com/scan.php?page=article&item=darktable-22-amdnv&num=1
  46. http://www.blurate.com/
  47. http://www.halcon.com/
  48. http://www.tomshardware.de/photoshop-cs6-gimp-aftershot-pro-opencl-opengl,testberichte-241066-12.html
  49. http://semiaccurate.com/2012/06/11/amd-and-autodesk-speed-up-maya-with-opencl/
  50. http://streamcomputing.eu/blog/2013-12-28/professional-consumer-media-software-opencl/
  51. http://developer.amd.com/community/blog/2015/07/10/collaboration-and-open-source-at-amd-blender-cycles/
  52. http://www.luxrender.net/wiki/LuxMark
  53. Vergleich Konvertierung mit CPU Core i7 und verschiedenen GPU mit FLACCL
  54. https://handbrake.fr/news.php?article=27
  55. Heise: FFmpeg mit OpenCL
  56. http://support.apple.com/en-us/HT202239
  57. http://streamcomputing.eu/blog/2013-12-28/professional-consumer-media-software-opencl/
  58. http://streamcomputing.eu/blog/2013-12-28/professional-consumer-media-software-opencl/
  59. http://streamcomputing.eu/blog/2013-12-28/professional-consumer-media-software-opencl/
  60. http://www.sonycreativesoftware.com/de/
  61. http://www.vegascreativesoftware.com/de/
  62. https://s-a-m.com/products/alchemist-xf-%E2%80%93-highest-quality-file-based-format-and-framerate-conversion-software/c-24/p-228
  63. http://www.tomshardware.com/reviews/opencl-simhd-vreveal,3122-11.html
  64. http://www.tomshardware.de/opencl-simhd-vreveal,testberichte-240965.html
  65. http://www.tomshardware.de/opencl-simhd-vreveal,testberichte-240965-3.html
  66. http://asl.org.il/
  67. http://web-docs.gsi.de/~sappel/diplomarbeit_jutta_fitzek.pdf
  68. http://www.multithreadingandvfx.org/course_notes/GPU_rigidbody_using_OpenCL.pdf
  69. http://bulletphysics.org/wordpress/
  70. http://www.ti.com/lit/ug/tiduar9/tiduar9.pdf
  71. https://www.khronos.org/assets/uploads/developers/library/2011_GDC_OpenCL/Intel-OpenCL-Water-Sim_GDC-Mar11.pdf
  72. https://software.intel.com/sites/default/files/managed/2c/79/intel_ocl_shallow_water_win.zip
  73. https://software.intel.com/en-us/intel-opencl-support/code-samples
  74. http://manual.gromacs.org/documentation/5.1/install-guide/index.html#opencl-gpu-acceleration
  75. https://github.com/StreamComputing/gromacs
  76. http://www.cadplace.de/Hardware/Hardware-allgemein/OpenCL-bietet-Simulationsperformance-fuer-Nastran-und-Abaqus
  77. https://www.amd.com/Documents/abaqus-solution-sheet.pdf
  78. https://www.amd.com/Documents/nastran-solution-sheet.pdf
  79. https://community.plm.automation.siemens.com/siemensplm/attachments/siemensplm/Femap-tkb/105/1/FS16_Saratech_04_PerformanceTuning.pdf
  80. http://techcrunch.com/2014/03/19/webcl-will-soon-let-web-developers-harness-the-power-of-multi-core-gpus-and-cpus-from-the-browser/
  81. http://techcrunch.com/2014/03/19/webcl-will-soon-let-web-developers-harness-the-power-of-multi-core-gpus-and-cpus-from-the-browser/
  82. http://developer.amd.com/tools-and-sdks/opencl-zone/acl-amd-compute-libraries/
  83. https://github.com/clMathLibraries/clBLAS
  84. https://github.com/clMathLibraries/clSPARSE
  85. https://github.com/clMathLibraries/clFFT
  86. https://github.com/clMathLibraries/clRNG
  87. http://arrayfire.com/
  88. http://developer.amd.com/tools-and-sdks/opencl-zone/bolt-c-template-library/
  89. http://icl.cs.utk.edu/magma/software/view.html?id=207
  90. http://www.icl.utk.edu/sites/icl/files/print/2015/magma-sc15.pdf
  91. http://www.netlib.org/blas/index.html
  92. http://www.paralution.com/
  93. http://www.thesalmons.org/john/random123/releases/latest/docs/index.html
  94. https://github.com/ddemidov/vexcl
  95. http://viennacl.sourceforge.net/
  96. https://github.com/GPUOpen-ProfessionalCompute-Tools/HIP