Benutzer:MovGP0/Neuronale Netze/Lernmethoden

MovGP0

Über mich

Hilfen

Artikel

Weblinks

Literatur

Zitate

Notizen

Programmierung

MSCert

Physik

Programmierung Programmierung Administration • Links • Vorgehensmodelle • NuGet • Transformations • MSBuild • Raspberry • Cheatsheets • Git • Mathematica C♯ Program Flow Multithreading and asynchronous processing • Multithread management • Program flow • Events and callbacks • Exception handling Types Type creation • Type consumentation • Encapsulation • Class hierarchies • Reflection • Object life cycle • String manipulation Debugging and Security Input validation • Encryption • Assembly Management • Debugging • Diagnostics Data access I/O operations • Data consumtion • LINQ • Data serialization • Collections Theory Functional • Lambda Calculus • Category Theory F♯ Basics Data Structures • Classes • Generics • Units of Measure • Exception Handling • Pipes • Recursion • Pattern Matching • Lazy Evaluation • Asynchronous and Parallel Programming • Number Representations • Arithmetic Operators • Conversion Functions • Queries Quantitative Finance Math.NET • Statistics • Root Finding Algorithmns • Data Visualisation • Option Pricing • Volatility • Order Types and Market Data • Volatility Trading Python Classes • Loops • Anonymous Types • Lambda Expressions • Queries (LINQ) • Iterators (yield) PHP   T-SQL / SQL Server T-SQL Fundamantals Select • Programming • Pitfalls • Query from Multiple Tables • Groups and Summaries • Advanced Select • Aggregation and Windowing • Insert, Update, Delete • Strings • Date and Time • Numbers • Transactions, Locking, Blocking, Deadlock • Tables • Views • Large Tables and Databases • Indexes • Stored Procedures • User-Defined Functions and Types • Triggers • Error Handling • Query Performance and Tuning • Hints • Index Tuning and Statistics • XML • Files, Filegroups, Integrity • Backup • Recovery • Principals and Users • Securables, Permissions, Auditing • Objects and Dependencies SQL Server Performance Tuning Memory Performance Analysis • Disk Performance Analysis • CPU Performance Analysis • Baseline Creation • Query Performance Metrics • Query Performance Analysis • Index Architecture and Behavior • Index Analysis • Database Engine Tuning Advisor • Key Lookups • Statistics, Data Distributuon, and Cardinality • Index Fragmentation • Execution Plan Generation • Execution Plan Cache Behavior • Parameter Sniffing • Query Recompilation • Query Design Analysis • Reduce Query Resource Use • Blocking and Blocked Processes • Causes and Solutions for Deadlocks • Row-By-Row Processing • Memory-Optimized OLTP Tables and Procedures • Database Performance Testing • Database Workload Optimization • SQL Server Optimization Checklist Service Broker Message • Contract • Queue • Service • .NET Integration • Route • Security   Datatypes • Unit Testing • Dependency Injection • Partitioning • .NET General LINQ • Reactive Extensions • Entity Framework • OData • Windows Workflow Foundation • Threading • Logging • Unit Testing • Dependency Injection • Documentation • WinForms Performance Locking • Coding Style and Class Design • .NET Framework • Performance Counters • Event Tracing (ETW) • Windows Phone • Code Safety • Team ASP.NET Common OWIN • Razor • WebForms • MVC • WebAPI Core Configuration • Data Protection API • Dependency Injection • Routing Attack Vectors HTTPS • HSTS • HPKP • CSP • CSRF • Anti-XSS • CORS • Open Redirection • Click-Jacking Libraries OpenID • Azure AD Messaging WCF Basics Services • Addresses • Contracts • Hosting • Bindings • Endpoints • Metadata Exchange • Behaviour Configuration • Client-Side Programming • Architecture • Channels • Transport-Level Sessions • Reliability Advanced WCF Service Contract • Data Contract • Instance Management • Operations • Faults • Transactions • Concurrency Management • Queued Services • Security • Service Bus • Basic HTTP Auth Andere .NET Remoting • Message Queuing (MSMQ) • Protocol Buffers • ActiveMQ • Disruptor.NET • TIBCO Rendezvous • CQRS • Rebus User Interface WPF Data Binding • Resources • Transforms and Effects • 2D Drawing • 3D Drawing • Routed Events • Routed Commands • ICommandSource • Triggers • Behaviors • Visual State Manager • Theming • Layout • Templates • Popups • Dependency Object • Fonts • Composition API • MVVM Frameworks • Navigation Windows Forms INotifyPropertyChanged • DataBinding • Validation • PRISM DevExpress DataAnnotation • TaskbarButtonService, ApplicationJumpListService, NotificationService • Asynchronous Commands Xamarin DependencyService • Custom Renderer • Shaped Buttons Parallel Programming Common Processor • Locking Data Parallelism Parallel Loops • Parallel Aggregation Task Parallelism Parallel Tasks • Futures • Dynamic Task Parallelism • Pipelines Akka.NET Logging • Persistence • Dependency Injection • Cluster • Remote ECMAScript Languages ECMAScript • TypeScript • Elm • LESS Infrastruktur Node • Yeoman • Bower • Grunt • Jasmine • Karma • Protractor • Hapi • Redux AngularJS Validation • Testing Angular Modules • Animations • Attributes • Styles • Deployment • Dependency Injection • HTTP Client • Lifecycle • Pipes • Routing and Navigation • Security • Structural Directives (ngIf, ngFor, ngSwitch) • Testing • Forms Validation Other Knockout • RequireJS • PhoneGap/Cordova • React • fantasy-land • typed-contract • parsimmon SharePoint Notes Fields • Lists • Content Types • Workflow • Business Connectivity Services • Search • Managed Metadata • AngularJS • Publishing/Approval • LINQ to SharePoint Nintex Custom Activities 70-488 • 70-489 Design and Implement Search • Implement Business Connectivity Services (BCS) • Implement Implement User Profiles and Customize Social Workload • Implement ECM and WCM • Design for Performance and Troubleshooting • Implement Managed Metadata Service (MMS) Microsoft CRM Reporting and Dashboards • SharePoint Integration • Authentication • Entity Handling • Workflows • Queries Security Forms Authentication • Membership and Role Provider • Zertifikate • OAuth • OpenID • Windows Identity Foundation Dateiformate CSV • Excel • Word • PDF • Email Azure Notes Azure Pack • Single Sign-on • Data Storage • Logging • Tracing • Service Bus • HDInsight • Orleans Infrastructure Services Virtual Machines • Virtual Machine Networking • Virtual Machine Storage • Virtual Networks 70-533  • 70-534 Active Directory • Static IP Adresses • ACLs • Network Security Groups • Availability Sets • VPN • Load Balancing • CDN • Media Services • Multi-Factor Auth. Muster Architektur Entwurfsmuster • Architekturmuster • Patterns of Enterprise Application Architecture Daten Analysemuster • Datenbank-Muster Verteilte Systeme Enterprise Integration Patterns • SOA • Big Data • Cloud • Stability & Capacity Management Organisationsmuster • Refactoring • Lizenzmuster Antimuster Antimuster • Dark Patterns • SQL Antipatterns Powershell Grundlagen Subversion (SVN) • CmdletBinding • Parameter (Sets) • Return Type • Module • Exception Handling DSC Common Information Model (CIM) • Resources • Configuration and Parameters • Local Configuration Manager (LCM) • Credentials • SMB Pull Server • HTTP Pull Server Android ROM Flashen • Unit Testing • Assistant Machine Learning Neuronale Netze Propagierungsfunktionen • Aktivitätsfunktionen • Lernmethoden • Pattern Associator • Rekurrente Netze • Kompetitive Netze • Kohonennetze • Constrain Statisfaction Netze Tensorflow Linear Regression • Logistic Regression • Softmax Regression • Hidden Markov • K-Means Clustering • Self-Organizing Map • Autoencoder • Q-policy neural network • Perceptron • Convolutional Neuronal Network • Recurrent Neuronal Network • Seq2Seq • Ranking Core Server Hyper-V • Active Directory User Groups • Active Directory Domain Services • Active Directory Federation Services • DHCP • IIS • DNS • RDP • WSUS • User Permissions • IP • SMB • DHCP • IPAM • Sonstige Bot Framework Rich Messages • Lernmethoden Training Lernmethode Supervised $o_{i}$ wird vorgegeben und Gewichte angepasst Reinforcement Bewertung ob Ausgabe richtig oder falsch; ggf. Fehlerwert Unsupervised Ausgabe wird nicht vorgegeben Direct Design Gewichte werden manuell vorgegeben Lernzeitpunkt Incremental (online, adaptive) Netz wird nach jedem Input angepasst Batch (block, cumulated modification, epochal, offline) Netz wird erst nach der Präsentation aller Eingaben angepasst Lernprozesse Veränderung der Gewichte Erstellen/Beseitigen einer Verbindung Erstellen/Beseitigen eines Neurons Änderung der Propagierungsfunktion Änderung der Aktivierungsfunktion Modifikation des Schwellwerts eines Neurons Siehe auch: Cascade Correlation Test Ausgaben zu Lerndatensatz Ausgaben zu Testdatensatz (ca. 10% von Lerndaten) Übersicht über Lernmethoden Hebb-Regel Delta-Regel Backpropagation Competive Learning Lernverfahren Gleichzeitige Aktivierung • Vergleich ist/soll • Gradientenverfahren • Backward-Pass • Gradientenverfahren the winner takes it all Lernart supervised, unsupervised, oder reinforcement learning supervised supervised unsupervised Verwendung Pattern Associator Auto Associator • einfache Recurrent Networks • Jordan Netze • kompetive Netze • konzeptuell in Kohonnetzen (Auto-Klassifizierer) Vorteile • Einfach • biologisch plausibel • Einfach • einfache Implementierung • mit Hidden-Units einsetzbar • höhere Mächtigkeit als Delta-Regel • Unsupervised learnig • biologisch plausibel Nachteile • überlaufen von Werten • überlaufen von Gewichten • geringe Mächtigkeit • nicht mit Hidden-Units einsetzbar • fragwürdige biologische Plausibilität • geringe Mächtigkeit • fragwürdige biologische Plausibilität • lokale Minima • einzelne Units können alle Inputmuster übernehmen ⇒ keine Kategorisierung Hebbsche Lernregel „what fires together wires together“ $\Delta w_{ij}=\epsilon \,a_{i}\,a_{j}$ Delta-Regel (auch: Least Mean Square Regel, Widrow-Hoff-Regel) Stellt sicher, dass die Lernveränderung proportional zum tatsächlichen Fehler ist. $\delta _{i}=a_{i,\,{\text{soll}}}-a_{i}$ $\Delta w_{ij}=\epsilon \,\delta _{i}\,a_{j}$ nicht für Netze mit Hidden Layer geeignet, da es sich um einen supervised Lernalgorithmus handelt Alternative: Backpropagation Gradientenverfahren Wahl eines zufälligen Startpunktes Festsetzung eines Lernparameters Festlegung des Abbruchkriteriums Fixierung der maximalen Differenzveränderung Fixierung der maximalen Anzahl an Iterationen Schleife Berechnung des Gradienten Veränderung der Gewichte Backpropagation Forward-Propagation mit Delta-Regel Fehlerbestimmung Fehler wird mit Delta-Regel zurückgegeben $\Delta w_{ij}=\epsilon \cdot \delta _{i}\cdot a_{j}$ Output Units $\delta _{i}=f'(x_{i})\cdot \left(a_{i,soll}-a_{i}\right)$ Input Units und Hidden Units $\delta _{i}=f'(x_{i})\cdot \sum _{l}\left(\delta _{l}\cdot w_{li}\right)$ Hierbei ist $f'$ die Ableitung der Aktivierungsfunktion $l$ der Layer nach dem Layer $i$ Competive Learning im Gegensatz zu Backpropagation unsupervised und biologisch plausibel Problem: einzelne Inputs könnten alle Patterns repräsentieren; die maximale Stärke der Units muss begrenzt werden. Verfahren Erregung/Output berechnen Wettbewerb Entweder: Unit mit dem stärksten Input gewinnt Oder: Unit mit stärkstem Input hemmt benachbarte Units Gewichstadjustierung die Gewichte der Gewinner werden so modifiziert, dass sie eher dem Input gleichen: $\Delta w_{ij}=\epsilon \cdot \left(a_{j}-w_{ij}\right)$