Rectifier (neuronale Netzwerke)

Im Kontext künstlicher neuronaler Netze ist ein Rectifier (auf deutsch: Gleichrichter) eine Aktivierungsfunktion eines künstlichen Neurons, die als Positivteil seines Arguments definiert ist:

${\displaystyle f(x)=\max(0,x)}$

Rectifier Aktivierungsfunktion

mit ${\displaystyle x}$ als Eingangswert des künstlichen Neurons.

Diese Aktivierungsfunktion wurde im Jahr 2000 von Hahnloser et al. mit starken biologischen Motivationen und mathematischen Begründungen erstmals bei dynamischen neuronalen Netzwerken eingeführt.[1] Rektifizierende Aktivierungsfunktionen wurden in der von Behnke vorgeschlagenen Neuronalen Abstraktionspyramide[2] genutzt, um spezifische Erregung und unspezifische Hemmung zu trennen. Diese hierarchische rekurrente konvolutionale Architektur wurde überwacht darauf trainiert, unterschiedliche Computer-Vision-Aufgaben iterativ zu lösen. Es wurde erstmals im Jahr 2011 nachgewiesen, dass ein Training tiefer Netzwerke mit rektifizierenden Aktivierungsfunktionen erfolgreicher ist als mit den vor dem Jahr 2011 weit verbreiteten Aktivierungsfunktionen wie z. B. der Sigmoidfunktion.[3] Rectifier sind aktuell (Stand 2019) die beliebtesten Aktivierungsfunktionen für tiefe neuronale Netze.[4] Eine Einheit, die den Rectifier verwendet, wird auch als rectified linear unit (ReLU) bezeichnet. Solche ReLUs finden Anwendung im Deep Learning, etwa im maschinellen Sehen[5] und der Spracherkennung.[6]