Transfer Learning

Transfer Learning ist eine Technik im maschinellen Lernen, bei der Modelle, die auf einer bestimmten Aufgabe trainiert wurden, auf eine neue, verwandte Aufgabe (eventuell mit kleinen Anpassungen) angewandt werden[1]. Dieser Ansatz ermöglicht es, das Wissen, das ein Modell auf einer Aufgabe erworben hat, zu nutzen, um die Leistung auf einer anderen Aufgabe zu verbessern.

Illustration des Prinzips von Transfer Learning.
Transfer Learning und Domain Adaptation

Da beim Transfer Learning mehrere Ziele betrachtet werden, ist es mit der Mehrzieloptimierung verwandt.

Transfer Learning kann als Regularisierungstechnik betrachtet werden und verbessert die Generalisierungsfähigkeiten von Modellen und ermöglicht eine effizientere Nutzung von Ressourcen. Transfer Learning hat in verschiedenen Bereichen wie Computer Vision, natürlicher Sprachverarbeitung und anderen Anwendungen des maschinellen Lernens erhebliche Fortschritte ermöglicht.

Während Transfer Learning den (sequentiellen) Transfer von Wissen von einer Aufgabe (Task) auf eine anderen betrachtet, werden beim Multi-Task Learning simultan mehrere Aufgaben trainiert[2].

Einzelnachweise
  1. Yang, Q., Zhang, Y., Dai, W., Pan, S. J. (2020). Transfer Learning. USA: Cambridge University Press.
  2. Yu, Tianhe, et al. "Gradient surgery for multi-task learning." Advances in Neural Information Processing Systems 33 (2020): 5824-5836. https://arxiv.org/pdf/2001.06782.pdf
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.