Definition:
Deep Neural Networks (DNNs) sind eine Klasse von künstlichen neuronalen Netzwerken, die aus mehreren Schichten bestehen. Sie sind darauf ausgelegt, komplexe Muster und Beziehungen in großen Datenmengen zu lernen. DNNs werden häufig in Anwendungen wie Bild- und Spracherkennung, maschinellem Lernen und Natural Language Processing eingesetzt.
Funktionsweise:
- Architektur: DNNs bestehen aus Input-, Hidden- und Output-Schichten. Die Hidden-Schichten ermöglichen es dem Netzwerk, nicht-lineare Beziehungen zu lernen, indem sie die Daten durch verschiedene Transformationen verarbeiten (LeCun, Bengio, & Haffner, 1998).
- Training: DNNs werden durch Backpropagation trainiert, einem Verfahren, bei dem der Fehler zwischen den vorhergesagten und tatsächlichen Ausgaben minimiert wird. Dies geschieht durch Anpassung der Gewichte in den Verbindungen zwischen den Neuronen (Rumelhart, Hinton, & Williams, 1986).
- Anwendungen: DNNs haben bedeutende Fortschritte in verschiedenen Bereichen ermöglicht, darunter:
- Bildklassifikation (Krizhevsky, Sutskever, & Hinton, 2012)
- Spracherkennung (Hinton et al., 2012)
- Generative Modelle (Goodfellow et al., 2014)
Literatur
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., … & Bengio, Y. (2014). Generative adversarial nets. Advances in Neural Information Processing Systems, 27, 2672-2680. Retrieved from https://arxiv.org/abs/1406.2661
Hinton, G. E., Deng, L., Yu, D., Dahl, G. E., & Mohamed, A. R. (2012). Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups. IEEE Signal Processing Magazine, 29(6), 82-97. https://doi.org/10.1109/MSP.2012.2205597
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems, 25, 1097-1105. Retrieved from https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks
LeCun, Y., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324. https://doi.org/10.1109/5.726791
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533-536. https://doi.org/10.1038/323533a0