Математическое и программное обеспечение систем
в промышленной и социальной сферах

ISSN (Print): 2306-2053

Входит в eLIBRARY.RU

Импакт-фактор РИНЦ: 0,784

Orcid

Багаев И.И. Анализ понятий нейронная сеть и сверточная нейронная сеть, обучение сверточной нейросети при помощи модуля TensorFlow

скачать

Аннотация

В статье проведен анализ перехода внимания научного сообщества от основного средства для распознавания образов при помощи методов машинного обучения без применения нейронных сетей к сверточным нейронным сетям как к наилучшему способу для классификации объектов на изображениях. Рассмотрены подробно понятия нейронной сети и сверточной нейронной сети, приведены примеры однослойной, двухслойной нейронных сетей, показан принцип, при помощи которого можно создавать нейронную сеть любой глубины, проведен анализ отличительных особенностей сверточных нейросетей, разобраны типы слоев, которые может иметь сверточная нейросеть. Проанализирован процесс обучения нейронной сети на наборе данных Fashion MNIST при использовании программного пакета TensorFlow от Google, выбрана структура собственной сверточной нейронной сети, нейросеть обучена для распознавания различных видов одежды. Результат работы модели на тестовом наборе данных Fashion MNIST составил 90%. Анализ пакета TensorFlow показал простоту API высокого уровня, предоставляемое модулем, позволяющее строить, конфигурировать и обучать нейросети любой сложности, включая сверточные нейронные сети, что делает TensorFlow удобным для интеграции и использования в собственных разработках.

Ключевые слова

нейронная сеть, сверточная нейронная сеть, GPU, CPU, нейрон, функция активации, Tensor- Flow, функция потерь, метрика качества.

Багаев Иван Игоревич – ведущий инженер-программист АО «НПО «Андроидная техника». E-mail: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра..

1. He, K. Deep Residual Learning for Image Recognition / K. He, X. Zhang, S. Ren, J. Sun // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 770-778.

2. LeCun, Y. Backpropagation Applied to Handwritten Zip Code Recognition / Y. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, Hubbard W., Jackel L.D. // Neural Computation. – 1989. – №1(4). – P. 541-551.

3. KS, O. GPU Implementation of Neural Networks / O. KS, J. K // Pattern Recognition. – 2004. – №37(6). – P. 1311- 1314.

4. Ghorpade, J. GPGPU Processing in Cuda Architecture / J. Ghorpade, J. Parande, M. Kulkarni, A. Bawaskar // Advanced Computing an International Journal. – 2012. – V. 3. – №1. – P. 105-120.

5. Krizhevsky, A. ImageNet Classification with Deep Convolutional Neural Networks / A. Krizhevsky, I. Sutskever, G.E. Hinton // Communications of the ACM. – 2012. – №60(6). – P. 84-90.

6. Колмогоров, А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных / А.Н. Колмогоров // Известия АН СССР. – 1956. – №108. – С. 179-182.

7. Галушкин А.И. Нейронные сети. Основы теории. М.: Горячая Линия - Телеком, 2010. – 496 с.

8. Doerfler, M. Inside the Spectrogram Convolutional Neural Networks in Audio Processing / M. Doerfler, T. Grill // International Conference on Sampling Theory and Applications (SampTA). 2017. – P. 152-155.

9. Wyse L. Audio Spectrogram Representations for Processing with Convolutional Neural Networks / L. Wyse // Pro- ceedings of the First International Workshop on Deep Learning and Music joint with IJCNN. – 2017. – №1(1). – P. 37- 41.

10. Masakazu, M. Subject Independent Facial Expression Recognition with Robust Face Detection Using A Convolu- tional Neural Network / M. Masakazu, K. Mori, Y. Mitari, Y. Kaneda // Neural Networks. – 2003. – V. 16. – №5. P. 555-559.

11. Hinton, G.E. Improving Neural Networks by Preventing CoAdaptation of Feature Detectors / G.E. Hinton, N. Sri- vastava, A. Krizhevsky, I. Sutskever, R. R. Salakhutdinov // Computer Vision and Pattern Recognition. – 2012. P. 1-15.

12. Versloot S. What Are Max Pooling, Average Pooling, Global Max Pooling and Global Average Pooling? [Элек- тронный ресурс]. – Режим доступа: https://www.machinecurve.com/index.php/2020/01/30/what-are-max-pooling- average-pooling-global-max-pooling-and-global-average-pooling. Дата доступа: 18.12.2020.

13. Rosenblatt, F Frank Rosenblatt: Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, 1962. – 616 с.

14. Verma S. Understanding Different Loss Functions for Neural Networks [Электронный ресурс]. – Режим доступа: https://towardsdatascience.com/understanding-different-loss-functions-for-neural-networks-dd1ed0274718. Дата до- ступа: 18.12.2020.

15. Kingma, D.P. Adam: A Method for Stochastic Optimization / D.P. Kingma, J. Ba // 3rd International Conference for Learning Representations. – 2014. – P. 1-15.