所報 105

29/46

－　　－27Nonlinear Activation Functions in CNN Based on Fluid Dynamics and Its ApplicationsKazuhiko KAKUDA, Tomoyuki ENOMOTO and Shinichiro MIURARecently, some neural networks are being used in the deep learning framework, such as convolutional neural networks (CNN) to recognize object images, recurrent neural networks (RNN) to process time-series data, and so forth. The appropriate choice of activation functions for neural networks is a key factor in deep learning. Various significant activation functions have been proposed for CNN/RNN frameworks. The standard activation function is the rectified linear unit (ReLU) first introduced by Hahnloser et al. in the theory of symmetric networks with rectification. Nair and Hinton have successfully applied the ReLU activation function based on restricted Boltzmann machines to deep neural networks. The ReLU activation function has been widely used by many researchers for visual recognition tasks, and leads to better recognition performance than conventional sigmoid/tanh units involving the vanishing gradient problem with parameter-free and zero-gradients in the negative part. This paper proposes activation functions based on the concept of the fluid dynamics framework. We present two types of activation function by applying the so-called parametric softsign to the negative part of ReLU. By using the well-known TensorFlow as the deep learning framework, we utilize the CNN architecture that consists of three convolutional layers with the max-pooling and one fully-connected softmax layer. The workability and validity of the present approach are demonstrated on three benchmark datasets, namely, MNIST, CIFAR-10 and CIFAR-100, through comparison with other numerical performances.Keywords: deep learning, CNN, activation function, fluid dynamics, MNIST, CIFAR-10, CIFAR-100.流体力学に基づくCNNの非線形活性化関数及びその適用　最近では，深層学習の枠組みの中に，画像認識に有効なCNN（畳み込みニューラルネットワーク），時系列データ処理を得意とするRNN（回帰結合ニューラルネットワーク）などがある．特に，ニューラルネットワークの活性化関数の適切な選択は，深層学習において重要な要因でもある．これまでに，CNN/RNNの枠組みでは，様々な活性化関数が提案されてきた．標準的な活性化関数は，Hahnloserらが正規化対称ネットワークの理論で最初に導入したReLU（正規化線形関数）である．NairとHintonは，制限ボルツマンマシンに基づくReLU活性化関数を深層ニューラルネットワークに適用することに成功し，その後，多くの研究者によって画像認識問題などに広く利用されている．ReLU活性化関数は，パラメータフリーで負の部分にゼロ勾配を持つ一方で，勾配消失問題を含む従来のシグモイドやtanh関数よりも優れた認識性能を示している．本論文では，流体力学的枠組みの概念に基づいて活性化関数を提案することを目的とし，ReLUの負領域に，いわゆるパラメトリックソフトサイン関数を適用した2種類の活性化関数を提示している．そのCNN構造として，深層学習を実装する際によく知られているTensorFlowを用い，最大プーリングを持つ3つの畳み込み層と1つの全結合層（ソフトマックス関数）から構成されている．本手法の適用性及び妥当性は，MNIST，CIFAR-10，CIFAR-100の3つのベンチマークデータセットを用い，他解法による数値結果との比較を通して実証している．キーワード： 深層学習，畳み込みニューラルネットワーク，活性化関数，流体力学，MNIST，CIFAR-10，CIFAR-100.Journal（掲載誌）CMES: Computer Modeling in Engineering & Sciences, vol.118, no.1, pp.1-14, 2019.1.Published Paper