深層学習で用いられる言葉の用語集

英語表現・IT用語(english expression, IT terminology)
  • CPU (Central Processing Unit):計算処理を行う(一度に一処理が基本)
  • eager Execution:余分なグラフ構築ステップなしに操作を直ちに評価する命令型プログラミング環境
  • element-wise:要素ごと(同じ位置にある数字同士で計算が行われる状態)
  • entrywise:成分ごと
  • generator:ジェネレーター(1要素を取り出そうとする度に処理を行い要素を生成するイテレータ)
  • GPU (Graphics Processing Unit):画像処理を行う(行列計算が得意で一度に同時処理が可能)
  • iterator:イテレーター(要素を反復して取り出すことのできるインタフェース)
  • Norm(ノルム):平面あるいは空間における幾何学的ベクトルの “長さ” の概念の一般化
  • ops (operations):操作・運用
  • pairwise:一対ごとに
  • pointwise:点ごと
  • slice(スライス):シーケンスの要素について部分的に簡単にアクセスできる構文
  • TPU (Tensor Processing Unit):TensorFlowの計算処理を高速に行うことに特化した処理装置
  • tuple(タプル):複数の構成要素からなる組を総称する一般概念
    環境(environments)
  • Anaconda:アナコンダ(仮想Python環境構築パッケージ)
  • CUDA (Compute Unified Device Architecture):GPUコンピューティング向け統合開発環境
  • Docker:ドッカー(仮想Python環境構築パッケージ)
  • Google Cloud ML Engine:クラウドML教化環境
  • Miniconda:ミニコンダ(アナコンダのポータブル版)
  • NVIDIA GPU Cloud:ローカルにインストールしたDocker環境とSyncして最新状態を保つML教化環境
  • TFRC (TensorFlow Research Cloud):1000以上のTPUを使えるTensorFlowクラウド学習サービス
  • virtualenv:バーチャルエンブ(仮想Python環境構築パッケージ)
    言語(language)・ライブラリ(library)・ラッパー(wrapper)
  • Keras:ケラス(ラッパー)
  • Python:パイソン(言語)
  • PyTorch:パイトーチ(NumPyではなく独自モジュールを用い評価を上げているMLライブラリ)
  • TensorFlow:テンサーフロー(深層学習で用いる処理を簡単に行えるようにしたライブラリ)
  • TensorBoard:テンサーボード(TFで行った学習などの状況を可視化するためのライブラリ)
  • TensorFlow Serving:テンサーフロー・サービング
  • TensorFlow ModelServer:テンサーフロー・モデルサーバー
  • TensorFlow.js (= DeepLearn.js):JavaScriptで動かせるTensorFlowライブラリ
    パフォーマンス・チューニング(TensorFlow performance tuning)
  • ahead-of-time (AOT) compiler:事前コンパイラ
  • just-in-time (JIT) compiler:実行時コンパイラ
  • XLA (Accelerated Linear Algebra):TF計算を最適化する線形代数のドメイン固有のコンパイラ
    機械学習・深層学習用語(general terminology)
  • attribute:特徴量
  • AUC (Area Under the Curve):曲線下面積
  • AUROC (Area Under the Receiver Operating Characteristic curve):受信者動作特性曲線
  • Bayesian Statistics:ベイズ統計学
  • checkpoints:チェックポイント
  • Lightning Memory-Mapped Database (LMDB):ライトニングメモリーマップデータベース
  • MNIST:Mixed National Institute of Standards and Technology database の略
  • Neuron:ニューロン
  • Node:ノード
  • Ontology:オントロジー(機械が理解できるための概念化の明示的な仕様)
  • Riemann integral:リーマン積分
  • Riemann sum:リーマン和
  • ROC (Receiver Operating Characteristic):受信者操作特性
  • Synapse:シナプス
  • Weight:重み
    多変量解析(multivariate statistics)と分類(classification)
  • classifier:分類器
  • clustering:クラスター分析
  • Estimator:推定器
  • Evaluator:評価器
  • factor analysis:因子分析
  • false negatives:偽陰性
  • false positive:偽陽性
  • FFT (Fast Fourier Transforms):フーリエ高速変換
  • IFFT(Inverse fast Fourier transform):逆フーリエ高速変換
  • K-Means:k平均法
  • linear regression:線形回帰
  • Multiple Regression analysis:重回帰分析
  • Multiple Regression equation:重回帰式
  • Principal Component Analysis (PCA):主成分分析
  • Regression analysis:回帰分析
  • regressor:回帰因子/独立変数
  • regressand:従属変数
  • Ward’s method:ウォード法
    画像操作(image manipulation)
  • Area Interpolation:領域補間(エリア補間)
  • Bicubic Interpolation:双三次補間(バイキュービック補間)
  • Bilinear Interpolation:双一次補間(バイリニア補間)
  • brightness:明るさ
  • contrast:コントラスト
  • dilation:膨張処理(境界領域を拡張する効果がある)
  • erosion:収縮処理(境界領域を侵食する効果がある)
  • flip:反転
  • Gamma Correction:ガンマ補正
  • hue:色合い
  • Interpolation:補間
  • Nearest neighbor Interpolation:最近傍補間(ニアレストネイバー補間)
  • saturation:彩度
  • total variation:画像の全ての点において近傍との輝度の変化分の絶対値をとりそれを集めたもの
    音声操作(audio manipulation)
  • MFCC(Mel-Frequency Cepstrum Coefficients):メル周波数ケプストラム係数
    物体検出(object detection)
  • Intersection-over-Union (IoU/IU):IoU(物体検出・画像認識に用いられる報酬関数)
  • mean Intersection-over-Union (mIoU/mIU):平均化したIoU
  • precision:適合率
  • recall:再現率
    ニューラル・ネットワーク・モデル(neural network model)
  • Bayesian Neural Network:ベイズニューラルネットワーク
  • Bidirectional Recurrent Neural Network (BRNN):双方向リカレントニューラルネットワーク
  • CapsNet (Capsule Network):カプセルネットワーク(CNNの改良版でニューロンをカプセルに置換)
  • CNN (Convolutional Neural Network):畳み込みニューラルネットワーク
  • convolution:畳み込み
  • CRF (Conditional Random Fields):条件付き確率場
  • cuDNN (NVIDIA CUDA Deep Neural Network):NVIDIA CUDAディープニューラルネットワーク
  • deconvolution:畳み込みから元の関数を求めること
  • Depthwise Convolution:空間方向の畳み込み
  • DNN (Deep Neural Network):ディープニューラルネットワーク
  • Gaussian mixture model (GMM):混合ガウスモデル(ガウス分布の線形重ね合わせで表されるモデル)
  • GRU (Gated Recurrent Units):LSTMNをシンプルにしたモデル
  • Inception v3:ImageNet Large Visual Recognition Challengeの訓練を受けたTensorFlowモデル
  • LSTMN(Long Short Term Memory Network) :長期短期記憶ネットワーク
  • NAIS-Net (Non-Autonomous Input-Output Stable Network):非自律型入出力安定ネットワーク
  • Pointwise Convolution:チャネル方向の畳み込み
  • ResNet (Residual Network):残差ネットワーク
  • RNN (Recurrent Neural Networks):再帰型ニューラルネットワーク
  • Seq2Seq (Sequence-to-sequence) Model:系列変換モデル
  • Update Gate Recurrent Neural Network (UGRNN)
  • Weighted Alternating Least Squares (WALS):加重交互最小二乗
    敵対的生成ネットワーク(GANs)
  • GANs (Generative Adversarial Networks):敵対的生成ネットワーク
  • ACGAN (Auxiliary Classifier GAN):補助分類器GAN
  • BEGAN (Boundary Equilibrium GAN):境界均衡GAN
  • Conditional GAN:コンディショナルGAN(学習データにラベル付けし、生成→評価の効率を上げる)
  • CoulombGAN (Coulomb GAN):クーロンGAN
  • CycleGAN (Cycle GAN):サイクルGAN(画像変換)
  • DCGAN (Deep Convolutional GAN):深い畳み込みGAN
  • DRAGAN (Deep Regret Analytic GAN):ディープリグレット(深い後悔)GAN
  • EBGAN (Energy-Based GAN):エネルギーベースGAN
  • InfoGAN (Interpretable Representation Learning by Information Maximizing GAN):情報最大化による解釈可能な表現GAN
  • LAPGAN (Laplacian Pyramid of GAN):ラップGAN(低解像度画像を高解像度画像に変換)
  • LSGAN (Least Squares GAN):最小二乗GAN
  • PSGAN (Periodic Spatial GAN):周期的空間GAN(フラクタル的周期性があるパターンの生成に適す)
  • PSGAN (Progressive Structure-conditional GAN):人間などのポーズ(姿勢)構造を認識して生成
  • SRGAN (Super-Resolution GAN):超解像度GAN(低解像度の画像から高解像度の画像を生成)
  • StackGAN:スタックGAN(文字情報から画像を生成)
  • TFGAN (TensorFlow GAN):テンサーフローGAN
  • WGAN (Wasserstein GAN):ワッサースタインGAN
  • WGAN-GP (WGAN with Gradient Penalty):グラディエントペナルティありWGAN
    敵対的創造ネットワーク(CANs)
  • Creative Adversarial Networks:敵対的創造ネットワーク
    活性化関数(activation function)
  • ELU (Exponential Linear Unit):指数線形ユニット
  • Heaviside step function:ステップ関数
  • Hurwitz zeta function:フルヴィッツのゼータ函数
  • Leaky ReLU:ReLUを使ってDead Neuronsが生まれる際の使用が推奨されたが有効性が低いと判明
  • Multilayer perceptron:多層パーセプトロン
  • Quantized ReLU:量子化ReLU
  • ReLU (Rectified Linear Unit):ランプ関数/正規化線形関数
  • RNN-ReLU:RNN-ReLU
  • simple perceptron:単純パーセプトロン
  • sigmoid function:シグモイド関数
  • softmax:ソフトマックス
  • softsign:ソフトサイン
  • softplus:ソフトプラス
    プーリング(pooling)
  • average pooling:アベレージプーリング(平均プーリング)
  • fractional average pooling (FAP):フラクショナルアベレージプーリング(部分平均プーリング)
  • fractional max pooling (FMP):フラクショナルマックスプーリング(部分最大プーリング)
  • max pooling:最大プーリング
  • nD Average Pooling:n次元アベレージプーリング
    正規化(normalization)
  • Batch Normalization:バッチ正規化
  • Generalized Divisive Normalization (GDN)
  • Global Contrast Normalization (GCN):グローバルコントラスト正規化
  • Local Contrast Normalization (LCN):局所コントラスト正規化
  • Local Response Normalization (LRN):局所応答正規化
  • Normalization:正規化(入力値を0以上1以下の数値に変換すること)
    オートエンコーダー(autoencoder)
  • Autoencoder:オートエンコーダー(自己符号化器)
  • logit:ロジット関数(ロジスティック関数の逆関数)
  • quantization:量子化
  • weight sharing/typing:重み共有
    学習データ(training data)
  • labeling:ラベリング
  • scraping:スクレイピング
  • vectorization:ベクトル化(NNMが学習できるようデータをベクトル表現にすること)
    学習(training/learning)
  • DropOut:ドロップアウト
  • Entropy:エントロピー(集合Aと集合Bがどれほど均一に混ざり合っているかを示す概念)
  • Fine-Tuning:ファインチューニング
  • Information divergence:情報ダイバージェンス(=カルバック・ライブラー情報量)
  • Information gain:情報利得(=カルバック・ライブラー情報量)
  • KL divergence:カルバック・ライブラー情報量
  • Overfitting:過学習/過剰適合
  • Reinforcement Learning:強化学習
  • Relative entropy:相対エントロピー(=カルバック・ライブラー情報量)
  • SDCA (Stochastic Dual Coordinate Ascent):ストキャスティクスのデュアル座標アセント二項分類
  • Supervised learning:教師あり学習
  • Transfer Learning :移転学習
  • Unsupervised Learning:教師なし学習
    最適化(optimization)
  • AdaDelta (Adaptive Delta):適応デルタ(差分)法
  • Adam (Adaptive Moment Estimation):適応モーメント推定法
  • Adam Optimization Algorithm:適応モーメント推定最適化アルゴリズム
  • AdaGrad (Adaptive Gradient Descent):適応勾配降下法
  • AdaGrad Dual Averaging algorithm:適応勾配降下デュアル平均アルゴリズム
  • Backpropagation:誤差逆伝播法
  • Bayesian optimization:ベイズ最適化
  • Follow-the-Regularized-Leader algorithm:FTRLアルゴリズム
  • Gradient Descent:最急降下法
  • Kronecker-Factored Approximate Curvature (K-FAC):クロネッカー因数近似曲率
  • Momentum SDG:慣性項SDG
  • OGD (Online Gradient Decent):オンライン確率降下法
  • Optimizer:最適化法/オプティマイザー
  • Proximal AdaGrad algorithm:近位適応勾配降下アルゴリズム
  • Proximal gradient descent algorithm:近位勾配降下アルゴリズム
  • Quantum Annealing:量子アニーリング/量子焼きなまし
  • RMSprop (Root Mean Square Propagation):ルート平均二乗伝播法
  • SGD (Stochastic Gradient Descent): 確率的勾配降下法
    損失関数(loss functions)
  • cosine-distance loss:余弦(コサイン)距離の損失
  • Cross-entropy loss:交差エントロピー損失
  • CTC (Connectionist Temporal Classification) Loss:コネクショニスト時系列分類法による損失
  • hinge loss:ヒンジ損失(別名:L1損失)
  • Huber loss:フーバー損失
  • Log loss (Logarithmic loss):対数損失