Deep Learning Glossary

← Deep Learning Lab 目次へ戻る



英語表現・IT用語（english expression, IT terminology）

  • CPU (Central Processing Unit)：計算処理を行う（一度に一処理が基本）
  • eager Execution：余分なグラフ構築ステップなしに操作を直ちに評価する命令型プログラミング環境
  • element-wise：要素ごと（同じ位置にある数字同士で計算が行われる状態）
  • entrywise：成分ごと
  • generator：ジェネレーター（1要素を取り出そうとする度に処理を行い要素を生成するイテレータ）
  • GPU (Graphics Processing Unit)：画像処理を行う（行列計算が得意で一度に同時処理が可能）
  • norm：ノルム（平面あるいは空間における幾何学的ベクトルの “長さ” の概念の一般化）
  • ops (operations)：操作・運用
  • pairwise：一対ごとに
  • pointwise：点ごと
  • slice：スライス（シーケンスの要素について部分的に簡単にアクセスできる構文）
  • TPU (Tensor Processing Unit)：TensorFlowの計算処理を高速に行うことに特化した処理装置
  • tuple：タプル（複数の構成要素からなる組を総称する一般概念）

    環境（environments）

  • Anaconda：アナコンダ（仮想Python環境構築パッケージ）
  • CUDA (Compute Unified Device Architecture)：GPUコンピューティング向け統合開発環境
  • Docker：ドッカー（仮想Python環境構築パッケージ）
  • Google Cloud ML Engine：クラウドML教化環境
  • Google Colab (Jupyter NotebookのようなUIでGCPの余剰GPUを使ってTensorFlowを動かせる)
  • Miniconda：ミニコンダ（アナコンダのポータブル版）
  • NVIDIA GPU Cloud：ローカルにインストールしたDocker環境とSyncして最新状態を保つML教化環境
  • TensorFlow Research Cloud (TFRC)：1000以上のTPUを使えるTensorFlowクラウド学習サービス
  • virtualenv：バーチャルエンブ（仮想Python環境構築パッケージ）

    言語（language）・ライブラリ（library）・ラッパー（wrapper）

  • Keras：ケラス（ラッパー）
  • Python：パイソン（言語）
  • PyTorch：パイトーチ（NumPyではなく独自モジュールを用い評価を上げているMLライブラリ）
  • TensorFlow：テンサーフロー（深層学習で用いる処理を簡単に行えるようにしたライブラリ）
  • TensorBoard：テンサーボード（TFで行った学習などの状況を可視化するためのライブラリ）
  • TensorFlow Serving：テンサーフロー・サービング
  • TensorFlow ModelServer：テンサーフロー・モデルサーバー
  • TensorFlow.js (= DeepLearn.js)：JavaScriptで動かせるTensorFlowライブラリ

    パフォーマンス・チューニング（TensorFlow performance tuning）

  • ahead-of-time (AOT) compiler：事前コンパイラ
  • boosting：ブースティング（教師あり学習を実行するための機械学習メタアルゴリズムの一種）
  • hyperparameter：ハイパーパラメータ
  • just-in-time (JIT) compiler：実行時コンパイラ
  • XLA (Accelerated Linear Algebra)：TF計算を最適化する線形代数のドメイン固有のコンパイラ

    機械学習・深層学習用語（general terminology）

  • attribute：特徴量
  • AUC (Area Under the Curve)：曲線下面積
  • AUROC (Area Under the Receiver Operating Characteristic curve)：受信者動作特性曲線
  • Bayesian Statistics：ベイズ統計学
  • checkpoints：チェックポイント
  • false negatives：偽陰性
  • false positive：偽陽性
  • Lightning Memory-Mapped Database (LMDB)：ライトニングメモリーマップデータベース
  • MNIST：Mixed National Institute of Standards and Technology database　の略
  • Ontology：オントロジー（機械が理解できるための概念化の明示的な仕様）
  • Riemann integral：リーマン積分
  • Riemann sum：リーマン和
  • ROC (Receiver Operating Characteristic)：受信者操作特性

    多変量解析（multivariate statistics）と分類（classification）

  • agglomerative clustering：凝集型クラスタリング
  • centroid：幾何中心
  • centroid-based clustering：幾何学中心クラスタリング
  • classifier：分類器
  • clustering：クラスター分析（要素の集合を特定の視点で分類する）
  • decision boundary：決定境界
  • decision tree：決定木
  • divisive clustering：分割型クラスタリング
  • estimator：推定器
  • evaluator：評価器
  • factor analysis：因子分析
  • FFT (Fast Fourier Transforms)：高速フーリエ変換
  • hierarchical clustering：階層クラスター分析
  • hyperplane：超平面
  • IFFT（Inverse fast Fourier transform）：逆フーリエ高速変換
  • K-means：k平均法（重心計算の反復で分類）
  • K-median：k中央値法
  • K-medoids：k非類似度総和最小法
  • Kernel Support Vector Machines (KSVMs)：サポートベクターマシン（カーネル関数試用版）
  • least squares regression：最小二乗回帰
  • linear regression：線形回帰
  • logistic regression：ロジスティック回帰
  • logit：ロジット（ロジット関数はロジスティック関数の逆関数）
  • multiple regression analysis：重回帰分析
  • multiple regression equation：重回帰式
  • principal component analysis (PCA)：主成分分析
  • regression analysis：回帰分析
  • regressor：回帰因子/独立変数
  • regressand：従属変数
  • Support Vector Machines (SVMs)：サポートベクターマシン
  • Ward’s method：ウォード法

    画像操作・認識（image manipulation/recognition）

  • Area Interpolation：領域補間（エリア補間）
  • Bicubic Interpolation：双三次補間（バイキュービック補間）
  • Bilinear Interpolation：双一次補間（バイリニア補間）
  • brightness：明るさ
  • contrast：コントラスト
  • dilation：膨張処理（境界領域を拡張する効果がある）
  • erosion：収縮処理（境界領域を侵食する効果がある）
  • flip：反転
  • Gamma Correction：ガンマ補正
  • hue：色合い
  • Interpolation：補間
  • Nearest neighbor Interpolation：最近傍補間（ニアレストネイバー補間）
  • saturation：彩度
  • total variation：画像の全ての点において近傍との輝度の変化分の絶対値をとりそれを集めたもの

    音声操作（audio manipulation）

  • MFCC（Mel-Frequency Cepstrum Coefficients）：メル周波数ケプストラム係数
  • SSWS（statistical speech waveform synthesis）：統計的音声波形合成

    物体検出（object detection）

  • Intersection-over-Union (IoU/IU)：IoU（物体検出・画像認識に用いられる報酬関数）
  • mean Intersection-over-Union (mIoU/mIU)：平均化したIoU
  • precision：適合率
  • recall：再現率

    言語認識

  • bag of words：文書中に出現する単語を数え、その数を特徴とする手法
  • N-gram：任意の文字列や文書を連続したn個の文字で分割するテキスト分割方法
  • NLU (natural language understanding)：自然言語処理

    ニューラル・ネットワーク・モデル（neural network model）

  • baseline：ベースライン（有効性検証のための基準）
  • Bayesian neural network：ベイズニューラルネットワーク
  • bidirectional recurrent neural network (BRNN)：双方向リカレントニューラルネットワーク
  • calibration layer：キャリブレーション（校正）層
  • CapsNet (Capsule Network)：カプセルネットワーク（CNNの改良版でニューロンをカプセルに置換）
  • CNN (convolutional neural network)：畳み込みニューラルネットワーク
    • AlexNet
    • DenseNet
    • FPNs (Feature Pyramid Networks)
    • GoogLeNet
    • Inception-Net
    • LeNet
    • MobileNet
    • Neural ODEs
    • ResNet
    • SENet (Squeeze and Excitation Networks)
    • ShuffleNet
    • SqueezeNet
    • VGG-Net
    • Xception
  • convolution：畳み込み
  • CRF (Conditional Random Fields)：条件付き確率場
  • cuDNN (NVIDIA CUDA Deep Neural Network)：NVIDIA CUDAディープニューラルネットワーク
  • deconvolution：畳み込みから元の関数を求めること
  • depth-wise convolution：空間方向の畳み込み
  • DNN (deep neural network)：ディープニューラルネットワーク
  • gaussian mixture model (GMM)：混合ガウスモデル（ガウス分布の線形重ね合わせで表されるモデル）
  • GRU (gated recurrent units)：LSTMNをシンプルにしたモデル
  • hidden layer：隠れ層（別名：中間層）
  • Inception v3：ImageNet Large Visual Recognition Challengeの訓練を受けたTensorFlowモデル
  • input layer：入力層
  • LSTMN（long short term memory network) ：長期短期記憶ネットワーク
  • Multilayer perceptron：多層パーセプトロン
  • NAIS-Net (Non-Autonomous Input-output Stable Network)：非自律型入出力安定ネットワーク
  • neuron：ニューロン
  • node：ノードまたはユニット
  • point-wise convolution：チャネル方向の畳み込み
  • ResNet (Residual Network)：残差ネットワーク
  • RNN (recurrent neural networks)：回帰型ニューラルネットワーク
  • Seq2Seq (sequence-to-sequence) Model：系列変換モデル
  • simple perceptron：単純パーセプトロン
  • synapse：シナプス（別名：エッジ）
  • update gate recurrent neural network (UGRNN)
  • Variational Autoencoder
  • weight：重み
  • weighted alternating least squares (WALS)：加重交互最小二乗

    敵対的生成ネットワーク（GANs）

  • GANs (Generative Adversarial Networks)：敵対的生成ネットワーク
  • ACGAN (Auxiliary Classifier GAN)：補助分類器GAN
  • BEGAN (Boundary Equilibrium GAN)：境界均衡GAN
  • Conditional GAN：コンディショナルGAN（学習データにラベル付けし、生成→評価の効率を上げる）
  • CoulombGAN (Coulomb GAN)：クーロンGAN
  • CycleGAN (Cycle GAN)：サイクルGAN（画像変換）
  • DCGAN (Deep Convolutional GAN)：深い畳み込みGAN
  • DRAGAN (Deep Regret Analytic GAN)：ディープリグレット（深い後悔）GAN
  • EBGAN (Energy-Based GAN)：エネルギーベースGAN
  • GauGAN（parody from ‘Gauguin+GAN’）：2019年3月にNvidiaが考案した原始的な塗り絵から精細な画像を生成するGAN
  • InfoGAN (Interpretable Representation Learning by Information Maximizing GAN)：情報最大化による解釈可能な表現GAN
  • LAPGAN (Laplacian Pyramid of GAN)：ラップGAN（低解像度画像を高解像度画像に変換）
  • LSGAN (Least Squares GAN)：最小二乗GAN
  • PGGAN (Progressive Growing of GANs)：低解像から高解像へ段階的に学習させ高解像画像を生成
  • PSGAN (Periodic Spatial GAN)：周期的空間GAN（フラクタル的周期性があるパターンの生成に適す）
  • PSGAN (Progressive Structure-conditional GAN)：人間などのポーズ（姿勢）構造を認識して生成
  • SAGAN (Self Attention GAN)：Self AttentionとSpectrum Normalizationを使用した高解像生成
  • SRGAN (Super-Resolution GAN)：超解像度GAN（低解像度の画像から高解像度の画像を生成）
  • StackGAN：スタックGAN（文字情報から画像を生成）
  • StarGAN (CycleGANの複数対応版であり、パラメータ変化でバリエーションを生成)
  • TFGAN (TensorFlow GAN)：テンサーフローGAN
  • WGAN (Wasserstein GAN)：ワッサースタインGAN
  • WGAN-GP (WGAN with Gradient Penalty)：グラディエントペナルティありWGAN
    敵対的創造ネットワーク（CANs）
  • Creative Adversarial Networks：敵対的創造ネットワーク

    活性化関数（activation function）

  • ELU (Exponential Linear Unit)：指数線形ユニット
  • Heaviside step function：ステップ関数
  • Hurwitz zeta function：フルヴィッツのゼータ函数
  • Leaky ReLU：ReLUを使ってDead Neuronsが生まれる際の使用が推奨されたが有効性が低いと判明
  • log-odds：オッズ（ロジットはオッズの対数）
  • Quantized ReLU：量子化ReLU
  • ReLU (Rectified Linear Unit)：ランプ関数/正規化線形関数
  • RNN-ReLU：RNN-ReLU
  • sigmoid function：シグモイド関数
  • softmax：ソフトマックス
  • softsign：ソフトサイン
  • softplus：ソフトプラス

    プーリング（pooling）

  • average pooling：アベレージプーリング（平均プーリング）
  • fractional average pooling (FAP)：フラクショナルアベレージプーリング（部分平均プーリング）
  • fractional max pooling (FMP)：フラクショナルマックスプーリング（部分最大プーリング）
  • max pooling：最大プーリング
  • nD Average Pooling：n次元アベレージプーリング

    正規化（normalization）

  • batch normalization：バッチ正規化
  • Generalized Divisive Normalization (GDN)：一般化分割正規化
  • Global Contrast Normalization (GCN)：グローバルコントラスト正規化
  • Local Contrast Normalization (LCN)：局所コントラスト正規化
  • Local Response Normalization (LRN)：局所応答正規化
  • normalization：正規化（機械学習では学習データの入力値を０以上１以下の数値に収まるように変換すること）

    オートエンコーダ（autoencoder）

  • autoencoder：オートエンコーダ（自己符号化器）
  • logit：ロジット関数（ロジスティック関数の逆関数）
  • quantization：量子化
  • weight sharing/typing：重み共有

    学習データ（training data）

  • annotation：アノテーション（= labeling）
  • broadcasting：ブロードキャスティング（配列の形状を適切に調整する）
  • bucketing：バケツ化
  • candidate generation：レコメンデーションシステムにおいて初期データとなるデータの生成
  • categorical data (=discrete feature)：個別機能データ
  • feature：機能
  • imbalanced dataset：不均衡データ
  • items：アイテム
  • item matrix：アイテムで構成された行列
  • label：ラベル
  • labeling：ラベリング
  • matrix factorization (MF)：行列の主成分化（主成分分析のように次元を下げること）
  • metadata：メタデータ
  • numerical data：数値が要素のデータ
  • prediction bias：モデルの予測値に対するバイアス
  • scraping：スクレイピング
  • test dataset：テストデータ
  • validation dataset：検証データ
  • vectorization：ベクトル化（NNMが学習できるようデータをベクトル表現にすること）

    学習（training/learning）

  • active learning：能動学習
  • batch：バッチ（学習データを小分けのグループにすること）
  • batch size：バッチサイズ（小分けにされた１グループに含まれるデータの個数のこと）
  • bias：バイアス/重み（現象に偏りをもたらす要因）
  • candidate sampling：キャンディデートサンプリング
  • dropout：ドロップアウト
  • entropy：エントロピー（集合Aと集合Bがどれほど均一に混ざり合っているかを示す概念）
  • fine-tuning：ファインチューニング
  • holdout data：学習から意図的に外されたデータ
  • information divergence：情報ダイバージェンス（＝カルバック・ライブラー情報量）
  • information gain：情報利得（＝カルバック・ライブラー情報量）
  • iterator：イテレーター（要素を反復して取り出すことのできるインタフェース）
  • KL divergence：カルバック・ライブラー情報量
  • learning rate：学習率
  • mini-batch：ミニバッチ
  • NaN (Not a Number)：非数
  • overfitting：過学習/過剰適合
  • reinforcement learning：強化学習
  • relative entropy：相対エントロピー（＝カルバック・ライブラー情報量）
  • SDCA (Stochastic Dual Coordinate Ascent)：ストキャスティクスのデュアル座標アセント二項分類
  • supervised learning：教師あり学習
  • transfer learning ：移転学習
  • unsupervised learning：教師なし学習

    バイアス/偏り（bias）

  • automation bias：オートメーションバイアス
  • confirmation bias：確証バイアス
  • coverage bias：カバレッジバイアス
  • experimenter’s bias：実験者バイアス（実験車の意図が被験者に汲まれて結果に反映されること）
  • group attribution bias (=in-group bias)：グループ帰属バイアス
  • implicit bias：無意識に内在するバイアス
  • measurement bias：測定バイアス
  • non-response bias：不参加バイアス
  • out-group homogeneity bias：外集団同質性バイアス
  • participation bias (non-response bias)：不参加バイアス
  • reporting bias：報告バイアス
  • response bias：反応バイアス
  • sampling bias：標本抽出バイアス
  • selection bias：選択バイアス

    最適化（optimization）

  • AdaDelta (Adaptive Delta)：適応デルタ（差分）法
  • Adam (Adaptive Moment Estimation)：適応モーメント推定法
  • Adam Optimization Algorithm：適応モーメント推定最適化アルゴリズム
  • AdaGrad (Adaptive Gradient Descent)：適応勾配降下法
  • AdaGrad Dual Averaging algorithm：適応勾配降下デュアル平均アルゴリズム
  • Backpropagation：誤差逆伝播法
  • Bayesian optimization：ベイズ最適化
  • Follow-the-Regularized-Leader algorithm：FTRLアルゴリズム
  • gradient descent：最急降下法
  • Kronecker-Factored Approximate Curvature (K-FAC)：クロネッカー因数近似曲率
  • Momentum SDG：慣性項SDG
  • OGD (Online Gradient Decent)：オンライン確率降下法
  • optimizer：最適化法/オプティマイザー
  • Proximal AdaGrad algorithm：近位適応勾配降下アルゴリズム
  • Proximal gradient descent algorithm：近位勾配降下アルゴリズム
  • Quantum Annealing：量子アニーリング/量子焼きなまし
  • RMSprop (Root Mean Square Propagation)：ルート平均二乗伝播法
  • SGD (Stochastic Gradient Descent): 確率的勾配降下法

    損失関数（loss functions）

  • cosine-distance loss：余弦（コサイン）距離の損失
  • cross-entropy loss：交差エントロピー損失
  • CTC (Connectionist Temporal Classification) Loss：コネクショニスト時系列分類法による損失
  • hinge loss：ヒンジ損失（別名：L1損失）
  • Huber loss：フーバー損失
  • L1 regularization：L1正則化
  • L2 regularization：L2正則化
  • Log loss (Logarithmic loss)：対数損失（ロジスティック回帰での損失関数）
  • Mean Squared Error (MSE)：平均二乗誤差
  • Noise-Contrastive Estimation (NCE) loss：ノイズ対比推定（パラメータ推定方法）
  • pairwise-errors-squared loss：ペアワイズ誤差二乗損失
  • Poisson loss：ポアソン損失
  • regularization loss：正規化損失
  • Sum-of-Squares loss：二乗和の損失（別名：L2損失）