E資格のお勉強(オンライン講座 2/6) 機械学習

はじめに
第一章:線形回帰モデル
第二章:非線形回帰モデル
第三章:ロジスティック回帰モデル
第四章:主成分分析
第五章:アルゴリズム
第六章:サポートベクターマシン
Appendix: 実装演習
- キャプチャ
ご紹介: E資格対策講座ラビットチャレンジについて

はじめに

ディープラーニングＥ資格(JDLA主催)のオンライン講座(ラビットチャレンジ)を受講したときの学習記録になります。

E資格の一通りの科目をカバーしています。学習の参考にしてください。

科目一覧

応用数学　
機械学習　←ココ
深層学習(day1)
深層学習(day2)
深層学習(day3)
深層学習(day4)

第一章:線形回帰モデル

回帰問題を解くための機械学習モデルの一つ
教師あり学習(教師データから学習)
入力とm次元パラメータの線形結合を出力するモデル
パラメータの推定問題としては、最小二乗法や尤度最大化が使用される

$M=\left( \begin{array}{ccc} 1 & 2 & 3 \\ 3 & 2 & 1 \end{array} \right)$

第二章:非線形回帰モデル

ベイジアン確率

共分散

ベルヌーイ分布
・コインを投げたとき、表が出る(x=1)場合は $\mu$ である。裏が出る(x=0)場合は $1-\mu$ である。
・表と裏の出る確率が同じ(つまり $\mu$ =0.5)でなくても、使える。

$P(x|\mu)=\mu^x(1-\mu)^{1-x}$

第三章:ロジスティック回帰モデル

・まとめ
分類問題を解くための教師あり機械学習モデル(教師データから学習)
入力とm次元パラメータの線形結合をシグモイド関数に入力
出力はy=1になる確率の値になる
※シグモイド関数:
数式: $\sigma = \frac{1}{1+\exp (-ax)}$
入力は実数・出力は必ず0~1の値
(クラス1に分類される)確率を表現
単調増加関数
・なぜシグモイド関数？
シグモイド関数を微分すると、以下の数式。尤度関数の微分を行う際にこの事実を利用すると計算が容易
数式: $\delta \frac{\sigma(x)}{\sigma x} = a\sigma(x)(1-\sigma(x))$

第四章:主成分分析

多変量データの持つ構造をより少数個の指標に圧縮
変量の個数を減らすことに伴う、情報の損失はなるべく小さくしたい
少数変数を利用した分析や可視化(2・3次元の場合)が実現可能
係数ベクトルが変われば線形変換後の値が変化
情報の量を分散の大きさと捉える
線形変換後の変数の分散が最大となる射影軸を探索

第五章:アルゴリズム

・k近傍法
分類に利用。
最近傍のデータをk個取ってきて、それらがもっとも多く所属するクラスに識別
・k-means
教師なし学習
クラスタリング手法
与えられたデータをk個のクラスタに分類する
手順
1) 各クラスタ中心の初期値を設定する
2) 各データ点に対して、各クラスタ中心との距離を計算し、最も距離が近いクラスタを割り当てる
3) 各クラスタの平均ベクトル（中心）を計算する
4) 収束するまで2, 3の処理を繰り返す

第六章:サポートベクターマシン

・SVMとは
2クラス分類のための機械学習手法
線形モデルの正負で2値分類
線形判別関数ともっとも近いデータ点との距離をマージンという
マージンが最大となる線形判別関数を求める
・サポートベクター
分離超平面を構成する学習データは、サポートベクターだけで残りのデータは不要
・ソフトマージンSVM
サンプルを線形分離できないとき
誤差を許容し、誤差に対してペナルティを与える