筑波大学 佐久間 淳先生の機械学習講義の学習メモ ~ 第1回 機械学習概論と単回帰 (1) ~

機械学習のバックグラウンド。大元にあるのは人工知能という概念。それ以外にも機械学習は非常に統計学に依存している。それと最適化（何かの目的関数を最適化する技術）。こういった物が組み合わさって機械学習を形作っている。そのため本来ならば、統計 > 最適化 > 機械学習 という順に学習するのが良い。

人間の汎化という機能（考え方）。人間は過去の知識と結び付けてシンボリックな概念取り出すことが自然にできる。

	教師あり	教師なし
予測対象が連続値	回帰、推薦	次元削減（主成分分析）
予測対象が離散値	分類	クラスタリング

• 連続値 &middots&middots&middots 温度とか
• 離散値 &middots&middots&middots ニュースカテゴリ（政治、スポーツ、芸能）とか、

基本的には予測対象が連続の方が数学的には扱いやすいので、回帰やってから徐々に離散にうつっていく。

機械学習の大まかな情報フローは、データ > 特徴量(データのベクトル化) > 特徴量から概念への写像（機械学習アルゴリズム）。

機械学習では全てのデータはベクトルであると考える。これは特徴的な考え方。本講義ではデータからベクトルに変換されたものを特徴量と呼ぶ。画像データの場合はRGB値なのでベクトルにするのは容易そうだが、例えばテキストデータだとベクトル値に変換するのは難しい。データからベクトルに変換するところに一つ難しさがある。

機械学習（教師あり、なし共に）のアルゴリズムは特徴量から概念へ写像を機械学習で獲得する。
いっかい概念を獲得してしまえばデータを与えれば概念に機械学習が変換できるようになる。

コストの Gap が問題。簡単に測定できる内容から、簡単に測定できない、もしくはお金になる情報を数学で出してしまいましょうというのが考え方の根本にある。

線形モデル
$$t=wx+b$$
\(b\)はバイアスパラメータと呼ばれる。

特徴量から目標値を予測する線形式を考える。
$$quality = w_1 * fixed\_acidity + b_1$$
$$quality = w_2 * volatile\_acidity + b_2$$
10次元ある特徴量ごとに線形式（一次関数）で目的変数である quality が予測される。

（２つのモデルがあった場合に）人間が見ると明確に良いとわかるモデルがあったとしてもそれを言葉にするのは難しい。
じゃぁそれをどうやって数学的に言葉にするかというと、予測誤差が小さいということ。
\(x\) が観測されたときに\(t\) の実測値とモデルによる予測値の Gap を計算する。Gap は\(x\) の値ごとに異なるため、与えられた\(x\) に対して誤差を全て足し合わせて総合的に良い悪いを判断する。

（散布図の）真ん中あたり通っているというのは感覚的にはあっていて、全部のデータに対する誤差が総合的に小さいから真ん中を通っている。