シラバス(講義概要)データベース

シラバス

授業科目名	年度	学期	開講曜日・時限	学部・研究科など	担当教員	教員カナ氏名	配当年次	単位数
機械学習	2024	後期	水4	理工学研究科博士課程前期課程	樋口　知之	ヒグチ　トモユキ	1年次配当	2

科目ナンバー

SG-AI5-7C07

履修条件・関連科目等

大学における基礎数学、確率論および、最適化手法や機械学習の基礎を理解していること。

授業で使用する言語

日本語

授業で使用する言語（その他の言語）

授業の概要

機械学習の代表的な手法のアルゴリズムを理解するだけでなく、機械学習を深く学ぶために、理論面で鍵となる手法の数理とアルゴリズムを解説する。特に、ベイズ統計に関連した機械学習の手法群を取り扱い、ベイズ統計の視点から機械学習の手法群が体系的に学べるようにする。そのため、機械学習のバイブルとも言うべき、「パターン認識と機械学習」（上巻１～３章）のエッセンスを適宜抽出し、各手法の数理的基盤を解説する。エッセンスの理解に集中させることで、網羅的に手法の詳細を解説するような一方的知識伝達を避ける。また、パラメータ推定に必要となる各種の最適化技法にも触れ、機械学習の体系的理解に求められる数理的基盤が習得できるようにする。アルゴリズムの導出は、講義で解説するとともに、回答を示した課題を自学自主することで、数理的思考力が高まるように指導する。

科目目的

学部の時に勉強した代表的な機械学習のアルゴリズムや計算手続きを理解した上で、機械学習手法の背後にある数理を習得することを目的とする。特に、機械学習の諸手法を統一的に深く理解するために必要となる、ベイズ統計学と情報理論の知識を習得することを主眼とする。

到達目標

以下を到達目標とする。
・過学習とモデルの自由度の関係、および汎化誤差を説明できる。
・拘束付き最小２乗法とベイズ推論の関係を説明できる。
・情報エントロピーとカルバックライブラーダイバージェンスが説明できる。
・ガウス分布の同時分布から、条件付き分布と周辺分布が導出できる。
・カルマンフィルタのアルゴリズムを導出できる。
・共役事前分布の位置づけを説明し、具体的例を列挙できる。
・カーネル密度推定法と最近傍法のアルゴリズムを説明できる。
・スパースモデリングの概念的基礎と、代表的な手法の概略を解説できる。

授業計画と内容

第１回　概論
第２回　帰納法と機械学習
第３回　汎化誤差、正則化法、ベイズ確率
第４回　ベイズ曲線あてはめ
第５回　周辺尤度、最尤法、MAP解、次元の呪い
第６回　情報エントロピー、ラグランジュの未定乗数法
第７回　KLダイバージェンス、凸関数、相互情報量
第８回　周辺ガウス分布の導出
第９回　条件付きガウス分布の導出
第10回　線形ガウスモデル
第11回　簡単な分布のベイズ推論
第12回　状態空間モデルとカルマンフィルタ
第13回　簡単な分布のベイズ推論
第14回　ノンパラメトリック法とスパースモデリング
◎ 以上は目安である。

授業時間外の学修の内容

その他

授業時間外の学修の内容（その他の内容等）

数学的な展開が多いので、教科書および配布資料を用いて復習すること。またレポートを期限までに提出すること。

授業時間外の学修に必要な時間数／週

・毎週１回の授業が半期（前期または後期）または通年で完結するもの。１週間あたり４時間の学修を基本とします。
・毎週２回の授業が半期（前期または後期）で完結するもの。１週間あたり８時間の学修を基本とします。

成績評価の方法・基準

種別	割合（％）	評価基準
レポート	40	ベイズ統計学の基礎を理解した上で、主要な推論手法を情報理論の観点から説明できるかどうかを評価する。および、ガウス分布の同時分布から、条件付き分布や周辺分布を数式として導出できるかどうかを評価する。ブロック化された行列の逆行列に関するいくつかの代表的公式を習得できたかどうかを評価する。
平常点	60	授業への参加、受講態度（授業内での議論への参加やアンケートへの回答への姿勢）の状況を基準とする。

成績評価の方法・基準（備考）

出席率が70%に満たない者、レポートを提出しない者はE判定とする。

課題や試験のフィードバック方法

授業時間内で講評・解説の時間を設ける／授業時間に限らず、manabaでフィードバックを行う

課題や試験のフィードバック方法（その他の内容等）

アクティブ・ラーニングの実施内容

実施しない

アクティブ・ラーニングの実施内容（その他の内容等）

授業におけるICTの活用方法