科目ナンバー

SE-AI3-7B14

履修条件・関連科目等

数理面：
大学における基礎数学（特に、微分の連鎖率と偏微分、行列）、統計学（特に、ロジスティック回帰）を理解していること。
プログラミング力：
プログラミングの基礎的概念（変数の型、関数宣言、制御構文など）などのコンピュータ言語のPython(パイソン)の基礎スキルが必要。初回に8０分程度のPythonに関するテストをマナバの小テスト機能を使って実施します。履修を考えている学生は必ず受けること。結果は成績にも反映します。

授業で使用する言語

日本語

授業で使用する言語（その他の言語）

授業の概要

人工知能ブームは、2012年の深層学習（深層ニューラルネット）が、画像からの一般物体認識にかかわるコンペで、それまでとは桁違いの性能を示した時期から始まった。技術が提案されてたった10年少ししかたっていないにもかかわらず、画像、音声、自然言語（テキスト）の主要三分野の処理においては、それまでの技術を圧倒している。深層学習は、適用されるデータや使用目的によって、適したネットワークの構造が決まる。講義の前半では、深層学習の原始的形態であるニューラルネットワークに関わる基礎数理を概説する。特に、誤差伝搬法や確率的勾配降下法による、パラメータ学習法の数理的側面を解説する。生成AIの基本数理である、Transformerおよび拡散モデルについても解説する。深層学習のプログラミングはほとんどPythonで書かれているため、コンピュータでパイソンによるプログラムを実装する。後半では、Pythonの深層学習のフレームワークの１つであるTensorFlow(テンソルフロー)によって、主要三分野の内、画像、自然言語で利用されている深層ニューラルネットワークの構造や、適用場面および成功事例、計算プラットフォームの紹介も行う。

科目目的

前期に開講する「機械学習基礎論」で取り扱わなかった、機械学習の重要な手法であるニューラルネットワークの基礎と基本的な応用を習得することを目的とする。ニューラルネットワークの機械学習、さらには人工知能での位置づけを学ぶ。ニューラルネットワークの枠組み、および内在するパラメータ学習則の数理を理解する。さらに、用途場面に応じてどのような構造の深層ニューラルネットワークが適しているのかを知る。あわせて、プログラミング技術として、Google ColaborarotyやTensorFlowの使い方を習得する。

到達目標

以下を到達目標とする。
・ニューラルネットワークの機械学習での位置づけおよび、その数理的な枠組みが説明できる。
・パラメータ学習則の主軸である、フォワード計算とバックプロパゲーションについて説明できる。
・Google Colaboraroyの機能をおおよそ使いこなせる。
・TensorFlowなどの代表的なパッケージの利用ができる。

授業計画と内容

第１回 オリエンテーションとPythonの習得に関する確認
第２回 AIと機械学習の概説
第３回 深層学習の数理・技術上の概説
第４回 深層学習の社会実装とその課題
第５回 深層学習の基礎となる数学
第６回 SoftMax関数と損失関数（交差エントロピー）
第７回 フォワード計算（一部実習）
第８回 バックプロパゲーション（一部実習）
第９回 勾配法（一部実習）
第１０回 いろいろな演算 : Dropout、正則化、正規化、重みの初期化（一部実習）
第１１回 多層パーセプトロン: 回帰と分類およびハイパラチューニング（一部実習）
第１２回 画像 : CNN(畳み込みニューラルネットワーク)、転移学習とファインチューニング（一部実習）
第１３回 自然言語 : 再帰型ニューラルネットワーク (RNN, LSTM)、トランスフォーマ（一部実習）
第１４回 データ生成 : オートエンコーダ、GAN (敵対的生成ネットワーク)、Transformer、拡散モデル（一部実習）
◎ 以上は目安である。

授業時間外の学修の内容

その他

授業時間外の学修の内容（その他の内容等）

・ほぼ毎回、小テストを行うため、教科書および配布資料を用いて復習すること。数式展開が多いので、アルゴリズムについては特に復習すること。
・授業内ではPythonの実習を行う。授業内で理解できなかったPythonの使い方は、復習することで次の時間までに自己解消しておくこと。

授業時間外の学修に必要な時間数／週

・毎週１回の授業が半期（前期または後期）または通年で完結するもの。１週間あたり４時間の学修を基本とします。
・毎週２回の授業が半期（前期または後期）で完結するもの。１週間あたり８時間の学修を基本とします。

成績評価の方法・基準

成績評価の方法・基準（備考）

出席率が70%に満たない者はE判定とする。期末試験の未受験者はE判定とする。

課題や試験のフィードバック方法

授業時間内で講評・解説の時間を設ける／授業時間に限らず、manabaでフィードバックを行う

課題や試験のフィードバック方法（その他の内容等）

アクティブ・ラーニングの実施内容

その他

アクティブ・ラーニングの実施内容（その他の内容等）

responを使った学生参加型授業、プログラミング演習

授業におけるICTの活用方法

実施しない

授業におけるICTの活用方法（その他の内容等）

実務経験のある教員による授業

いいえ

【実務経験有の場合】実務経験の内容

【実務経験有の場合】実務経験に関連する授業内容

テキスト・参考文献等

テキスト：
（１）伊藤真　著、Pythonで動かして学ぶ！あたらしい機械学習の教科書　第３版、翔泳社、2022、ISBN: 978-4798171494

Python の復習をかねて、統計学をしっかりと学び直したい人は、同著者による以下の書籍で自学自習することをすすめる。
伊藤真　著、Pythonで学ぶあたらしい統計学の教科書、翔泳社、2018、ISBN: 978-4798155067

参考書：
（１）第９～１２回の実装で使用予定
齊藤 康毅 著、 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装、オライリージャパン、2016、ISBN: 978-4873117584
※工学系学部を中心によく読まれている教科書。

（２）第１３回の実装で使用予定
齊藤 康毅 著、 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装❷ ―自然言語処理編、 オライリージャパン、2018、ISBM: 978-4-87311-836-9


生成AIに関する一般向け解説書：
岡野原大輔、「生成AIのしくみ」（岩波科学ライブラリー）、岩波書店、2024/12/18, ISBN 9784000297288

岡野原大輔、「大規模言語モデルは新たな知能かーChatGPTが変えた世界」（岩波科学ライブラリー328）、岩波書店、2023/6/20, ISBN 9784000297196

その他特記事項

参考URL

https://researchmap.jp/matrix/