科目ナンバー

SG-HI5-7C09

履修条件・関連科目等

情報検索を履修していることが望ましい．

授業で使用する言語

日本語／英語

授業で使用する言語（その他の言語）

授業の概要

本講義では、深層学習と自然言語処理の基礎について概観する。特に、言語モデル、再帰型ニューラルネットワーク、注意機構、転移学習、グラフニューラルネットワークなどのトピックを扱う。さらに、Pythonで自然言語処理システムを構築することで、自然言語処理に関する基礎的な知識と技術の習得を目指す。

科目目的

この科目は、学位授与の方針で示す「知識獲得力」および「専門性」を習得することを目的としている。

到達目標

・自然言語処理の基本概念と機械学習の基礎的な理論を理解し、これらを統合的に説明できる。
・深層学習の基本原理と分散表現の仕組みを理解し、自然言語処理の具体的な問題に適用できる。
・畳み込みニューラルネットワークや再帰型ニューラルネットワークの特性と用途を理解し、モデル設計の選択ができる。
・注意機構を理解し、これらが自然言語処理にどのように利用されるかを説明できる。
・転移学習（自己教師あり学習、マルチタスク学習、ドメイン適応）を活用する際の利点と課題を説明できる。
・低リソース言語における自然言語処理の特有の課題を理解し、それに対応する技術を説明できる。
・事前学習モデルや大規模言語モデルの基本的な仕組みを理解し、これらの応用可能性について議論できる。

授業計画と内容

1. イントロダクション
2. 機械学習の基礎
3. 自然言語処理の基礎
4. 深層学習の基礎
5. 分散表現
6. 畳み込みニューラルネットワーク
7. 再帰型ニューラルネットワーク
8. 注意機構とMemory Augmented Networks
9. 転移学習: 自己教師あり学習, マルチタスク学習
10. 転移学習: ドメイン適応
11. 低リソース自然言語処理
12. 言語モデル(1): 事前学習モデル
13. 言語モデル(2): 大規模言語モデル
14. NLP応用

授業時間外の学修の内容

指定したテキストやレジュメを事前に読み込むこと／その他

授業時間外の学修の内容（その他の内容等）

授業開始前の課題提出

授業時間外の学修に必要な時間数／週

・毎週１回の授業が半期（前期または後期）または通年で完結するもの。１週間あたり４時間の学修を基本とします。
・毎週２回の授業が半期（前期または後期）で完結するもの。１週間あたり８時間の学修を基本とします。

成績評価の方法・基準

成績評価の方法・基準（備考）

課題や試験のフィードバック方法

授業時間内で講評・解説の時間を設ける

課題や試験のフィードバック方法（その他の内容等）

アクティブ・ラーニングの実施内容

反転授業（教室の中で行う授業学習と課題などの授業外学習を入れ替えた学習形式）

アクティブ・ラーニングの実施内容（その他の内容等）

授業におけるICTの活用方法

クリッカー

授業におけるICTの活用方法（その他の内容等）

実務経験のある教員による授業

いいえ

【実務経験有の場合】実務経験の内容

【実務経験有の場合】実務経験に関連する授業内容

テキスト・参考文献等

manabaで資料を配布する。

参考書
Uday Kamath, John Liu, and James Whitaker, "Deep Learning for NLP and Speech Recognition" Springer, 2019.

その他特記事項

参考URL