科目ナンバー

SS-EL2-5A14

履修条件・関連科目等

線形代数および確率論の基本的な知識を習得していることが望ましい．

授業で使用する言語

日本語

授業で使用する言語（その他の言語）

授業の概要

本講義では，情報源符号化および通信路符号化を中心に，情報理論の基礎概念とその本質を体系的に学ぶ。エントロピーや相互情報量といった情報量の定義から出発し，典型系列の考え方を通して，情報源符号化定理および通信路符号化定理の意味を理解する。さらに，ハフマン符号やハミング符号などの具体的な符号化方式を例に，理論と実際の符号化技術との関係について考察する。

科目目的

講義の目的は，
・情報量とは何かを数式だけでなく概念的に理解すること
・情報源符号化と通信路符号化の役割と分離の意味を理解すること
・情報理論の定理がどのような考え方（典型性・確率的議論）に基づいて成立しているかを理解すること
を通じて，情報理論を原理から説明できる知識として身につけることである。

到達目標

本講義を修了した学生は，以下の事項を達成できることを目標とする。
・エントロピー，相互情報量，通信路容量の定義と意味を説明できる。
・典型系列および漸近等分割性の考え方を用いて，情報源符号化定理および通信路符号化定理の主張を説明できる。
・ハフマン符号やハミング符号などの基本的な符号について，構成方法と性質を説明できる。
・情報源符号化と通信路符号化の役割の違いを理解し，それぞれが果たす機能を説明できる。

授業計画と内容

（1）情報理論の概要
（2）情報の表現と符号化の基礎
（3）確率の基礎：事象・条件付き確率・独立性
（4）確率変数と確率分布：平均と分散
（5）エントロピーと情報量
（6）相互情報量とダイバージェンス
（7）情報量の性質と基本不等式
（8）情報源モデルとエントロピーレート
（9）典型系列と漸近等分割性
（10）情報源の符号化理論
（11）ハフマン符号と LZ 符号
（12）通信路モデルと通信路容量
（13）通信路符号化定理
（14）誤り訂正符号

授業時間外の学修の内容

指定したテキストやレジュメを事前に読み込むこと／授業終了後の課題提出

授業時間外の学修の内容（その他の内容等）

授業時間外の学修に必要な時間数／週

・毎週１回の授業が半期（前期または後期）または通年で完結するもの。１週間あたり４時間の学修を基本とします。
・毎週２回の授業が半期（前期または後期）で完結するもの。１週間あたり８時間の学修を基本とします。

成績評価の方法・基準

成績評価の方法・基準（備考）

期末試験では，以下の観点から総合的に評価する。
・情報量，エントロピー，相互情報量，通信路容量に関する基礎的な計算が正確にできているか。
・情報源符号化および通信路符号化に関する理論の主張を，数式および文章で適切に説明できているか。
・典型系列の考え方を用いて，符号化定理の意味を論理的に説明できているか。
・具体的な符号（ハフマン符号，ハミング符号など）と理論との関係を理解しているか。

課題や試験のフィードバック方法

授業時間内で講評・解説の時間を設ける

課題や試験のフィードバック方法（その他の内容等）

アクティブ・ラーニングの実施内容

実施しない

アクティブ・ラーニングの実施内容（その他の内容等）

授業におけるICTの活用方法

実施しない

授業におけるICTの活用方法（その他の内容等）

実務経験のある教員による授業

いいえ

【実務経験有の場合】実務経験の内容

【実務経験有の場合】実務経験に関連する授業内容

テキスト・参考文献等

テキスト：開講時までに指定します．
参考文献：
植松 友彦（著），「情報理論の考え方」改訂第2版，講談社，2025年
岩垂 好裕（著），「情報伝送と符号の理論」，オーム社，2000年
稲井 寛 (著)，「はじめての情報理論」第2版，森北出版，2020年
江藤 良純，金子 敏信 (監)，「誤り訂正符号とその応用」，オーム社，1996年
先名 健一 (著)，「例題で学ぶ符号理論入門」，森北出版，2011年

その他特記事項

参考URL