テーマ
このサイトについて
サイトの目的
「ゼロから理解するTransformer」は、ChatGPT などの大規模言語モデル(LLM)の中核にある Transformer という仕組みを、数学・統計・機械学習の予備知識がない人でも理解できるように解説する、無料のオンライン教材です。
市販の解説の多くは「ベクトルや微分は知っている前提」で書かれていますが、本サイトは前提知識を文系高校数学までに絞り、必要な数学(ベクトル・行列・微分・確率)をすべてサイト内でゼロから解説しています。全16章を順に読むことで、Attention の数式を手計算で追えるところまで到達できる構成です。
対象読者
- AI・機械学習に興味はあるが、数学に自信がない方
- ChatGPT などのLLMが「中でなにをしているのか」を仕組みから理解したい方
- 断片的な知識を、基礎から積み上げて整理し直したい方
運営者
- shin4488
- ソフトウェアエンジニア。本サイトの原稿・図・サイトの実装を管理しています
- GitHub: shin4488
本サイトの原稿は GitHub リポジトリで管理しており、修正の履歴もすべて公開されています。
内容の正確性について
分かりやすさを優先して単純化している箇所はありますが、数式・手計算例は検算のうえ掲載しています。誤りを見つけた場合は、お問い合わせまたは GitHub の Issue でお知らせいただけると助かります。