Transformerを詳しく学ぼう！ -PyTorchで実装するAttention、Transformer-

「Transformerを詳しく学ぼう！」は、生成AIのベースとなる技術、「Transformer」について詳しく学ぶ講座です。

Transformerがどのような仕組みで機能しており、生成AIの躍進を支えているのかを掘り下げていきます。

理解を深めるために、本講座ではフレームワークPyTorchを使ってTransformerの実装にトライします。

Transformerをベースにした大規模言語モデル（LLM）は現在様々な分野で驚異的な性能を発揮し、幅広く活用されています。

特にGPT-3.5やGPT-4が使われているChatGPTは、自然言語を使った対話により自然な文章を生成可能なので、大きな注目を集めています。

LLMは様々なタスクをこなせる汎用性を備えており、これまで人間しかできなかった様々なタスクを任せることが可能になってきています。

本講座では、最初にTransformerの概要を学んだ上で、Attentionの仕組み、埋め込みなどについて順を追って学んでいきます。

そして、最後にここまでの内容を踏まえてTransformerを組み立てます。

Transformerを詳しく学び、生成AIに対する深い洞察力を身につけましょう。

注: 本コースに先立ちYouTubeでのライブ講義【Live! 人工知能】がありました。本コースの動画はこのライブ講義をUdemy用に再構成したものになります。

講座の内容は以下の通りです。

Section1. Transformerの概要

→ Transformerの概要や、開発環境について学びます。

Section2. Attentionの仕組み

→ TransformerのベースであるAttentionの仕組み、実装について学びます。

Section3. Transformerにおける埋め込み

→ Transformerにおける入力のベクトル化について学びます。

Section4. Transformerを組み立てる

→ ここまでの内容を踏まえて、PyTorchを使いTransformerを組み立てます。

なお、今回の講座でプログラミング言語Pythonの解説は最小限となりますが、Pythonの基礎を解説するノートブックを予め配布します。

Pythonの開発環境にはGoogle Colaboratoryを使用します。

コードを動かすためにGoogle Colaboratoryを使用しますが、ローカル環境はWindowsでもMacでも大丈夫です。,2023年11月の環境で解説しています。最新の環境と異なる可能性があります。,Googleのアカウント開設が必要です。,Pythonの基礎を学ぶためのテキストがダウンロード可能ですが、動画によるPythonの解説はありません。,高校レベル以上の数学の知識があるのが望ましいです。,「AIの使いこなし方」の解説はありません。,バックプロパゲーション（誤差逆伝播法）、損失関数、最適化アルゴリズムなどの、深層学習の基礎の解説は省略します。,フレームワークPyTorchの使い方の解説は最低限です。

• 3.5 hours on-demand video
• 5 articles
• 2 downloadable resources
• Access on mobile and TV
• Full lifetime access
• Certificate of completion

1. 吾妻講師の講座は色々と拝聴しています。解り安いので助かります。一口に、生成AI、機械学習等等と言っても多分野にわたり、新たなLLMも面白そうですし、色々と触ってみて少しでも判ってから、特定の分野に進もうと思ってます。なので、これからもよろしくお願いいたします。
2. pythonの勉強として利用しました。生成AI、大規模言語モデル（LLM）の詳細がよくわからなかったので、少しでも理解できて良かったです。
3. El curso de Transformer es algo complicado, pero la parte de implementación me sirvió mucho.
4. codeの説明がよくわからないし、HuggingfaceのTransformerの説明もない。
5. もっと詳細な説明が欲しかった。