図解(③触る)で見たことを、自分の入力で確かめるためのノートブックです。 ブラウザだけで動きます。インストールも、アカウント登録も要りません(Google アカウントで Colab を開くだけです)。
入門の 1 本は無料で公開しています。残る 3 本は Arc 2 の購入に含まれます(購入すると開く URL の中に同梱)。
attention.ipynb
図解では文が 1 つに固定されています(実測データを焼き込んでいるため)。ここでは あなたが書いた文を GPT-2 small に通し、「どの語がどの語をどれだけ参照したか」を出します。
notebooks/ に入っています。落として Colab に上げると動きます。nn_from_scratch.ipynb
ライブラリに任せず、式を自分で書きます。1 個の計算点から始めて、XOR で行き詰まり、 層を重ね、誤差逆伝播で学習させるまで。第 1 話で起きたことを手でたどります。
cnn_on_your_image.ipynb
畳み込み・ReLU・プーリングを for ループで書き、あなたの写真に掛けます。 画像を上げなければ、その場で合成した画像を使います。
notebooks/ に入っています。落として Colab に上げると動きます。word2vec_playground.ipynb
図解に積めたのは 15,000 語まで。ここでは 40 万語をまるごと読み込み、 思いついた語を片端から試せます。英語(GloVe)と日本語(chiVe)を切り替えられます。
notebooks/ に入っています。落として Colab に上げると動きます。GPT-2 small は OpenAI が Modified MIT License で公開しているモデルです (Software Copyright (c) 2019 OpenAI)。同ライセンスは、生成された内容に著作権表示を 含めることを求めず、GPT-2 を使って作ったと明示することだけを求めています。 attention.ipynb が出す数値はすべて GPT-2 small の出力です。
比較用に置いている gpt2_attention.json は、 Transformer Explainer (Polo Club of Data Science, Georgia Tech / MIT License) の事前計算データから 第 1 ブロック分を取り出したものです。 ライセンス全文
単語ベクトルは GloVe(Stanford NLP / 配布データは PDDL 1.0=パブリックドメイン)と chiVe(国立国語研究所・株式会社ワークスアプリケーションズ / Apache License 2.0)を使っています。図解に積んでいるのは、そこから 15,000 語を抜き出し int8 に量子化したものです。
ノートブックは画像を同梱していません。cnn_on_your_image.ipynb は、 読者が用意した画像か、実行時に合成した画像だけを扱います。 コードは自由に改変して使えます。