明日のAI 用語集
JA

← ノートに戻る

深掘り · 方法

H1の実験のしくみ

小さな実験を平易に説明するガイドです。モデルとは何か、ラベルとは何か、なぜ並べ替えるのか、差がない結果をどう読むか。

推測 更新日

I

実際に学習させているもの

2層、幅64の小さな言語モデルで、ランダムな値から始めるため何も知りません。文章を1バイトずつ読み、次のバイトを当てることを学びます。古いニュースグループのメッセージの先頭96バイト(1分類あたり300件)で数百ステップ学習させ、GPUで1分もかかりません。

その後の実験では、より大きなモデルを使います。4層、幅128で、学習のやり方は同じです。本物の言語モデルに比べれば、これもまだ小さなものです。

II

ラベル

各文章の前に、2〜3個の記号を追加します。ラベルなしでは空白です。平らなラベルでは分類ごとに独自の記号を付けます。階層では最初の記号がグループ(たとえばコンピュータか娯楽)を示し、続く記号が絞り込みます。並べ替えたコードは形は同じですが、コードを誤った分類に割り当てます。さらにグループのみ、3階層の分類ではトピックのみ、トピックとサブトピックも試します。

III

なぜ並べ替えるのか

階層には2つのものが含まれます。情報(文章がどの分類に属するか)と構造(どの分類が兄弟か)です。並べ替えたコードは同じ情報を持ちますが、グループには意味がありません。本物の階層が並べ替えたラベルに勝てば、助けているのは構造です。そうでなければ、どんなコードでも同じ効果です。1回の並べ替えは偶然かもしれないので5回繰り返し、本当のグループが残る並べ替えは除外します。

IV

採点のしかた

取り置いたメッセージでの損失を ナット/バイト で測ります(低いほど良い)。各バイトを完全にランダムに当てるモデルは約5.5になり、私たちのモデルは2.5付近に落ち着きます。同じシードの中では、すべての条件で同じデータ、同じバッチ、同じ初期値を使うので、違うのはラベルだけです。モデルが本当にラベルを使っているかを見るため、ラベルを消した状態でも採点します。これがアブレーションで、2つの点数の差がモデルのラベルへの依存度です。

V

データを減らすと、繰り返しが増える

少量データの実験では、各分類の最初の30件、100件、300件だけを使います。小さい集合は大きい集合に含まれ、どのサイズも同じ640件の取り置きメッセージで採点するので、損失を比べられます。更新回数は800ステップのままなので、小さい集合は何度も見ることになり、1分類30件なら約80回です。同じ少数の例をこれだけ見たモデルは、それを丸暗記し始めます。これが過学習で、取り置いたメッセージでの損失が再び上がる形で現れます(この掃引では2.78から4.12)。

VI

過学習への歯止め

過学習を抑えるため、定番の歯止めを2つ加えます。これらを正則化と呼びます。ドロップアウト0.2は、学習の各ステップでネットワークの素子をランダムに止め、1本の経路だけで例を暗記できないようにします。重み減衰0.1は、各ステップで重みを小さな値へ引き戻します。設定は1通りで、一度だけ決めて最適化はせず、すべての条件に同じものを使います。取り置いたメッセージでの損失は、常にドロップアウトを切って測ります。

大きなモデルの実験は、同じ0.2と0.1から始め、そのあと、より強い設定(ドロップアウト0.3、重み減衰0.3)で、大きなモデルが例を丸暗記していなかったかを確かめます。やはり何も最適化していません。

VII

予測を先に

各手順とその予測は、実行の前に書きます。データセットの版は固定し、公式テスト集合は使わず、コードは結果ファイルにフィンガープリントとして記録します。差がない結果も、ほかの結果と同じように公開します。

手順では、読むつもりのセルも事前に挙げます。セルとは、データ量と更新回数の組み合わせのことです。事前登録セルは実行前に固定します。再現実験では、4つのセルは実行前に登録しましたが、それ以前の結果を見たあとで選んだものです。そのことを明記します。読者はそれらを少し割り引いて見るべきだからです。

VIII

実質的か、そうでないか

並べ替えコードの損失はどれも同じではありません。5つのうち最良と最悪の幅(シードで平均)が、コードだけから生じるノイズの大きさです。本物の階層が並べ替えコードの平均をその幅より大きく上回るとき、その差を実質的と呼びます。それ以下の差は、たまたま引いた並べ替えによるものかもしれないので、実質的でない傾向と呼びます。もう一つの数値、ラベル使用差は、ラベルを隠したときの損失の上昇で、モデルがラベルを使っているかを示すものであり、階層が並べ替えコードより優れているかを示すものではありません。

IX

H2のためのおもちゃの世界

H2のパイロット実験では、文章ではなくおもちゃの世界を使います。ランダムな事実と、そのうち2つか3つを要する規則(10を法とする加算)を用意し、モデルが記憶したものと計算したものを区別できるようにします。H1と同じく、予測は各実行の前に書き、判定するサイズは事前に決めます。ほとんどのパイロットでは、メモリはオラクルです。正しい事実を文脈に置くので、検索のコストと誤りは無視されます。検索を壊すのはパイロット4と6だけで、ランダムな置き換えとランダムな妨害項目で行います。詳細と数値:H2のパイロット実験。

X

結果の読み方

1000分の1〜2ナット/バイトの差は、シード間や並べ替えコード間のばらつきより小さいため、有意性は主張せず、節約できたデータの割合にも換算しません。考えを改める条件は、本物の階層が一貫して1位になり、その差がこのばらつきより大きいこと、そしてさらに大きな事前学習済みモデルでも同じ結果になることです。

XI

ファイル

この記録の数値はすべて、ダウンロードできるファイルに基づきます。より長い学習:結果 と 手順。5通りの並べ替えコード:結果 と 手順。3階層の分類:結果 と 手順。結果はJSON、手順はMarkdownです。

その後の実験:データ量の掃引:結果 と 手順。正則化した少量データ:結果 と 手順。新しいシードでの再現:結果 と 手順。別のカテゴリ:結果 と 手順。形式は同じです。

より大きなモデル:結果 と 手順。より大きなモデル、別のカテゴリ:結果 と 手順。より大きなモデル、より強い正則化:結果 と 手順。形式は同じです。

ページの先頭へ