問い
H1は、データの構造をモデルに与えると、より少ない例で学習できるかを問います。同じ計算予算で、ラベルなし、平坦、階層、並べ替えたラベルを比較しました。
4つの合成実験
最初の3シードと新たな5シードでは、階層による初期学習の加速が見られました。構造を並べ替える対照に加え、5種類の並べ替えと5シードを組み合わせました。100ステップの平均損失は 2.0061 対 2.0988、500ステップでは 2.0003 対 2.0045 です。同じシードの5比較は基準を共有するため独立ではありません。
実際の文章での初回実験
20 Newsgroupsの8分類を用い、ゼロから初期化した小さなバイトモデルを640件の検証文と3シードで評価しました。200ステップの損失は正しい階層で 2.73333、並べ替えで 2.73326 と、明確な優位はありません。公式テスト集合は未使用です。実はラベルなしのモデルが最も低い損失でした(2.72897、フラットなラベルは2.73162)。この段階ではモデルがまだラベルを使っていないため、このテストでは二つの階層を区別できませんでした。より確かな版は、以下の節で扱います。
学習を長くし、ラベルを取り除く
最初の実文章実験は200ステップで止まっており、モデルがまだラベルを使う前でした。同じ小さなモデルを800ステップ学習させ(3シード、同じ8分類)、各チェックポイントでラベルを隠した状態でも評価しました。ラベルなしで学習したモデルではこの差はゼロです。800ステップでは、平らなラベルで平均 0.009 ナット/バイト、グループのみで 0.020、本物の階層で 0.025、並べ替えたラベルで 0.031 となり、ラベルが使われるようになったことがわかります。
それでも800ステップでは、本物の階層と並べ替えたラベルは同じ損失 2.5210 ナット/バイトに達します。ラベルなしは 2.5292、コンピュータ/娯楽のグループのみは 2.5170 です。詳細:結果、手順。
出典: OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
5通りの並べ替えコード
並べ替えが1回だけでは、たまたま当たった可能性があります。そこで、コンピュータ/娯楽の区分を保たない5通りの並べ替えコードと5シードで試験を繰り返しました。800ステップで、本物の階層は 2.5279、5つの並べ替えコードの平均は 2.5295 で、差は 0.0016 ナット/バイトです。
本物の階層は5シード中4シードでこの平均を上回りますが、6つのコード中の順位は1位から最下位まで動き(3位、1位、6位、1位、2位)、5つの並べ替えコードだけでも約 0.005 のばらつきがあります。差はこのばらつきより小さいため、差なしという結果として読みます。
出典: OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
3階層の分類
4分類ずつの2グループは浅い階層です。そこで、3階層(4トピック、8サブトピック、16の葉)に並べた16のニュースグループを使い、部分的なコード(トピックのみ、次にトピックとサブトピック)も加えました。800ステップでは、コードを付けたどの変種も 2.5187 から 2.5217 ナット/バイトの間に収まり、ラベルなしの 2.5153 が最も低い値です。
本物の階層(2.5198)は5つの並べ替えコードの平均(2.5206)を5シード中4シードで上回りますが、差はわずか 0.0007 で、並べ替えコード間の 0.005 のばらつきより小さい結果です。階層を1段足しても明確な効果はなく、段階ごとの(トピック、サブトピック、葉の順の)損失の変化は +0.0046、−0.0013、+0.0012 でした。
出典: OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
データ量の掃引:1分類あたり30・100・300件
H1の考え方は、データが少ないときほど構造が効くはずだ、というものです。そこで同じ小さなモデルを、1分類あたり30件、100件、300件のメッセージで800ステップ学習させ(小さい集合は大きい集合に含まれます。5シード、5通りの並べ替えコード、同じ8分類)、事前に3つの予測を書きました。300件では以前と同じ像に戻ります。本物の階層は並べ替えコードより 0.0016 ナット/バイト低く、コード間のばらつき 0.0052 より小さい結果です(予測1、的中)。
30件ではモデルが過学習します。ラベルなしの損失は、取り置いたメッセージで200ステップの 2.78 から800ステップの 4.12 へ上がります。同じ240件を約80回繰り返し見るためです。本物の階層は並べ替えコードより 0.0124 低く、5シード中4シードで上回りますが、並べ替えコード同士がすでに 0.0891 ばらつくため、差はノイズに埋もれます(予測3、30件で明確な差が出る、は外れ)。データが少ないほどモデルがラベルに頼るのは確かで、30件で本物の階層のラベルを隠すと損失は 0.1243 上がり、300件では 0.0474 です(予測2、的中)。ラベルなしのモデルは30件でも100件でも最良のままです。詳細:結果、手順。
少量データでの正則化
過学習とは、少数の例を丸暗記してしまい、新しい例に通用することを学べない状態です。1分類あたり30件と100件で、定番の2つの歯止めを加えて試験を繰り返しました。ドロップアウト0.2(学習中にランダムな素子を止める)と重み減衰0.1(重みを小さな値へ引き戻す)です。シードと並べ替えコードは掃引と同じで、今回も3つの予測を事前に書きました。
過学習は減ります。30件・800ステップでのラベルなしの損失は 2.8208 で、正則化なしの4.12より大きく下がり(予測1、的中)、本物の階層のラベルを隠したときの損失の上昇は0.1243から 0.0448 に下がります(予測2、的中)。並べ替えコード間のばらつきは 0.0891 から 0.0073 に下がりました。本物の階層は、30件では5シード中4シードで並べ替えコードより 0.0023 低く、100件ではほぼ同じ(0.0000、5シード中3シード、ばらつき 0.0020)です。予測3(30件または100件で、5シード中4シード以上かつ差がばらつきより大きい)は外れました。詳細:結果、手順。
新しいシードと並べ替えでの再現
直前の実験では、200・400ステップで本物の階層が並べ替えコードをわずかに下回る、小さな負の符号が残りました。符号は偶然かもしれないので、5つの新しいシードと5つの新しい並べ替えコードで、同じデータ・同じ設定のまま試験をやり直しました。見るのは4つのセル(1分類あたり30件と100件、200ステップと400ステップ)で、直前の結果を見たあとに選んだため、試験は弱くなります。予測は事前に3つ書きました。
符号は4セル中 4 セルで負(予測1、的中)、本物の階層が5シード中4シード以上で勝つのは4セル中 3 セル(予測2、的中)で、実質的な差、つまり並べ替えコード間のばらつきより大きい差を示すセルは 0 です(予測3、4セル中2セル以上、外れ)。差は 0.0001 から 0.0013 ナット/バイトで、ばらつきは 0.0012 から 0.0037 です。詳細:結果、手順。
別のカテゴリ:科学と政治・社会
ここまで、3階層の分類を除き、すべての実験は同じ8分類(コンピュータ4、娯楽4)を使ってきました。そこで再現実験を別の分け方で繰り返しました。科学の4グループ(暗号、電子工学、医学、宇宙)と、政治・社会の4グループ(銃、中東、政治全般、キリスト教)で、シードも並べ替えコードも新しく、設定は同じです。4つ目の予測は、モデルが実際にラベルを使っているかを確かめます。
結果:符号は4セル中 4 セルで負、本物の階層が5シード中4シード以上で勝つのは4セル中 4 セルで、実質的な差を示すセルは 0 です。最大の差は 0.0016 ナット/バイト(30件、400ステップ)で、ばらつきは 0.0044 でした。対照も成り立ちます(予測4、的中)。100件・800ステップでラベルを隠すと、損失は本物の階層で 0.0103、並べ替えコードで 0.0110 上がり、ラベルが一貫していてもいなくてもモデルはラベルを使っています。詳細:結果、手順。
より大きなモデル:4層、幅128
これまでの実験はすべて同じ小さなモデル(2層、幅64)でした。階層の効果がモデルの大きさとともに増えるなら、大きなモデルで現れるはずです。そこで変えたのはアーキテクチャだけで、4層、幅128とし、最初の8カテゴリ、1カテゴリ100件、シード5つ、並べ替えコード5つ、ドロップアウト0.2、重み減衰0.1(再調整なし)は同じです。読み取る2つのセル、200ステップと400ステップは事前に決めました。800ステップも示しますが、事前登録ではありません。
本物の階層は、200ステップで並べ替えコードを 0.0006、400ステップで 0.0003 下回ります(差は −0.0006 と −0.0003 ナット/バイト)。並べ替えコード間のばらつきは 0.0024 と 0.0062 です。どちらのセルでも5シード中3シードで勝ち、2セル中 0 セルが実質的です。800ステップ(事前登録なし)では符号が逆転し、+0.0005、5シード中1シード、ばらつきは 0.0086 でした。つまり、差はモデルの大きさとともに増えません。モデルはラベルを確かに使っています(隠すと800ステップで損失が 0.0191 上がります)が、800ステップではラベルなしのモデルが最良のままで、2.3925、本物の階層は 2.3980、並べ替えコードは 2.3975 です。詳細:結果、手順。
より大きなモデル、別のカテゴリ
結果はコンピュータと娯楽のカテゴリに依存するのでしょうか。より大きなモデルはそのままに、データをもう一つの分け方に替えました。科学の4グループと、政治・社会の4グループで、シードも並べ替えコードも新しくします。セルも設定も同じです。
差は200ステップで −0.0004(5シード中3シード、ばらつき 0.0018)、400ステップで +0.0002(5シード中2シード、ばらつき 0.0050)で、2セル中1セルが負、実質的なセルは 0 です。800ステップ(事前登録なし)では −0.0015(5シード中3シード)で、ばらつき 0.0078 の範囲内です。ラベルを隠すと800ステップで損失が 0.0179 上がり、ラベルなしのモデルがまた最良でした(2.3672、本物の階層は 2.3753)。詳細:結果、手順。
より強い正則化:ドロップアウト0.3、重み減衰0.3
最初の実験の大きなモデルは、単に正則化が足りなかったのかもしれません。余裕が大きいぶん、学習用メッセージを丸暗記できてしまいます。そのモデル、データ、カテゴリはそのままに、2つの歯止めを同時に強め、ドロップアウト0.3、重み減衰0.3としました(そのため個別の効果は区別できません)。シードも並べ替えコードも5つずつ新しくしています。
差は200ステップで −0.0008(5シード中5シード、ばらつき 0.0017)、400ステップで −0.0010(5シード中4シード、ばらつき 0.0032)です。2セルとも負で、いずれも5シード中4シード以上で勝ちますが、実質的なセルは 0 です。800ステップ(事前登録なし)では符号が正に戻り、+0.0011(5シード中1シード、ばらつき 0.0042)でした。ラベルなしのモデルは改善し、800ステップで 2.3717 となりました。最初の大きなモデルの実験では 2.3925 でした(シードが異なる対応のない比較)。その実験は正則化が足りなかった可能性が高いと考えられます。ラベルを隠すと損失は 0.0116 上がります。詳細:結果、手順。
全体の読み方:実質的ではない傾向が再現された
3組のシードと2通りのカテゴリ分けを通じて、200〜400ステップでは、本物の階層が並べ替えコードをごくわずかに下回ります。差は約 0.0002 から 0.0016 ナット/バイト、割合にして約 0.1% で、常に並べ替えコード間のばらつきより小さい値です。私たちはこれを実質的ではない傾向の再現と呼びます。符号は繰り返し現れますが、並べ替え間のノイズより小さい差を効果として主張することはできません。
同じくらい重要な結果がもう一つあります。ほぼすべてのセルで、ラベルなしのモデルが同等かそれ以上でした。一貫したラベルは誤ったラベルよりわずかに邪魔にならないだけで、ラベルなしには勝てません。最初のカテゴリでの2回の正則化実験を合わせた解析(10シード、10通りの並べ替えコード)も同じ方向で、たとえば1分類あたり100件・400ステップでは 10 シード中 10 シード、差 0.0006、ばらつき 0.0013 です。これは探索的な解析で、事前の手順では計画しておらず、有意性の検定でもありません。
より大きなモデル(3回の実験)では、200〜400ステップの差は −0.0010 から +0.0002 ナット/バイトの間に収まり、6セル中 0 セルが実質的で、差はモデルの大きさとともに増えません。より強い正則化は最も規則的な符号を示します(2セルとも負で、5シード中5シードと4シード)が、それでも並べ替えコード間のばらつきを下回ります。800ステップでは、3回の実験すべてでラベルなしのモデルが同等かそれ以上でした。私たちはこれを弱く実質的ではない傾向と読み、最初の実験の大きなモデルは正則化が足りなかった可能性が高いと考えます。有意性も節約できたデータの割合も主張せず、H1への信頼度55%は変えません。
数値から言えないこと
合成データは階層に有利な設計です。実文章の実験は、ランダムに初期化した小さなバイトモデルを最大800ステップ学習させたもので、1つのコーパスにある古い英語メッセージの短い冒頭を使い、カテゴリ構造は3種類(4分類ずつ2グループへの2通りの分け方と、3階層の分類)に限られ、いずれも私たちが選んだものです。評価時にもラベルを与えています。直近2回の実験で再現したセル4つは、正則化した実験のあとに選んだもので、同じシードが2つのチェックポイントに使われるため独立ではありません。正則化はドロップアウト0.2と重み減衰0.1の1通りのみで、最適化していません。大きなモデルの実験が加えたのは、より大きな構造1つ(4層、幅128。スケーリング則ではありません)と、より強い設定1つ(ドロップアウト0.3と重み減衰0.3、同時に変更)だけです。実験間の比較は、シードが異なるため対応がありません。有意性の検定は行っておらず、節約できたデータの割合は測っていません。大規模モデルのH1を実証・反証したものでもありません。信頼度55%は変更しません。
H10について
H10は停止中です。公開Spaceには 14件の実験エクスポートと1,034個の数値 があります。シリーズ全体は 15ラウンド で、翻訳者のページで詳しく説明しています。これらは独立した発見数や品質評価ではありません。H1の詳細な手順と測定値も公開しています。
ほかの深掘り
出典
- SetFit, 20 Newsgroups dataset
- OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: data-scale sweep, 30, 100 and 300 per category (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: regularized small data, dropout 0.2 and weight decay 0.1 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: replication with new seeds and permutations (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: other category groups, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, 4 layers and width 128 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, other categories, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, stronger regularization, dropout 0.3 and weight decay 0.3 (results, JSON; protocol alongside)
- OrigoTech AI Research Lab — H1, H2 and H10 results