トレーニング結果はつぎのようになった。
Created a PretokDataset with rng seed 42
step 980: train loss 2.3970, val loss 2.4211
saving checkpoint to out
wrote out/model.bin
980 | loss 2.5118 | lr 4.026647e-07 | 35244.19ms | mfu 0.12%
981 | loss 2.4487 | lr 3.634168e-07 | 1855.79ms | mfu 0.12%
982 | loss 2.6653 | lr 3.261792e-07 | 1810.85ms | mfu 0.13%
983 | loss 2.3080 | lr 2.909524e-07 | 1829.05ms | mfu 0.13%
984 | loss 2.3065 | lr 2.577366e-07 | 1833.36ms | mfu 0.13%
985 | loss 2.5696 | lr 2.265322e-07 | 1861.45ms | mfu 0.13%
986 | loss 2.5148 | lr 1.973395e-07 | 1827.68ms | mfu 0.13%
987 | loss 2.3506 | lr 1.701588e-07 | 1884.67ms | mfu 0.13%
988 | loss 2.5373 | lr 1.449904e-07 | 1848.83ms | mfu 0.13%
989 | loss 2.2626 | lr 1.218346e-07 | 1850.71ms | mfu 0.13%
990 | loss 2.6543 | lr 1.006915e-07 | 1863.40ms | mfu 0.13%
991 | loss 2.5450 | lr 8.156143e-08 | 1837.62ms | mfu 0.13%
992 | loss 2.5430 | lr 6.444452e-08 | 1868.18ms | mfu 0.13%
993 | loss 2.5186 | lr 4.934096e-08 | 1878.68ms | mfu 0.13%
994 | loss 2.6593 | lr 3.625090e-08 | 1811.99ms | mfu 0.13%
995 | loss 2.3645 | lr 2.517447e-08 | 1866.10ms | mfu 0.13%
996 | loss 2.2458 | lr 1.611178e-08 | 1859.42ms | mfu 0.13%
997 | loss 2.6560 | lr 9.062929e-09 | 1834.68ms | mfu 0.13%
998 | loss 2.4411 | lr 4.027985e-09 | 1882.51ms | mfu 0.13%
999 | loss 2.7290 | lr 1.006999e-09 | 1812.66ms | mfu 0.13%
Created a PretokDataset with rng seed 42
Created a PretokDataset with rng seed 42
step 1000: train loss 2.3970, val loss 2.4211
saving checkpoint to out
wrote out/model.bin
1000 | loss 2.2502 | lr 0.000000e+00 | 35273.88ms | mfu 0.12%
real 59m32.423s
user 751m36.468s
sys 58m34.705s実行環境はつぎのとおり。
| 項目 | 詳細 |
|---|---|
| CPU | i9-12900K |
| Memory | 128 KiB |
トレーニングの結果、out/model.binが生成される。
これをもとに実行してみる。
$ ./run ./out/model.bin
Once upon a time, there was a friendly cat named Mittens. Kitty loved to share with her friends. One day, Kitty went to the park to play. She saw a small cat and tried to take her. Mittens was scared but but she could not get scared.
Mieved that day, Lucy and Be herself went to a bigTom's house. They were very best friends. After they ran, Fin and Lily went to the park. The park was hiding in a big tree, and Lucy was very happy.
From that day on, Lucy and Max became friends and played together every day. They always had a great day at the field they learned, and they would do new things together. From that day on, they learned to always listen to others and always take turns playing and had fun. achieved tok/s: 162.616822deeplで翻訳してみると…
むかしむかし、ミトンという人なつっこい猫がいた。キティは友達と分け合うのが大好きだった。ある日、キティは公園に遊びに行きました。小さな猫を見つけ、捕まえようとしました。ミトンは怖がりましたが、怖がることはできませんでした。
その日、ルーシーとビーは大きなトムの家に行った。彼らはとても仲良しだった。走った後、フィンとリリーは公園に行った。公園は大きな木に隠れていて、ルーシーはとても幸せだった。
その日からルーシーとマックスは友達になり、毎日一緒に遊んだ。二人は学んだフィールドでいつも楽しい一日を過ごし、一緒に新しいことをした。その日から二人は、いつも人の言うことを聞き、いつも交代で遊ぶことを学び、楽しく過ごすようになった。 まぁ、こんなもんでしょう。