GGML

llama.cpp のソースコード中に登場する GGML は Tensor Library を意味していて、 GGML が GGUF に変わったというのは、パラメータを保存するフォーマットのことなので、ソースコード中の GGML は GGUF とは関係ないことが分かった。

GGML の動作についてはつぎの Web ページをとっかかりにしてみる。

llama.cppの推論エンジンggmlの動作

GGML の本家はつぎの URL なのでここも確認しよう。

https://github.com/ggerganov/ggml

あ、ここに GGUF のフォーマット・ドキュメントがあった。

https://github.com/ggerganov/ggml/blob/master/docs/gguf.md