GGML/GGUF/GPTQ

AIを調べているとGGML/GGUF/GPTQなどのフォーマットが登場します。

GGML

http://ggml.ai/

https://github.com/ggerganov/ggml

• C言語
• 16bit float
• 4,5,8bit整数で量子化サポート

GGUF

llamaで使われているGGMLのフォーマット

GPTQ

量子化手法です。