Microsoftからbitnet 1.58bのllama.ccp実装がgithubに上げられているね。
試してみるとCPUで軽く動作する。
結果もなかなかよい。
パラメータはllama-3-8Bをファインチューニングされてるようなんだけど、ほかにも1.58bのパラメータが登場すればいいんだけどなぁと他力本願…
