ひでみのアイデア帳 2024-05-29T11:54:48+09:00 urn:uuid:32c34578-c4da-8d90-5f18-1740239359ee GGML/GGUF/GPTQ urn:uuid:3b4412cd-7076-735c-35b6-4d3946f32a7f GGML/GGUF/GPTQ

AIを調べているとGGML/GGUF/GPTQなどのフォーマットが登場します。

GGML

http://ggml.ai/

https://github.com/ggerganov/ggml

  • C言語
  • 16bit float
  • 4,5,8bit整数で量子化サポート

GGUF

llamaで使われているGGMLのフォーマット

GPTQ

量子化手法です。

]]>
2024-05-29T10:00:00+09:00 ひでみ hidemi@sweetcafe/jp <h1>GGML/GGUF/GPTQ</h1> <p>AIを調べているとGGML/GGUF/GPTQなどのフォーマットが登場します。</p> <h2>GGML</h2> <p><a href="http://ggml.ai/">http://ggml.ai/</a></p> <p><a href="https://github.com/ggerganov/ggml">https://github.com/ggerganov/ggml</a></p> <ul> <li>C言語</li> <li>16bit float</li> <li>4,5,8bit整数で量子化サポート</li> </ul> <h2>GGUF</h2> <p>llamaで使われているGGMLのフォーマット</p> <h2>GPTQ</h2> <p>量子化手法です。</p>
BitNet b158 urn:uuid:1369bfc0-a333-e91e-3a34-dc54db29504e BitNet b158

これできるかな?

]]>
2024-05-28T10:00:00+09:00 ひでみ hidemi@sweetcafe/jp <h1>BitNet b158</h1> <p>これできるかな?</p>
ADT-Link UT3G urn:uuid:0f72e67c-1513-cfbe-0c2a-e3ea85102e83 ADT-Link UT3G

VCK5000 や RTX3070 が余っているから USB から PCIe のアダプタで使えるようにしようかな?

https://www.adt.link/product/UT3G.html

]]>
2024-05-27T10:00:00+09:00 ひでみ hidemi@sweetcafe/jp <h1>ADT-Link UT3G</h1> <p>VCK5000 や RTX3070 が余っているから USB から PCIe のアダプタで使えるようにしようかな?</p> <p><a href="https://www.adt.link/product/UT3G.html">https://www.adt.link/product/UT3G.html</a></p>
SAKURA-II urn:uuid:bf3864e9-7540-99fb-3f33-d4849d072c6d SAKURA-II

https://www.edgecortix.com/ja/products/sakura

これぐらいがいいよね~

]]>
2024-05-26T10:00:00+09:00 ひでみ hidemi@sweetcafe/jp <h1>SAKURA-II</h1> <p><a href="https://www.edgecortix.com/ja/products/sakura">https://www.edgecortix.com/ja/products/sakura</a></p> <p>これぐらいがいいよね~</p>
PetaLinux 2023.2をUbuntu 24.04 LTSでビルドする urn:uuid:0df53848-56f4-f436-0430-466bfa0ca005 PetaLinux 2023.2をUbuntu 24.04 LTSでビルドする

PetaLinux 2023.2がUbuntu 24.04LTSでビルドできなかったのかな?

ちょっと、探ってみよう…

でました、でました。

ERROR: PermissionError: [Errno 1] Operation not permitted

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "${PETALINUX_BUILD}/components/yocto/layers/poky/bitbake/bin/bitbake-worker", line 268, in child
    bb.utils.disable_network(uid, gid)
  File "${PETALINUX_BUILD}/components/yocto/layers/poky/bitbake/lib/bb/utils.py", line 1693, in disable_network
    with open("/proc/self/uid_map", "w") as f:
PermissionError: [Errno 1] Operation not permitted

ERROR: Task (${PETALINUX_BUILD}/components/yocto/layers/poky/meta/recipes-devtools/gcc/gcc-source_12.2.bb:do_rm_work) failed with exit code '1'
ERROR: PermissionError: [Errno 1] Operation not permitted

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "${PETALINUX_BUILD}/components/yocto/layers/poky/bitbake/bin/bitbake-worker", line 268, in child
    bb.utils.disable_network(uid, gid)
  File "${PETALINUX_BUILD}/components/yocto/layers/poky/bitbake/lib/bb/utils.py", line 1693, in disable_network
    with open("/proc/self/uid_map", "w") as f:
PermissionError: [Errno 1] Operation not permitted

ERROR: Task (${PETALINUX_BUILD}/components/yocto/layers/meta-xilinx/meta-xilinx-core/recipes-kernel/linux/linux-xlnx_2023.2.bb:do_rm_work) failed with exit code '1'

これはつぎのようにapp armorでエラーが出ているのでポリシーを解除すると解決します。

[375088.928971] audit: type=1400 audit(1716297940.003:336): apparmor="DENIED" operation="capable" class="cap" profile="unprivileged_userns" pid=4051557 comm="linux-xlnx:rm_w" capability=21  capname="sys_admin"

こんな感じで解除します。

sudo apparmor_parser -R /etc/apparmor.d/unprivileged_userns 

つぎはこんなエラーが出ました。

ERROR: Failed to spawn fakeroot worker to run ${PETALINUX_BUILD}/components/yocto/layers/meta-xilinx-tools/recipes-bsp/hdf/external-hdf.bb:do_package: [Errno 32] Broken pipe

do_package でエラーなんだけど、なにを直せばよかったかな…

]]>
2024-05-25T10:00:00+09:00 ひでみ hidemi@sweetcafe/jp <h1>PetaLinux 2023.2をUbuntu 24.04 LTSでビルドする</h1> <p>PetaLinux 2023.2がUbuntu 24.04LTSでビルドできなかったのかな?</p> <p>ちょっと、探ってみよう…</p> <p>でました、でました。</p> <pre><code>ERROR: PermissionError: [Errno 1] Operation not permitted During handling of the above exception, another exception occurred: Traceback (most recent call last): File "${PETALINUX_BUILD}/components/yocto/layers/poky/bitbake/bin/bitbake-worker", line 268, in child bb.utils.disable_network(uid, gid) File "${PETALINUX_BUILD}/components/yocto/layers/poky/bitbake/lib/bb/utils.py", line 1693, in disable_network with open("/proc/self/uid_map", "w") as f: PermissionError: [Errno 1] Operation not permitted ERROR: Task (${PETALINUX_BUILD}/components/yocto/layers/poky/meta/recipes-devtools/gcc/gcc-source_12.2.bb:do_rm_work) failed with exit code '1' ERROR: PermissionError: [Errno 1] Operation not permitted During handling of the above exception, another exception occurred: Traceback (most recent call last): File "${PETALINUX_BUILD}/components/yocto/layers/poky/bitbake/bin/bitbake-worker", line 268, in child bb.utils.disable_network(uid, gid) File "${PETALINUX_BUILD}/components/yocto/layers/poky/bitbake/lib/bb/utils.py", line 1693, in disable_network with open("/proc/self/uid_map", "w") as f: PermissionError: [Errno 1] Operation not permitted ERROR: Task (${PETALINUX_BUILD}/components/yocto/layers/meta-xilinx/meta-xilinx-core/recipes-kernel/linux/linux-xlnx_2023.2.bb:do_rm_work) failed with exit code '1'</code></pre> <p>これはつぎのようにapp armorでエラーが出ているのでポリシーを解除すると解決します。</p> <pre><code>[375088.928971] audit: type=1400 audit(1716297940.003:336): apparmor="DENIED" operation="capable" class="cap" profile="unprivileged_userns" pid=4051557 comm="linux-xlnx:rm_w" capability=21 capname="sys_admin"</code></pre> <p>こんな感じで解除します。</p> <pre><code>sudo apparmor_parser -R /etc/apparmor.d/unprivileged_userns </code></pre> <p>つぎはこんなエラーが出ました。</p> <pre><code>ERROR: Failed to spawn fakeroot worker to run ${PETALINUX_BUILD}/components/yocto/layers/meta-xilinx-tools/recipes-bsp/hdf/external-hdf.bb:do_package: [Errno 32] Broken pipe</code></pre> <p>do_package でエラーなんだけど、なにを直せばよかったかな…</p>