Nvidia on ポンコツ地方エンジニアの技術ブログ

Telegraf で Jetson の GPU 情報を取得する

Sat, 27 May 2023 00:00:00 +0900

Telegraf で GPU 情報を取得しよううとしたのですが、Jetson には nvidia-smi のコマンドがありません。

どうしようかなと思っていたら、以下の記事に Jetson で GPU 情報を取得する方法が書いてありました。

https://www.influxdata.com/blog/nvidia-jetson-series-part-1-jetson-stats/

これを参考に、InfluxDB にデータを保存し、Grafana で可視化まで行いました。
尚、TIG Stack (Telegraf, InfluxDB, Grafana) については以下を参考にしてください。

https://kuttsun.blogspot.com/2021/12/telegraf-influxdb-garafana.html

環境

Jetson Xavier NX
Ubuntu 18.04
Telegraf 1.23.0

Telegraf, InfluxDB, Grafana は Docker で動作させています。

Jetson Stats のインストール

まずはホストに Jetson Stats をインストールします。

$ sudo apt-get update
$ sudo apt-get install python3-pip
$ sudo -H python3 -m pip install -U jetson-stats

インストール後、一度ログアウト or 再起動します。

jtop を実行して動作確認します。

Telegraf の設定

Jetson Stats を使って GPU の情報を取得する python スクリプトを作成し、それを Telegraf から定期的に実行するようにします。
ただし、今回 Telegraf は Docker コンテナで動かしているので、上記の記事そのままでは上手く行きません。

Python スクリプトの作成

上記の記事にある以下のスクリプトを jetson_stats.py という名前で保存しました。

# Import jtop python library. We will use this to access the Jetson_Stats service.
from jtop import jtop
import json, datetime

if __name__ == "__main__":

 with jtop() as jetson:
 # jetson.stats provides our system measurements as type dict.
 tmp = jetson.stats
 # time and uptime are proved as time objects. These needed to be converted before passing as a JSON string,
 tmp["time"] = str(tmp["time"].strftime('%m/%d/%Y'))
 tmp["uptime"] = str(tmp["uptime"])
 # We then convert our dict -&gt; Json string
 influx_json= {"jetson": tmp}
 print(json.dumps(influx_json))

このスクリプトを Telegraf から定期的に実行することになります。

Dockerfile の作成

今までは Telegraf の Docker イメージをそのまま使っていましたが、このコンテナには Python の実行環境が入っていないため、上記の Python スクリプトを動かすことができません。
そこで、以下のような Dockerfile を作成しました。

FROM telegraf:1.23.0

ARG DEBIAN_FRONTEND=noninteractive

COPY jetson_stats.py /usr/local/bin/

RUN apt update &amp;&amp; \
 apt install -y --no-install-recommends \
 python3 \
 python3-pip \
 python3-setuptools \
 python3-wheel &amp;&amp; \
 apt autoremove &amp;&amp; apt clean &amp;&amp; rm -rf /var/lib/apt/lists/*

RUN pip3 install \
 jetson-stats

jetson_stats.py をイメージ内にコピーし、あとは Python の実行環境と Jetson Stats をインストールしています。

docker-compose.yml の変更

コンテナ内で Jetson Stats を使うためには、/run/jtop.sock をマウントする必要があるようです。
ただ、それだけではアクセス権限の関係で以下のようなエラーが表示されました。

jtop.core.exceptions.JtopException: I can't access jetson_stats.service.

Docker コンテナの実行ユーザーを /run/jtop.sock の所有グループに加えたら解決できたので、group_add のプロパティを追加します。

https://github.com/rbonghi/jetson_stats

以上を踏まえ、docker-compose.yml を以下のように変更しました（今回に関連する部分のみ抜粋）。

services:
 telegraf:
 image: telegraf-python:latest
 container_name: telegraf
 hostname: ${HOSTNAME:?}
 environment:
 - NVIDIA_VISIBLE_DEVICES=all
 - NVIDIA_DRIVER_CAPABILITIES=all
 deploy:
 resources:
 reservations:
 devices:
 - capabilities: [gpu]
 restart: unless-stopped
 ports:
 - 6514:6514
 volumes:
 - ./telegraf.conf:/etc/telegraf/telegraf.conf:ro
 - /var/run/docker.sock:/var/run/docker.sock:ro
 - /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro
 # 以下は Jetson Xavier NX 用
 - /run/jtop.sock:/run/jtop.sock:ro # https://github.com/rbonghi/jetson_stats
 user: ${TELEGRAF_UID_GID:?}
 group_add:
 - "${JTOP_GID:?}"

環境変数の追加

上記の docker-compose.yml 内にある JTOP_GID という環境変数を定義します。
~/.bashrc に以下を追記します。

export JTOP_GID=$(stat -c '%g' /run/jtop.sock)

再読み込みします。

~$ source .bashrc

これで、/run/jtop.sock の所有グループを JTOP_GID で参照できます。

telegraf.conf の設定

telegraf.conf に以下を追記します。

[[inputs.exec]]
 ## Commands array
 commands = [
 "python3 /usr/local/bin/jetson_stats.py"
 ]

 ## Timeout for each command to complete.
 timeout = "5s"

 ## measurement name suffix (for separating different commands)
 name_suffix = "_jetson_stats"

 ## Data format to consume.
 ## Each data format has its own unique set of configuration options, read
 ## more about them here:
 ## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
 data_format = "json"
 ## Array of glob pattern strings or booleans keys that should be added as string fields.
 json_string_fields = ["jetson_uptime", "jetson_nvp model", "jetson_NVENC", "jetson_NVDEC", "jetson_NVJPG"]

内容は前述の参考記事の中身そのままです。

テスト

Docker コンテナに入って、以下のコマンドを実行します。

python3 jetson_stats.py

json が取得できていれば OK です。

Grafana のダッシュボードを作成

Jetson Stats 用のテンプレートがないかなと探してみましたが、見つかりませんでした。
どうやら自分で作成するしかなさそうです。

参考として、jetson_stats.py を実行したら以下のような出力が得られます（わかりやすいように整形しています）。

{
 "jetson": {
 "time": "09/14/2022",
 "uptime": "0:40:39.970000",
 "jetson_clocks": "OFF",
 "nvp model": "MODE_10W_DESKTOP",
 "CPU1": 16,
 "CPU2": 13,
 "CPU3": 13,
 "CPU4": 14,
 "CPU5": "OFF",
 "CPU6": "OFF",
 "GPU": 0,
 "MTS FG": 0,
 "MTS BG": 0,
 "RAM": 1413804,
 "EMC": 1413804,
 "SWAP": 0,
 "APE": 150,
 "NVENC": "OFF",
 "NVDEC": "OFF",
 "NVJPG": "OFF",
 "fan": 0.0,
 "Temp AO": 42.0,
 "Temp AUX": 42.0,
 "Temp CPU": 42.5,
 "Temp GPU": 41.5,
 "Temp thermal": 42.15,
 "power cur": 4166,
 "power avg": 4166
 }
}

これらの値が InfluxDB に格納されているはずなので、その値を使ってダッシュボードを作成していきます。
尚、各プロパティの説明は以下にありました。

https://rnext.it/jetson_stats/jtop.html#jtop.jtop.jtop.stats

単位くらい書いておいてほしいなぁ〜。

参考 URL

Jetson Xavier NX を触ってみた

Thu, 28 Apr 2022 00:00:00 +0900

Jetson Xavier NX を搭載したボックスコンピューターを触る機会があったのでメモです。

ボックスコンピューターは以下です。

https://www.aaeon.com/jp/p/nvidia-jetson-xavier-nx-ai-edge-poe-boxer-8253ai

CUDA や Docker は最初からインストールされていました。

ゴールとしては Docker コンテナ上で GPU を使って推論を行うことです。

先に結論を書いておくと、

CPU アーキテクチャが arm なので、arm に対応したベースイメージを使う必要がある
Jetson は GPU ドライバーの都合上、現時点で CUDA 11 以降に対応していない
- インストールされているバージョンは 10.2
つまり、arm で CUDA 10.2 のイメージを使う必要があるが、Docker Hub にはその組み合わせの公式イメージがない
NVIDIA GPU CLOUD (NGC) にある l4t-ml:r32.5.0-py3 のイメージを使えばいいとのこと
- これが Jetson Xavier NX にインストールされている JetPack と同等のイメージになる

Jetson, JetPack, L4T について調べてみた

ここらへんの関係がよくわからなかったので、少し調べてみました。

NVIDIA Jetson シリーズは JetPack という形で、OS、NVIDIA ドライバー、CUDA や cuDNN などのフレームワークも含めた形で提供されているらしいです。

インストールされている JetPack と OS のバージョンは以下の方法で確認できます。

https://senooken.jp/post/2020/12/04/

$ dpkg-query --show nvidia-l4t-core
nvidia-l4t-core 32.5.0-20210115151051

インストールされている OS は L4T 32.5 でしたが、これは JetPack 4.5 になるっぽいです。

https://developer.nvidia.com/embedded/jetpack-archive

尚、最新の JetPack 4.6 でも CUDA は 10.2 らしいですが、これは GPU ドライバーの都合上みたいです（後述）。

nvidia-smi がない？

GPU の状況を確認するためによく使う nvidia-smi が Jetson にはありませんでした。

https://senooken.jp/post/2020/11/19/

代わりに tegrastats で確認できました。

ストレージ容量が少ない

ストレージ容量が 16GB しかなく、空き容量もほとんどないので、このままでは Docker イメージが入りません。
なので、外部ストレージとして 2.5 インチの SSD を用意して、そちらに Docker イメージを保存するように設定変更しました。
これについては以下を参照してください。

CUDA バージョン

nvidia-container-cli が使えたので、何もしなくても Docker から GPU を使うことはできそうでした。
インストールされている CUDA のバージョンなどは以下でした。

$ nvidia-container-cli info
NVRM version: (null)
CUDA version: 10.2

Device Index: 0
Device Minor: 0
Model: Xavier
Brand: (null)
GPU UUID: (null)
Bus Location: (null)
Architecture: 7.2

結構古かったです。

んで、CUDA のバージョンを上げられないかなぁと思って調べてみると、以下のページが見つかりました。

どうやら Jetson は GPU ドライバーの都合上、現時点では CUDA 11 以降に対応していないとのこと。
なので、Dockerfile のイメージは CUDA 10.2 のものを使う必要がありそうです。

CPU が arm

CUDA 云々の前に、そもそも CPU アーキテクチャが arm なので、今まで他のマシンで使っていた Dockerfile のビルドを行うとすぐに失敗しました。
ベースとする Docker イメージを arm 系のものにする必要がありそうです。

Docker Hub に nvidia/cuda-arm64 というイメージがあるのでこれっぽいですが、現在ではもうサポートされておらず 11.1 でバージョンが止まっています。

https://hub.docker.com/r/nvidia/cuda-arm64

ドキュメントを追ってみると、現在では nvidia/cuda のイメージで複数のアーキテクチャをサポートできるっぽいので、上記はもうサポートされないとのこと。

https://gitlab.com/nvidia/container-images/cuda/-/blob/master/README.md

しかし、nvidia/cuda にある CUDA 10.2 のイメージの OS/ARCH には linux/arm64 が含まれていません。仕方ないので nvidia/cuda-arm64 内で探してみますが、今度は CUDA 10.2 のイメージがなく、11 以降のイメージしかありません。

つまり、Docker Hub にある NVIDIA の公式イメージには、arm アーキテクチャで CUDA が 10.2 のイメージがないということがわかりました。

NVIDIA GPU CLOUD (NGC) のイメージを使えばいいらしい

さてどうしたもんかと悩んでいたら、同じようなことを質問している人がいました。

https://forums.developer.nvidia.com/t/cuda-10-2-and-cublas10-deb-package-to-install-on-arm64-docker-container/177030

これに対する回答として、l4t-ml:r32.5.0-py3 を使ってみてとのこと。
このイメージは Docker Hub ではなく NVIDIA GPU CLOUD (NGC) からプルできるそうです。

https://catalog.ngc.nvidia.com/orgs/nvidia/containers/l4t-ml

見ての通り、これは JetPack 4.5 と同等の Docker イメージらしいです。
ちなみに、Docker Hub からのプルではないため、イメージ名は以下のように指定します。

$ docker pull nvcr.io/nvidia/l4t-ml:r32.5.0-py3

一応プルできるところまでは確認できました。

OpenCV のインストールに失敗する

nvcr.io/nvidia/l4t-ml:r32.5.0-py3 のイメージを使うことでようやく Dockerfile のビルドを開始できるところまで漕ぎ着けましたが、OpenCV のインストールに失敗しました。

調べてみると以下のページが見つかりました。

https://nisshingeppo.com/ai/jetson-opencv/

どうやら pip ではインストールできないようなので、ソースコードからビルドを行う必要がありそうですが、OpenCV に依存するライブラリも pip でインストールできなくなります。

尚、Ubuntu 20.04 のベースイメージだと OpenCV のインストールは pip でできました。

参考 URL

Jetson Xavier NX でルートファイルシステムを overlayroot で読み込み専用に設定する

Tue, 26 Apr 2022 00:00:00 +0900

以前、Ubuntu で overlayroot を使ってルートファイルシステムを読み込み専用にしてみたのですが、Jetson Xavier NX で同じように試してみたところ、それだけではだめでした。

恐らくですが、ブートローダーが EXTLINUX であることが原因のような気がしています。

https://docs.nvidia.com/jetson/l4t/index.html#page/Tegra%20Linux%20Driver%20Package%20Development%20Guide/uboot_guide.html#wwpID0E0YD0HA

Jetson Xavier NX ではどうやってやればいいのかググってみると、NVIDIA のフォーラムで議論されているのが見つかりました。

その中で、解決策として提示されていたのが以下です。

https://github.com/negachov/overlayroot-jetpack

環境

Jetson Xavior NX
Ubuntu 18.04
JetPack 4.5.1

overlayroot のインストールと有効化

以下の記事を参考にしてください。

https://kuttsun.blogspot.com/2022/04/overlayroot-ubuntu.html

Jetson Xavier NX ではこれに加え、次のことが必要でした。

/boot/initrd の置き換え

GitHub にスクリプトが公開されているので、まずこれをクローンします。

$ git clone https://github.com/negachov/overlayroot-jetpack

あとは以下を実行するだけです。

$ cd overlayroot-jetpack
$ sudo ./update-initramfs-jetpack
$ reboot

これで、再起動後に overlayroot が有効になっていました。

参考 URL

[PySide] ARM アーキテクチャ環境に PySide をインストールできない？

Mon, 11 Apr 2022 00:00:00 +0900

pip で pyside2 および pyside6 をインストールしようとすると失敗しました。

デバイスは Jetson Xavier NX です。
表示されたエラーは以下です。

# pip install pyside2
ERROR: Could not find a version that satisfies the requirement pyside2 (from versions: none)
ERROR: No matching distribution found for pyside2

調べた感じ、どうやら ARM アーキテクチャの場合、pip ではインストールできない？

PySide2 であれば、一応 apt でビルド済みパッケージをインストールすることはできました。

$ sudo apt install python3-pyside2*

しかし、動かしたいアプリは PySide6 を使っており、PySide6 についてはパッケージが見当たりませんでした。

参考 URL

nvidia-docker2 (nvidia-container-toolkit) のインストール

Thu, 31 Mar 2022 00:00:00 +0900

Docker コンテナ内で GPU を使うためには NVIDIA Container Toolkit をインストールする必要があります。

公式ドキュメントは以下です。

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html

インストール方法

上記のページにインストール手順も書いてあります。
（以下は見やすくするためにコマンドを分割しています。）

$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
$ sudo apt update
$ sudo apt install -y nvidia-docker2

nvidia-docker2 がトップレベルのパッケージらしいので、インストールするときは nvidia-container-toolkit ではなく nvidia-docker2 を指定するようです。
ここらへん以下のページが参考になりました。

https://qiita.com/tkusumi/items/f275f0737fb5b261a868

まぁ公式ドキュメントが nvidia-docker2 をインストールするようになっていますし、それに従えばよいかと。

また、古い記事では nvidia-docker と書いてあったりしますが、ここらへんの変遷は以下が参考になりました。

https://qiita.com/ksasaki/items/b20a785e1a0f610efa08

動作確認

nvidia-container-cli で確認できます。

$ nvidia-container-cli --version
cli-version: 1.8.1
lib-version: 1.8.1
build date: 2022-02-14T12:02+00:00
build revision: abd4e14d8cb923e2a70b7dcfee55fbc16bffa353
build compiler: x86_64-linux-gnu-gcc-7 7.5.0
build platform: x86_64
build flags: -D_GNU_SOURCE -D_FORTIFY_SOURCE=2 -DNDEBUG -std=gnu11 -O2 -g -fdata-sections -ffunction-sections -fplan9-extensions -fstack-protector -fno-strict-aliasing -fvisibility=hidden -Wall -Wextra -Wcast-align -Wpointer-arith -Wmissing-prototypes -Wnonnull -Wwrite-strings -Wlogical-op -Wformat=2 -Wmissing-format-attribute -Winit-self -Wshadow -Wstrict-prototypes -Wunreachable-code -Wconversion -Wsign-conversion -Wno-unknown-warning-option -Wno-format-extra-args -Wno-gnu-alignof-expression -Wl,-zrelro -Wl,-znow -Wl,-zdefs -Wl,--gc-sections

$ nvidia-container-cli info
NVRM version: 470.103.01
CUDA version: 11.4

Device Index: 0
Device Minor: 0
Model: NVIDIA GeForce RTX 3080
Brand: GeForce
GPU UUID: GPU-565ac97c-fe71-f49b-1ac0-7ac93c7dab8d
Bus Location: 00000000:01:00.0
Architecture: 8.6

参考 URL

Ubuntu 20.04 に古い NVIDIA Driver と CUDA をインストール

Wed, 30 Mar 2022 00:00:00 +0900

古いグラフィックボードが手に入ったので、それに対応した NVIDIA Driver および CUDA をインストールしたときのメモです。

環境

Ubuntu 20.04
GPU：NVIDIA Quadro 2000

NVIDIA Driver のインストール

以下のコマンドでインストールするドライバーのバージョンがわかります。

$ ubuntu-drivers devices

または、以下のページで必要なドライバーのバージョンを調べることもできます。

https://www.nvidia.com/Download/index.aspx

以上より必要なドライバーは 390 だとわかりました。
ドライバーは上記のページからダウンロードできますが、Ubuntu の場合は apt でインストールしたほうが楽です。

$ sudo apt -y install nvidia-driver-390

一度再起動し、nvidia-smi でドライバーが正しくインストールされたか確認します。

$ nvidia-smi
Tue Mar 15 13:51:47 2022
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 390.144 Driver Version: 390.144 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Quadro 2000 Off | 00000000:01:00.0 On | N/A |
| 30% 48C P12 N/A / N/A | 577MiB / 964MiB | 0% Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 1193 G /usr/lib/xorg/Xorg 141MiB |
| 0 2102 G /usr/lib/xorg/Xorg 220MiB |
| 0 2276 G /usr/bin/gnome-shell 206MiB |
+-----------------------------------------------------------------------------+

CUDA のインストール

NVIDIA Driver と CUDA のバージョンの関係は以下で確認できます。

https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

今回インストールした NVIDIA Driver は 390.144 なので、CUDA は 9.1 インストールします。

CUDA のインストール方法ですが、以下でプラットフォームに応じた方法を調べることができます。

https://developer.nvidia.com/cuda-downloads

Ubuntu 20.04 では以下が表示されました。

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
$ sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
$ sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub
$ sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /"
$ sudo apt-get update
$ sudo apt-get -y install cuda

しかし、このコマンドでは CUDA のバージョンが指定されていないため、実行してしまうと最新の CUDA がインストールされてしまいます。
なので、次に示すように、バージョン 9.1 を指定してインストールしてやります。

CUDA 9.1 のインストール

CUDA 9.1 をインストールしたいところですが、apt でインストールできる CUDA の一覧を見てみても 9.1 はありません。
なので、以下を参考に Ubuntu 16.04 用のパッケージをインストールしました。

$ curl -sL http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub | sudo apt-key add

$ wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_9.1.85-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu1604_9.1.85-1_amd64.deb
$ sudo apt update

$ sudo apt --fix-broken install
$ sudo apt install cuda-toolkit-9-1
$ sudo reboot
$ rm cuda-repo-ubuntu1604_9.1.85-1_amd64.deb

注意点として、apt で cuda-9-1 をインストールすると NVIDIA Driver も最新に更新されてしまうので、cuda-toolkit-9-1 をインストールする必要があります。

https://zenn.dev/takeshita/articles/a02402e59d72a7

インストールが完了したら、~/.bashrc の末尾に以下を追記します。

export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"

ここで再起動します。

CUDA バージョンの確認

nvidia-smi で確認できるはずなのですが、私の環境では何も表示されました。
ただ、nvcc では確認できたので、インストールはされているんじゃないかと。

$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2017 NVIDIA Corporation
Built on Fri_Nov__3_21:07:56_CDT_2017
Cuda compilation tools, release 9.1, V9.1.85

また、以下でも確認できます。

$ cat /usr/local/cuda/version.txt
CUDA Version 9.1.85

CUDA のインストール後に NVIDIA Driver がおかしくなってしまった場合

前述したように、NVIDIA Driver と CUDA のバージョンが合っていなければ動作がおかしくなります。

以下を参考に NVIDIA Driver と CUDA を削除してからインストールをやり直す必要があります。

https://qiita.com/not_charge/items/dce7512544a7ead04bca

$ sudo apt-get --purge remove nvidia-*
$ sudo apt-get --purge remove cuda-*

docker コンテナ内で GPU が使えるか確認しようとして諦めた

せっかく CUDA がインストールできたので、機械学習で GPU が使えそうか確認します。
まず pytorch を使い、ホスト上で以下のコードで確認してみました。

import torch
print(torch.cuda.is_available())

すると、以下のようにエラーが表示されました。

UserWarning: CUDA initialization: The NVIDIA driver on your system is too old (found version 9010). Please update your GPU driver by downloading and installing a new version from the URL: http://www.nvidia.com/Download/index.aspx Alternatively, go to: https://pytorch.org to install a PyTorch version that has been compiled with your version of the CUDA driver. (Triggered internally at /pytorch/c10/cuda/CUDAFunctions.cpp:115.)
 return torch._C._cuda_getDeviceCount() > 0

PyTorch のバージョンも CUDA に合わせる必要があるようです。
以下のページを参考に pytorch のバージョンを指定してインストールしてみます。

https://varhowto.com/install-pytorch-cuda-9-1/

すると以下のエラーが表示されました。

$ pip3 install torch==1.1.0 torchvision==0.3.0 -f https://download.pytorch.org/whl/cu90/torch_stable.html
Looking in links: https://download.pytorch.org/whl/cu90/torch_stable.html
/usr/share/python-wheels/urllib3-1.25.8-py2.py3-none-any.whl/urllib3/connectionpool.py:999: InsecureRequestWarning: Unverified HTTPS request is being made to host '172.20.16.253'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
ERROR: Could not find a version that satisfies the requirement torch==1.1.0 (from versions: 1.4.0, 1.5.0, 1.5.1, 1.6.0, 1.7.0, 1.7.1, 1.8.0, 1.8.1, 1.9.0, 1.9.1, 1.10.0, 1.10.1, 1.10.2, 1.11.0)
ERROR: No matching distribution found for torch==1.1.0

ここらへんから面倒になり、先に docker コンテナを作ることにしました。
まずは NVIDIA Container Toolkit をインストールしようと以下のページを見ると、

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html

動作要件が以下のようになっていました。

GNU/Linux x86_64 with kernel version > 3.10
Docker >= 19.03 (recommended, but some distributions may include older versions of Docker. The minimum supported version is 1.12)
NVIDIA GPU with Architecture >= Kepler (or compute capability 3.0)
NVIDIA Linux drivers >= 418.81.07 (Note that older driver releases or branches are unsupported.)

というわけでここで諦めました。

参考 URL

[Python] `error in modulated_deformable_im2col_cuda: no kernel image is available for execution on the device` のエラーが表示される

Fri, 25 Mar 2022 00:00:00 +0900

pytorch で DCNv2 を使って推論を行っているアプリで、以下のエラーが表示されました。

error in modulated_deformable_im2col_cuda: no kernel image is available for execution on the device

Docker コンテナ内でアプリを動かしていたのですが、DCNv2 のビルドをやり直したら解消されました。
具体的には以下の make.sh を実行します。

https://github.com/jinfagang/DCNv2_latest

参考 URL

Telegraf で GPU の情報を取得し、Grafana で可視化する

Sun, 26 Dec 2021 00:00:00 +0900

Telegraf, InfluxDB, Grafana を使って GPU の情報を閲覧できるようにしました。

以前、Telegraf, InfluxDB, Grafana を使ってサーバーリソースの情報を閲覧できるようにしました。

https://kuttsun.blogspot.com/2021/12/telegraf-influxdb-garafana.html

これを前提としたうえで、今回 GPU の情報も見れるようにしました。

試したグラフィックボードは NVIDIA GeForce RTX 3080 です。
グラフィックドライバーのインストールなどは完了している前提です。

概要

Telegraf の nvidia_smi プラグインを使えば GPU の情報を取得できるようです。
nvidia_smi のプラグインについては以下に説明があります。

https://github.com/influxdata/telegraf/blob/master/plugins/inputs/nvidia_smi/README.md

上記の記事に書いてありますが、Docker で動作させている Telegraf で GPU の情報を取得するには、以下の２つの方法があるようです。

nvidia/cuda の Docker イメージをベースに Telegraf をインストールしたカスタムイメージを作成する
Volume のマウントバインディングを使用して nvidia-smi のバイナリを Docker コンテナに注入する

今回は後者でいきます。

Telegraf の設定

telegraf.conf に以下を追加しました。

[[inputs.nvidia_smi]]
 #bin_path = "/usr/bin/nvidia-smi"

inputs.nvidia_smi を追加するだけでプラグインが有効になるようです。
bin_path は nvidia-smi のある場所です。
以下のコマンドで調べられます。

$ which nvidia-smi
/usr/bin/nvidia-smi

Linux では通常 /usr/bin/nvidia-smi にあるそうで、その場合は指定しなくてもよいそうです。

docker-compose の設定

Telegraf を動作させている Docker コンテナから nvidia-smi と GPU にアクセスできるように設定します。
例えば、以下のような感じです。

version: '3.5'
services:
 telegraf:
 container_name: telegraf
 image: telegraf
 environment:
 - NVIDIA_VISIBLE_DEVICES=all
 - NVIDIA_DRIVER_CAPABILITIES=all
 deploy:
 resources:
 reservations:
 devices:
 - capabilities: [gpu]
 volumes:
 - ./telegraf.conf:/etc/telegraf/telegraf.conf:ro
 - /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro

ホストの /usr/bin/nvidia-smi をコンテナにマウントします。
Docker コンテナでの GPU の使用については以下の記事にも書いているので、参照してください。

https://kuttsun.blogspot.com/2021/11/docker-compose-gpu.html

Grafana の設定

Docker コンテナを起動したら、Grafana で以下のダッシュボードのテンプレートをインストールします。

https://grafana.com/grafana/dashboards/12225

これで閲覧できるようになると思ったのですが、Hostname に None しか表示されず、グラフに何も表示されない状態でした。
どうもこのテンプレートが Windows を前提としているようですので、ダッシュボードの設定をちょっと修正しました。

ダッシュボードの設定画面を開き Variables を選択します。
hostname の定義を以下のように変更します。

変更前

SHOW TAG VALUES FROM "win_system" WITH KEY = "host"

変更後

SHOW TAG VALUES FROM system WITH KEY=host

これで以下のようにグラフが表示されるようになりました。

他に CPU Usage と Memory Free のメーター表示も Windows 前提となっているようなので、必要なら修正してください。
私は CPU やメモリなどは他のダッシュボードで閲覧しており、ここでは GPU の情報だけで十分だったので、そこまで修正しませんでした。