Telegraf on ポンコツ地方エンジニアの技術ブログ

Telegraf で Jetson の GPU 情報を取得する

Sat, 27 May 2023 00:00:00 +0900

Telegraf で GPU 情報を取得しよううとしたのですが、Jetson には nvidia-smi のコマンドがありません。

どうしようかなと思っていたら、以下の記事に Jetson で GPU 情報を取得する方法が書いてありました。

https://www.influxdata.com/blog/nvidia-jetson-series-part-1-jetson-stats/

これを参考に、InfluxDB にデータを保存し、Grafana で可視化まで行いました。
尚、TIG Stack (Telegraf, InfluxDB, Grafana) については以下を参考にしてください。

https://kuttsun.blogspot.com/2021/12/telegraf-influxdb-garafana.html

環境

Jetson Xavier NX
Ubuntu 18.04
Telegraf 1.23.0

Telegraf, InfluxDB, Grafana は Docker で動作させています。

Jetson Stats のインストール

まずはホストに Jetson Stats をインストールします。

$ sudo apt-get update
$ sudo apt-get install python3-pip
$ sudo -H python3 -m pip install -U jetson-stats

インストール後、一度ログアウト or 再起動します。

jtop を実行して動作確認します。

Telegraf の設定

Jetson Stats を使って GPU の情報を取得する python スクリプトを作成し、それを Telegraf から定期的に実行するようにします。
ただし、今回 Telegraf は Docker コンテナで動かしているので、上記の記事そのままでは上手く行きません。

Python スクリプトの作成

上記の記事にある以下のスクリプトを jetson_stats.py という名前で保存しました。

# Import jtop python library. We will use this to access the Jetson_Stats service.
from jtop import jtop
import json, datetime

if __name__ == "__main__":

 with jtop() as jetson:
 # jetson.stats provides our system measurements as type dict.
 tmp = jetson.stats
 # time and uptime are proved as time objects. These needed to be converted before passing as a JSON string,
 tmp["time"] = str(tmp["time"].strftime('%m/%d/%Y'))
 tmp["uptime"] = str(tmp["uptime"])
 # We then convert our dict -&gt; Json string
 influx_json= {"jetson": tmp}
 print(json.dumps(influx_json))

このスクリプトを Telegraf から定期的に実行することになります。

Dockerfile の作成

今までは Telegraf の Docker イメージをそのまま使っていましたが、このコンテナには Python の実行環境が入っていないため、上記の Python スクリプトを動かすことができません。
そこで、以下のような Dockerfile を作成しました。

FROM telegraf:1.23.0

ARG DEBIAN_FRONTEND=noninteractive

COPY jetson_stats.py /usr/local/bin/

RUN apt update &amp;&amp; \
 apt install -y --no-install-recommends \
 python3 \
 python3-pip \
 python3-setuptools \
 python3-wheel &amp;&amp; \
 apt autoremove &amp;&amp; apt clean &amp;&amp; rm -rf /var/lib/apt/lists/*

RUN pip3 install \
 jetson-stats

jetson_stats.py をイメージ内にコピーし、あとは Python の実行環境と Jetson Stats をインストールしています。

docker-compose.yml の変更

コンテナ内で Jetson Stats を使うためには、/run/jtop.sock をマウントする必要があるようです。
ただ、それだけではアクセス権限の関係で以下のようなエラーが表示されました。

jtop.core.exceptions.JtopException: I can't access jetson_stats.service.

Docker コンテナの実行ユーザーを /run/jtop.sock の所有グループに加えたら解決できたので、group_add のプロパティを追加します。

https://github.com/rbonghi/jetson_stats

以上を踏まえ、docker-compose.yml を以下のように変更しました（今回に関連する部分のみ抜粋）。

services:
 telegraf:
 image: telegraf-python:latest
 container_name: telegraf
 hostname: ${HOSTNAME:?}
 environment:
 - NVIDIA_VISIBLE_DEVICES=all
 - NVIDIA_DRIVER_CAPABILITIES=all
 deploy:
 resources:
 reservations:
 devices:
 - capabilities: [gpu]
 restart: unless-stopped
 ports:
 - 6514:6514
 volumes:
 - ./telegraf.conf:/etc/telegraf/telegraf.conf:ro
 - /var/run/docker.sock:/var/run/docker.sock:ro
 - /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro
 # 以下は Jetson Xavier NX 用
 - /run/jtop.sock:/run/jtop.sock:ro # https://github.com/rbonghi/jetson_stats
 user: ${TELEGRAF_UID_GID:?}
 group_add:
 - "${JTOP_GID:?}"

環境変数の追加

上記の docker-compose.yml 内にある JTOP_GID という環境変数を定義します。
~/.bashrc に以下を追記します。

export JTOP_GID=$(stat -c '%g' /run/jtop.sock)

再読み込みします。

~$ source .bashrc

これで、/run/jtop.sock の所有グループを JTOP_GID で参照できます。

telegraf.conf の設定

telegraf.conf に以下を追記します。

[[inputs.exec]]
 ## Commands array
 commands = [
 "python3 /usr/local/bin/jetson_stats.py"
 ]

 ## Timeout for each command to complete.
 timeout = "5s"

 ## measurement name suffix (for separating different commands)
 name_suffix = "_jetson_stats"

 ## Data format to consume.
 ## Each data format has its own unique set of configuration options, read
 ## more about them here:
 ## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
 data_format = "json"
 ## Array of glob pattern strings or booleans keys that should be added as string fields.
 json_string_fields = ["jetson_uptime", "jetson_nvp model", "jetson_NVENC", "jetson_NVDEC", "jetson_NVJPG"]

内容は前述の参考記事の中身そのままです。

テスト

Docker コンテナに入って、以下のコマンドを実行します。

python3 jetson_stats.py

json が取得できていれば OK です。

Grafana のダッシュボードを作成

Jetson Stats 用のテンプレートがないかなと探してみましたが、見つかりませんでした。
どうやら自分で作成するしかなさそうです。

参考として、jetson_stats.py を実行したら以下のような出力が得られます（わかりやすいように整形しています）。

{
 "jetson": {
 "time": "09/14/2022",
 "uptime": "0:40:39.970000",
 "jetson_clocks": "OFF",
 "nvp model": "MODE_10W_DESKTOP",
 "CPU1": 16,
 "CPU2": 13,
 "CPU3": 13,
 "CPU4": 14,
 "CPU5": "OFF",
 "CPU6": "OFF",
 "GPU": 0,
 "MTS FG": 0,
 "MTS BG": 0,
 "RAM": 1413804,
 "EMC": 1413804,
 "SWAP": 0,
 "APE": 150,
 "NVENC": "OFF",
 "NVDEC": "OFF",
 "NVJPG": "OFF",
 "fan": 0.0,
 "Temp AO": 42.0,
 "Temp AUX": 42.0,
 "Temp CPU": 42.5,
 "Temp GPU": 41.5,
 "Temp thermal": 42.15,
 "power cur": 4166,
 "power avg": 4166
 }
}

これらの値が InfluxDB に格納されているはずなので、その値を使ってダッシュボードを作成していきます。
尚、各プロパティの説明は以下にありました。

https://rnext.it/jetson_stats/jtop.html#jtop.jtop.jtop.stats

単位くらい書いておいてほしいなぁ〜。

参考 URL

TIG Stack を動かしてみる

Fri, 16 Sep 2022 00:00:00 +0900

サーバーリソースのメトリクスやログの収集・保存・可視化・アラートを行うためにTIG Stack (Telegraf, InfluxDB, Grafana) を使って一通り設定してみました。

一応、以前にも記事は書いていますが、

https://kuttsun.blogspot.com/2021/12/telegraf-influxdb-garafana.html

ちょっと情報が古くなっていたので、アップデートし、さらに出来る限り設定を自動化しました。

予備知識

時系列とは何ぞや？ TICK スタックとは何ぞや？みたいな話が以下に載ってました。

環境

TIG Stack は全て Docker で動かします。

Ubuntu 20.04
Docker 20.10.12
Telegraf 1.23.0
InfluxDB 1.8.10
Grafana 9.1.0

各ツールの役割

ツール	役割	Docker イメージ
Telegraf	データの収集	https://hub.docker.com/_/telegraf
InfluxDB	データの保存（時系列データベース）	https://hub.docker.com/_/influxdb
Grafana	データの可視化（UI）	https://hub.docker.com/r/grafana/grafana/

上記の Docker hub のページに各ツールの起動方法や設定方法などが一通り載っているので、それを参考に設定していきます。

Telegraf の設定

まずは設定ファイルの雛型（デフォルトの設定ファイル）を取得します。
Telegraf の Docker コンテナを起動し、コンテナ内から設定ファイルをホストにコピーしてきます。

$ docker run --rm telegraf telegraf config > telegraf.conf

この telegraf.conf を取得したいデータに応じて編集します。
これについてはいろいろあるので、別記事にまとめました。

docker-compose.yml

設定ファイルが必要なのは Telegraf だけなので、ここで TIG Stack を起動する docker-compose.yml のサンプルを載せます。
前提として、tigstack というネットワークを共通に使用しているので、以下のコマンドであらかじめ作成しておく必要があります。

$ docker network create tigstack

以下、docker-compose.yml のサンプルです。解説などは後述します。

Telegraf について

GPU の情報取得について

NVIDIA の GPU の情報を取得するために以下を指定しています。

environment:
 - NVIDIA_VISIBLE_DEVICES=all
 - NVIDIA_DRIVER_CAPABILITIES=all
deploy:
 resources:
 reservations:
 devices:
 - capabilities: [gpu]
volumes:
 - /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro

これについては以下の記事を参照してください。

/usr/bin/nvidia-smi のパスは環境によっては異なるかもしれません。

Docker の情報取得について

Docker の情報を取得するためには /var/run/docker.sock をマウントする必要があります。
さらに Telegraf の実行ユーザーが docker.sock にアクセスできるように、user を設定する必要があります。

volumes:
 - /var/run/docker.sock:/var/run/docker.sock:ro
user: ${TELEGRAF_UID_GID:?}

これについては以下の記事を参照してください。

ホスト名の指定

Telegraf がメトリクスを InfluxDB に記録する際、ホスト名も記録されますが、Docker コンテナのホスト名はデフォルトだとランダムな値となり、このままでよくわからないので、設定します。
ここではホストマシンと同じホスト名を指定しました。

hostname: ${HOSTNAME:?}

これについては以下の記事を参照してください。

InfluxDB について

初回起動時にデフォルトのリテンションポリシーを設定するために以下を指定しています。

environment:
 DOCKER_INFLUXDB_INIT_MODE: setup
 DOCKER_INFLUXDB_INIT_RETENTION: 10d

Telegraf で CPU の温度を取得する

Wed, 24 Aug 2022 00:00:00 +0900

タイトルの通りです。

環境

Ubuntu 20.04

CPU の温度観測プローブを調べる

以下の記事が参考になりました。

https://qiita.com/koara-local/items/1fac13704123717f5cc8

/sys/class/thermal に thermal_zone0 〜 thermal_zone3 の４つのディレクトリがあり、このうちのどれかが CPU の温度観測用のファイルのようです。
これらの中にある type ファイルを見ることで、何の温度を表しているかが分かるようです。

$ cat /sys/class/thermal/thermal_zone0/type
acpitz
$ cat /sys/class/thermal/thermal_zone1/type
acpitz
$ cat /sys/class/thermal/thermal_zone2/type
pch_skylake
$ cat /sys/class/thermal/thermal_zone3/type
x86_pkg_temp

どうやら私の環境では thermal_zone3 が CPU の温度のようです。
なので、/sys/class/thermal/thermal_zone3/temp を見ることで CPU の温度が取得できます。

$ cat /sys/class/thermal/thermal_zone3/temp
35000

1000 倍された値が表示されるので、上記の場合 35℃ です。

Telegraf の設定

上記のファイルを監視するように、telegraf.conf に以下を記述するだけです。

[[inputs.file]]
 files = ["/sys/class/thermal/thermal_zone3/temp"]
 name_override = "cpu_temperature"
 data_format = "value"
 data_type = "integer"

参考 URL

Telegraf が docker.sock にアクセスできない

Sat, 02 Jul 2022 00:00:00 +0900

Docker コンテナ内で Telegraf を動かして、Docker の情報を収集するには /var/run/docker.sock をマウントする必要がありますが、それだけでは以下のように Got permission denied のエラーが表示されました。

E! [inputs.docker] Error in plugin: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/info": dial unix /var/run/docker.sock: connect: permission denied
E! [inputs.docker] Error in plugin: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containers/json?filters=%7B%22status%22%3A%7B%22running%22%3Atrue%7D%7D&limit=0": dial unix /var/run/docker.sock: connect: permission denied

Telegraf の 1.20.3 以降、Telegraf の実行ユーザーは telegraf という非 root ユーザーに変わったらしいです。

https://www.influxdata.com/blog/docker-run-telegraf-as-non-root/

なので、Telegraf の実行ユーザーが docker コマンドを実行できるように、以下のように user を指定する必要があるそうです。

$ docker run --user telegraf:$(stat -c '%g' /var/run/docker.sock) ...

docker-compose の場合

yml 内ではシェル変数を参照できないので、あらかじめ環境変数を設定しておくなど、少し工夫が必要です。

$ export TELEGRAF_UID_GID=telegraf:$(stat -c '%g' /var/run/docker.sock)

docker-compose.yml で環境変数を参照します。

user: ${TELEGRAF_UID_GID}

ここらへんについては以下の記事が参考になると思います。

https://kuttsun.blogspot.com/2022/06/docker-composeyml-hostname.html

参考 URL

https://www.influxdata.com/blog/docker-run-telegraf-as-non-root/

Telegraf で Docker の情報を取得して Grafana で可視化する

Mon, 27 Dec 2021 00:00:00 +0900

サーバーリソースの可視化は以前やったので、今度は Docker の情報を可視化してみました。

Grafana のダッシュボードは以下を使いました。

https://grafana.com/grafana/dashboards/10585

これに書いてあることをやっただけですが・・・。

telegraf.conf の設定

以下を追加します。

[[inputs.docker]]
 endpoint = "unix:///var/run/docker.sock"
 
 gather_services = false

 container_name_include = []
 container_name_exclude = []

 timeout = "5s"

 docker_label_include = []
 docker_label_exclude = []

 perdevice = true

 total = false

docker-compose.yaml の設定

Telegraf の volume に /var/run/docker.sock を追加します。
また、/var/run/docker.sock にアクセスするためには Telegraf の実行ユーザーを Docker と同じにする必要があります。

https://www.influxdata.com/blog/docker-run-telegraf-as-non-root/

volumes:
 - /var/run/docker.sock:/var/run/docker.sock
users: 1000:133 # UID:GID

さらに、情報を習得したい全サービスに以下を追加してグループ化します。

labels:
 - "docker.group=<some_name>"

ラベルの名前は何でもいいようです。
ラベルを設定しなかったサービスの情報は取得されませんでした。

Grafana の設定

以下から JSON ファイルをダウンロードし、Grafana でインポートします。

https://grafana.com/grafana/dashboards/10585

以上で以下のようなダッシュボードが表示されます。

参考 URL

Telegraf で GPU の情報を取得し、Grafana で可視化する

Sun, 26 Dec 2021 00:00:00 +0900

Telegraf, InfluxDB, Grafana を使って GPU の情報を閲覧できるようにしました。

以前、Telegraf, InfluxDB, Grafana を使ってサーバーリソースの情報を閲覧できるようにしました。

https://kuttsun.blogspot.com/2021/12/telegraf-influxdb-garafana.html

これを前提としたうえで、今回 GPU の情報も見れるようにしました。

試したグラフィックボードは NVIDIA GeForce RTX 3080 です。
グラフィックドライバーのインストールなどは完了している前提です。

概要

Telegraf の nvidia_smi プラグインを使えば GPU の情報を取得できるようです。
nvidia_smi のプラグインについては以下に説明があります。

https://github.com/influxdata/telegraf/blob/master/plugins/inputs/nvidia_smi/README.md

上記の記事に書いてありますが、Docker で動作させている Telegraf で GPU の情報を取得するには、以下の２つの方法があるようです。

nvidia/cuda の Docker イメージをベースに Telegraf をインストールしたカスタムイメージを作成する
Volume のマウントバインディングを使用して nvidia-smi のバイナリを Docker コンテナに注入する

今回は後者でいきます。

Telegraf の設定

telegraf.conf に以下を追加しました。

[[inputs.nvidia_smi]]
 #bin_path = "/usr/bin/nvidia-smi"

inputs.nvidia_smi を追加するだけでプラグインが有効になるようです。
bin_path は nvidia-smi のある場所です。
以下のコマンドで調べられます。

$ which nvidia-smi
/usr/bin/nvidia-smi

Linux では通常 /usr/bin/nvidia-smi にあるそうで、その場合は指定しなくてもよいそうです。

docker-compose の設定

Telegraf を動作させている Docker コンテナから nvidia-smi と GPU にアクセスできるように設定します。
例えば、以下のような感じです。

version: '3.5'
services:
 telegraf:
 container_name: telegraf
 image: telegraf
 environment:
 - NVIDIA_VISIBLE_DEVICES=all
 - NVIDIA_DRIVER_CAPABILITIES=all
 deploy:
 resources:
 reservations:
 devices:
 - capabilities: [gpu]
 volumes:
 - ./telegraf.conf:/etc/telegraf/telegraf.conf:ro
 - /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro

ホストの /usr/bin/nvidia-smi をコンテナにマウントします。
Docker コンテナでの GPU の使用については以下の記事にも書いているので、参照してください。

https://kuttsun.blogspot.com/2021/11/docker-compose-gpu.html

Grafana の設定

Docker コンテナを起動したら、Grafana で以下のダッシュボードのテンプレートをインストールします。

https://grafana.com/grafana/dashboards/12225

これで閲覧できるようになると思ったのですが、Hostname に None しか表示されず、グラフに何も表示されない状態でした。
どうもこのテンプレートが Windows を前提としているようですので、ダッシュボードの設定をちょっと修正しました。

ダッシュボードの設定画面を開き Variables を選択します。
hostname の定義を以下のように変更します。

変更前

SHOW TAG VALUES FROM "win_system" WITH KEY = "host"

変更後

SHOW TAG VALUES FROM system WITH KEY=host

これで以下のようにグラフが表示されるようになりました。

他に CPU Usage と Memory Free のメーター表示も Windows 前提となっているようなので、必要なら修正してください。
私は CPU やメモリなどは他のダッシュボードで閲覧しており、ここでは GPU の情報だけで十分だったので、そこまで修正しませんでした。

参考 URL

rsyslog から Telegraf への送信に時々失敗する

Wed, 22 Dec 2021 00:00:00 +0900

rsyslog から Telegraf にログを TCP で転送するように設定してみましたが、Grafana で閲覧していると表示されないログがあり、送信に失敗しているようでした。

ググてみると以下のページを見つけました。

https://gist.github.com/froop/e3a1e7d14a8143f9951b85afff6b5469#file-rsyslog-bug4227-md

どうやら rsyslog の不具合のようで、バージョン 8.2010.0 で修正されているようです。
rsyslog のバージョンは以下で確認できます。

$ rsyslogd -v

私の環境 (Ubuntu 20.04) の rsyslog のバージョンは 8.2001.0 でした。なので、rsyslog をアップデートします。アップデート方法は以下に書いてありました。

https://www.rsyslog.com/ubuntu-repository/

$ sudo add-apt-repository ppa:adiscon/v8-stable
$ sudo apt-get update
$ sudo apt-get install rsyslog

現在の /etc/rsyslog.conf を最新のに差し替えるか残すかを聞かれますが、最新のに差し替えた後で再設定を行いました。再設定後は rsyslog を再起動します。尚、アップデート後のバージョンは 8.2021.0 でした。アップデート後は、ざっと見た感じきちんと転送されているように見えます。

参考 URL

Syslog を Telegraf に送り、Grafana で閲覧できるようにする

Mon, 20 Dec 2021 00:00:00 +0900

以下に Syslog 用のテンプレートと解説があるので簡単にできるかと思ったんですが、結構苦労しました・・・。

https://grafana.com/grafana/dashboards/12433

概要

ホストの Syslog から Telegraf にログを送り、Telegraf が InfluxDB に保存し、Grafana が InfluxDB から読み込んで可視化します。

Telegraf、InfluxDB、Grafana は全て docker-compose で動かしています。
これについては以下の記事で書いているので省略します。

https://kuttsun.blogspot.com/2021/12/telegraf-influxdb-garafana.html

上記記事からの変更点を以下に記述します。

rsyslog の設定

まずは Syslog から Telegraf にログを送信するように設定します。
/etc/rsyslog.conf を編集します。

$ sudo gedit /etc/rsyslog.conf

以下の設定を追加します。

$WorkDirectory /var/spool/rsyslog 
$ActionQueueType LinkedList 
$ActionQueueFileName srvrfwd 
$ActionResumeRetryCount -1 
$ActionQueueSaveOnShutdown on 
$ModLoad imudp #loads the udp module 
$UDPServerAddress localhost 
$UDPServerRun 514
*.* @@(o)127.0.0.1:6514;RSYSLOG_SyslogProtocol23Format

rsyslog を再起動します。

$ sudo systemctl restart rsyslog

Telegraf の設定

telegraf.conf に以下の設定を追加します。

[[inputs.syslog]]
 server = "tcp://0.0.0.0:6514"

Syslog から TCP ポート 6514 で受信するように設定していますが、docker で動かしているので localhost を指定すると上手く動作しません。
とりあえず 0.0.0.0 を指定しましたが、もしかしたら host.docker.internal とかでもいけるのかもしれません（未確認）。

docker-compose.yaml の変更

ポート 6514 を使用できるようにします。

services:
 telegraf:
 container_name: telegraf
 image: telegraf
 ports:
 - 6514:6514

docker コンテナを再起動します。

Grafana の設定

以下のページからダッシュボードの JSON ファイルをダウンロードしてインポートするだけです。

https://grafana.com/grafana/dashboards/12433

これで以下のようなダッシュボードが完成します。

参考 URL

Telegraf + InfluxDB + Garafana でサーバーリソースを可視化する

Sat, 18 Dec 2021 00:00:00 +0900

CPUやメモリなどのリソースを収集して閲覧したいなと思い、ググってみるとこの組み合わせが良さそうでした。
Telegraf でデータを取得して InfluxDB に書き込み、Grafana で InfluxDB のデータを読み込んで可視化します。

個人的に InfluxDB と Grafana は使ったことありますが、Telegraf は今回初めて使いました。

尚、この３つの頭文字を取って TIG Stack と呼んでいるページもいくつか見かけました。

環境

Ubuntu 20.04
Docker 20.10.7
Telegraf 1.20.4
InfluxDB 1.8.6
Grafana 7.5.7

Telegraf と Grafana は現時点の最新のバージョンですが、InfluxDB は 2.0 系ではなく 1.8.6 を使いました。
InfluxDB 2.0 を使ったことがないのと、参考にした Telegraf の設定ファイルのサンプルが InfluxDB 2.0 ではないものばかりだったからです。

また、Telegraf, InfluxDB, Grafana は全て Docker (docker-compose) を使って動かします。

docker-compose.yaml のサンプル

以下のような docker-compose.yaml を作成しました。

version: '3.1'
services:
 telegraf:
 container_name: telegraf
 image: telegraf
 restart: always
 volumes:
 - ./telegraf.conf:/etc/telegraf/telegraf.conf:ro
 depends_on:
 - influxdb
 links:
 - influxdb
 networks:
 - common
 influxdb:
 container_name: influxdb
 image: influxdb:1.8.6
 restart: always
 ports:
 - 8086:8086
 volumes:
 - influxdb:/var/lib/influxdb
 networks:
 - common
 grafana:
 container_name: grafana
 image: grafana/grafana
 restart: always
 links:
 - influxdb
 ports:
 - 3000:3000
 volumes:
 - grafana:/var/lib/grafana
 networks:
 - common
networks:
 common:
 external: true
volumes:
 influxdb:
 grafana:

common というネットワークを共通で使っているので、あらかじめ docker network create で作成しておく必要があります。

Telegraf の設定

telegraf.conf を作成します。

以下のページにちょうど良いのがあるのでこれをそのまま使いました。

https://grafana.com/grafana/dashboards/928

後述しますが、Grafana のダッシュボードのテンプレートもこれを使いました。
上記の設定をコピーしたら最低限以下の設定だけ変更します。

[agent] > hostname にマシン名を設定
- 設定しないと自動で設定されますが、起動の度に変わるので設定しておいたほうがよいと思います。
- 環境変数が使えるので、hostname = "$HOSTNAME" のようにも書けます。
[[outputs.influxdb]] > urls を InfluxDB の URL に変更
- 上記の docker-compose.yaml の場合、URL は http://influxdb.common:8086 のようにコンテナ名とネットワーク名を使っても指定できます。

他は必要に応じて設定します。

起動

$ docker-compose up

デーモン化したい場合は -d を指定します。
起動すると InfluxDB に Telegraf 用のデータベースを自動で作成してくれます。
（データベース名は telegraf.conf で設定できます。）

Grafana の設定

Grafana にアクセスし、ログインします。

http://localhost:3000

初期 ID とパスワードはどちらも admin です。

DB の登録

Configuration > Data Sources > Add data source > InfluxDB を選択します。

URL と Database の２つを設定します。
今回の例では以下のように設定します。

URL に http://influxdb.common:8086 を設定
Database に telegraf_metrics を設定

ダッシュボードの作成

Telegraf 用のテンプレートがあるので、それをインポートするのが楽です。
テンプレートは以下のページで探せます。

https://grafana.com/grafana/dashboards/

今回は以下のテンプレートを使いました。

https://grafana.com/grafana/dashboards/928

上記から JSON ファイルをダウンロードし、Grafana の左メニューの + ボタンからインポートします。
インポートの際、データベースは telegraf_metrics を選択します。

ダッシュボードにアクセスすると以下のような画面が表示されます。

かっこいい画面が簡単に作成できました。

リテンションポリシーの設定

telegraf.conf の [[outputs.influxdb]] > retention_policy でリテンションポリシーを指定できますが、ここが未指定だとデフォルトの autogen が使用され、データが無期限に保存されることになるので指定します。
例えば、リテンションポリシー名に hoge と指定します。

この状態で動作させると、hoge というリテンションポリシーが存在しないというエラーが出るので、InfluxDB のコンテナに入ってリテンションポリシーを作成します。

$ docker exec -it influxdb bash

コンテナに入ったら以下のコマンドでリテンションポリシーを作成します。

# influx
> CREATE RETENTION POLICY "リテンションポリシー名" ON "データベース名" DURATION "期間" REPLICATION 1 DEFAULT

例えば、今回は以下のように指定します。

CREATE RETENTION POLICY "hoge" ON "telegraf_metrics" DURATION 1h REPLICATION 1 DEFAULT

上記のコマンドではデータの保存期間を１時間に設定しています。

Telegraf on ポンコツ地方エンジニアの技術ブログ

Telegraf で Jetson の GPU 情報を取得する

環境

Jetson Stats のインストール

Telegraf の設定

Python スクリプトの作成

Dockerfile の作成

docker-compose.yml の変更

環境変数の追加

telegraf.conf の設定

テスト

Grafana のダッシュボードを作成

参考 URL

TIG Stack を動かしてみる

予備知識

環境

各ツールの役割

Telegraf の設定

docker-compose.yml

Telegraf について

GPU の情報取得について

Docker の情報取得について

ホスト名の指定

InfluxDB について

Telegraf で CPU の温度を取得する

環境

CPU の温度観測プローブを調べる

Telegraf の設定

参考 URL

Telegraf が docker.sock にアクセスできない

docker-compose の場合

参考 URL

Telegraf で Docker の情報を 取得して Grafana で可視化する

telegraf.conf の設定

docker-compose.yaml の設定

Grafana の設定

参考 URL

Telegraf で GPU の情報を取得し、Grafana で可視化する

概要

Telegraf の設定

docker-compose の設定

Grafana の設定

参考 URL

rsyslog から Telegraf への送信に時々失敗する

参考 URL

Syslog を Telegraf に送り、Grafana で閲覧できるようにする

概要

rsyslog の設定

Telegraf の設定

docker-compose.yaml の変更

Grafana の設定

参考 URL

Telegraf + InfluxDB + Garafana でサーバーリソースを可視化する

環境

docker-compose.yaml のサンプル

Telegraf の設定

起動

Grafana の設定

DB の登録

ダッシュボードの作成

リテンションポリシーの設定

参考 URL

Telegraf で Docker の情報を取得して Grafana で可視化する