Influxdb on ポンコツ地方エンジニアの技術ブログ

Grafana Cloud で InfluxDB v2 のデータを可視化する

Fri, 06 Jan 2023 00:00:00 +0900

InfluxDB v2 ではそれ自体でダッシュボードの作成もできますが、まだまだ使いにくかったり細かい設定ができなかったりしたので、使い慣れている Grafana を使うことにしました。
また、この機会に Grafana もオンプレミス版からクラウドサービスの Grafana Cloud に変更しました。

Grafana Cloud へのサインアップ方法などは割愛します。

データソースの設定

サイドメニューから Data Sources を選択します。
Add data source をクリックし、InfluxDB をクリックします。
InfluxDB の情報を入力します。

InfluxDB Cloud の場合、Query Language は Flux を選択します。
また、URL, トークン、バケット名が必要になるので、以下を参考に取得しておきます。

https://kuttsun.blogspot.com/2022/12/influxdb-cloud.html

ダッシュボード（パネル）の作成

InfluxDB v1 では GUI でポチポチと設定していくだけでグラフが表示できましたが、InfluxDB v2 では Flux で処理を書いていく必要があります。
最初は難しかったですが、慣れればこちらのほうが簡単に思えてきました。
いくつか例を挙げます。

基本

以下にサンプルがあります。

https://grafana.com/docs/grafana/latest/datasources/influxdb/query-editor/#use-macros

from(bucket:"バケット名")
 |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
 |> filter(fn:(r) => r._measurement == "メジャーメント名")
 |> filter(fn:(r) => r["_field"] == "表示したいフィールドの名前")
 |> aggregateWindow(every: v.windowPeriod, fn: mean)

基本的にはこれでグラフが作成できます。

一日ごとのデータを表示

例えば株価の終値を表示したい場合などは以下のようにすることでできました。

import "timezone"

option location = timezone.location(name: "Asia/Tokyo")

from(bucket:"バケット名")
 |> range(start: -30d, stop: now())
 |> filter(fn:(r) => r._measurement == "メジャーメント名")
 |> filter(fn:(r) => r["_field"] == "表示したいフィールドの名前")
 |> aggregateWindow(every: 1d, fn: last)

ポイントは aggregateWindow(every: 1d, fn: last) で、一日ごとの最後の値を取得しています。

また、タイムゾーンを指定しないと UTC での終値（つまり、日本時間の9時の時点の値）が取得されてしまったので、JST を指定しました。

https://www.influxdata.com/blog/time-zones-in-flux/

尚、私の場合はグラフではなくテーブル表示にしたかったため、グラフの表示期間に関わらず range(start: -30d, stop: now()) で直近30日固定表示にしています。

累積グラフの作成

cumulativeSum を使います。

https://docs.influxdata.com/influxdb/cloud/query-data/flux/cumulativesum/

例えば、日次損益の集計を行う場合などは以下のようにするとできました。

import "timezone"

option location = timezone.location(name: "Asia/Tokyo")

from(bucket:"バケット名")
 |> range(start: -30d, stop: now())
 |> filter(fn:(r) => r._measurement == "メジャーメント名")
 |> filter(fn:(r) => r["_field"] == "表示したいフィールドの名前")
 |> aggregateWindow(every: 1d, fn: last)
 |> cumulativeSum()

一日ごとの値は取り出す方法は前述の例と同じです。
あとはそれを cumulativeSum() で加算していくだけです。
これにより、一日ごとの値を加算してグラフに表示できます。

参考 URL

Influxdb Cloud を使ってみた

Mon, 26 Dec 2022 00:00:00 +0900

今までは AWS や GCP 上に InfluxDB の環境を用意して使っていたのですが、InfluxDB Cloud というクラウドサービスがあることを知ったので、使ってみました。
バージョンも今までは v1 を使っていましたが、クラウドなので v2 に変わります。

準備

バケットの作成

InfluxDB v1 系でいう、データベースとリテンションポリシーを合わせたようなものかなと思います。

サイドメニューより Load Data > Buckets を選択します。
画面右側の GENERATE BUCKET > クリックします。
バケット名を入力し、必要に応じてデータの保存期間を指定します（デフォルトでは 30 日経ったら古いデータが削除されます）。

トークンの取得

サイドメニューより Load Data > API Tokens を選択します。
画面右側の GENERATE API TOKEN > All Access API Token を選択します。
トークンが表示されるのでコピーします。

コピーしたトークンは環境変数などに設定して使います。

$ export INFLUX_TOKEN=コピーしたトークン

URL の取得

API エンドポイントとなる URL は以下で取得できます。

画面上部のメールアドレスを選択 > Settings をクリック

Python からデータを書き込む

以下の記事を参考にしてください。

https://kuttsun.blogspot.com/2022/12/python-influxdb-18-influxdbclient.html

必要な情報はバケット名、トークン、URL です。

ダッシュボードの作成

別途記事にします。

参考 URL

https://dev.classmethod.jp/articles/send-and-visualize-data-with-influxdb-cloud/

[Python] InfluxDB 1.8 で influxdb_client を使う

Wed, 21 Dec 2022 00:00:00 +0900

python で InfluxDB v1 に対してデータの読み書きを行う際に、ayncio を使って非同期化したいなと思ったのですが、今使っているライブラリの InfluxDBClient は asyncio に対応していないようでした。

代わりに influxdata 社の influx-client を使うと asyncio を使えそうだったのですが、こちらは基本的に InfluxDB v2 以降にのみ対応しているようで、Flux という言語にしか対応していません。
InfluxDB v1 以前は InfluxQL という SQL に近い言語が使われていました。

こちら、以下のページが参考になりました。

https://rabbit-note.com/2022/09/12/influxdb-2-flux/

ただ、InfluxDB 1.7以降でも設定を変更することで Flux が使えるようになるそうです。

https://github.com/influxdata/influxdb-client-python#influxdb-1-8-api-compatibility

従って、InfluxDB v1 でも Flux を有効にしたうえで、Flux でクエリを記述してデータを取得するようにすれば、asyncio を使って非同期化することができそうです。
ちなみに、データの書き込みに関しては Flux は関係ありませんでした。

以下、InfluxDB v1 の前提で書いていますが、v2 でも基本的には同じです。
bucket token の指定方法が異なるだけです。

環境

InfluxDB 1.8.10

Flux 言語を有効化する

InfluxDB を Docker で動かしていたのですが、環境変数に以下を追加するだけで OK でした。

INFLUXDB_HTTP_FLUX_ENABLED=true

サンプルコード

データの書き込み (write_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync
from influxdb_client.client.write.point import Point
from influxdb_client.domain.write_precision import WritePrecision

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん
 
 data = []
 data.append({
 'fields': {
 'hoge': 1
 },
 'measurement': 'measurement',
 'tags': {
 'hostname': 'hostname',
 }
 })
 points = [ Point.from_dict(i, WritePrecision.MS) for i in data ]
 
 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 write_api = client.write_api()
 successfully = await write_api.write(bucket=bucket, record=points)
 print(successfully)

データの読み込み (query_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん

 query = f"""
 from(bucket: "{bucket}")
 |> range(start: -10m)
 |> filter(fn:(r) => r._measurement == "measurement")
 |> filter(fn: (r) => r["_field"] == "field")
 |> aggregateWindow(every: 1m, fn: mean, createEmpty: false)
 """

 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 tables = await client.query_api().query(query=query)
 for table in tables:
 print(table)
 for record in table.records:
 print (record.values)

 asyncio.run(main())

Flux については以下のページが参考になりました。

https://qiita.com/riverplus/items/20456e4188a4c0f5f62d

参考 URL

InfluxDB のコマンド (InfluxQL)

Thu, 22 Sep 2022 00:00:00 +0900

ちょっと何かしたいというときに毎回コマンドを調べているので、個人的によく使うコマンドをまとめてみました。

環境

Ubuntu 20.04
InfluxDB 1.8.0

事前知識

influx コマンドで DB との対話モードとなります。
この状態でコマンドを実行していきます。
尚、対話モードに入らずに以下のようにしてコマンドを実行することもできます。

$ influx -execute "コマンド"

以下、対話モードになっている前提でコマンドのみ記載します。

データベースの作成

https://docs.influxdata.com/influxdb/v1.8/query_language/spec/#create-database

create database <データベース名> を実行します。

> create database sampledb

データベースの表示

https://docs.influxdata.com/influxdb/v1.8/query_language/spec/#show-databases

show databases を実行します。

> show databases
name: databases
name
----
sampledb
_internal

リテンションポリシーの作成

https://docs.influxdata.com/influxdb/v1.8/query_language/spec/#create-retention-policy

create retention policy <リテンションポリシー名> on <データベース名> を実行します。

> create retention policy samplerp on sampledb duration 30d replication 1 default

duration : 保存期間を指定
- https://docs.influxdata.com/influxdb/v1.8/query_language/spec/#durations
replication : でレプリケーション数を指定
default : このリテンションポリシーをデフォルトにする

リテンションポリシーの表示

https://docs.influxdata.com/influxdb/v1.8/query_language/spec/#show-retention-policies

use <データベース名> でデータベースを選択し、show retention policies で表示します。

> use sampledb
Using database sampledb
> show retention policies
name duration shardGroupDuration replicaN default
---- -------- ------------------ -------- -------
autogen 0s 168h0m0s 1 false
samplerp 720h0m0s 24h0m0s 1 true

リテンションポリシーの保存期間を変更

https://docs.influxdata.com/influxdb/v1.8/query_language/spec/#alter-retention-policy

alter retention policy <リテンションポリシー名> on <データベース名> duration <保存期間> を実行します。

> alter retention policy samplerp on sampledb duration 180d

show retention policies で変わったことを確認します。

> show retention policies
name duration shardGroupDuration replicaN default
---- -------- ------------------ -------- -------
autogen 0s 168h0m0s 1 false
samplerp 4320h0m0s 24h0m0s 1 true

TIG Stack を動かしてみる

Fri, 16 Sep 2022 00:00:00 +0900

サーバーリソースのメトリクスやログの収集・保存・可視化・アラートを行うためにTIG Stack (Telegraf, InfluxDB, Grafana) を使って一通り設定してみました。

一応、以前にも記事は書いていますが、

https://kuttsun.blogspot.com/2021/12/telegraf-influxdb-garafana.html

ちょっと情報が古くなっていたので、アップデートし、さらに出来る限り設定を自動化しました。

予備知識

時系列とは何ぞや？ TICK スタックとは何ぞや？みたいな話が以下に載ってました。

環境

TIG Stack は全て Docker で動かします。

Ubuntu 20.04
Docker 20.10.12
Telegraf 1.23.0
InfluxDB 1.8.10
Grafana 9.1.0

各ツールの役割

ツール	役割	Docker イメージ
Telegraf	データの収集	https://hub.docker.com/_/telegraf
InfluxDB	データの保存（時系列データベース）	https://hub.docker.com/_/influxdb
Grafana	データの可視化（UI）	https://hub.docker.com/r/grafana/grafana/

上記の Docker hub のページに各ツールの起動方法や設定方法などが一通り載っているので、それを参考に設定していきます。

Telegraf の設定

まずは設定ファイルの雛型（デフォルトの設定ファイル）を取得します。
Telegraf の Docker コンテナを起動し、コンテナ内から設定ファイルをホストにコピーしてきます。

$ docker run --rm telegraf telegraf config > telegraf.conf

この telegraf.conf を取得したいデータに応じて編集します。
これについてはいろいろあるので、別記事にまとめました。

docker-compose.yml

設定ファイルが必要なのは Telegraf だけなので、ここで TIG Stack を起動する docker-compose.yml のサンプルを載せます。
前提として、tigstack というネットワークを共通に使用しているので、以下のコマンドであらかじめ作成しておく必要があります。

$ docker network create tigstack

以下、docker-compose.yml のサンプルです。解説などは後述します。

Telegraf について

GPU の情報取得について

NVIDIA の GPU の情報を取得するために以下を指定しています。

environment:
 - NVIDIA_VISIBLE_DEVICES=all
 - NVIDIA_DRIVER_CAPABILITIES=all
deploy:
 resources:
 reservations:
 devices:
 - capabilities: [gpu]
volumes:
 - /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro

これについては以下の記事を参照してください。

/usr/bin/nvidia-smi のパスは環境によっては異なるかもしれません。

Docker の情報取得について

Docker の情報を取得するためには /var/run/docker.sock をマウントする必要があります。
さらに Telegraf の実行ユーザーが docker.sock にアクセスできるように、user を設定する必要があります。

volumes:
 - /var/run/docker.sock:/var/run/docker.sock:ro
user: ${TELEGRAF_UID_GID:?}

これについては以下の記事を参照してください。

ホスト名の指定

Telegraf がメトリクスを InfluxDB に記録する際、ホスト名も記録されますが、Docker コンテナのホスト名はデフォルトだとランダムな値となり、このままでよくわからないので、設定します。
ここではホストマシンと同じホスト名を指定しました。

hostname: ${HOSTNAME:?}

これについては以下の記事を参照してください。

InfluxDB について

初回起動時にデフォルトのリテンションポリシーを設定するために以下を指定しています。

environment:
 DOCKER_INFLUXDB_INIT_MODE: setup
 DOCKER_INFLUXDB_INIT_RETENTION: 10d

InfluxDB のコンテナ作成時にデータベースとリテンションポリシーの作成を行う

Tue, 09 Aug 2022 00:00:00 +0900

Docker を使って InfluxDB を動かしているのですが、データベースとリテンションポリシーをコンテナ起動時に作成できないかなと思い、調べてみたらやり方を見つけました。

以下のページが参考になりました。

https://www.easydevguide.com/posts/docker_influxdb_init

環境

InfluxDB: 1.8.10

作成方法

まず適当な名前（ここでは setup_influxdb.sh）でシェルスクリプトファイルを作成し、以下のような内容で記述します。

# create database
influx -execute "CREATE DATABASE dbname"
# create retention policy
influx -execute "CREATE RETENTION POLICY rpname ON dbname DURATION 30d REPLICATION 1 DEFAULT"

dbname, rpname, 保存期間などは適当に置き換えてください。

これを、InfluxDB のコンテナ内の /docker-entrypoint-initdb.d/ に配置します。
例えば、私の場合は docker-compse を使っているので、以下のようにマウントしました。

services:
 influxdb:
 image: influxdb:1.8.10
 container_name: influxdb
 restart: unless-stopped
 expose:
 - 8086
 volumes:
 - influxdb:/var/lib/influxdb
 - ./setup_influxdb.sh:/docker-entrypoint-initdb.d/setup_influxdb.sh:ro
volumes:
 influxdb:

これでコンテナ起動時にスクリプトが実行され、データベースとリテンションポリシーが作成されます。

確認方法

まずコンテナに入ります。

$ docker exec -it influxdb bash

データベースの一覧は以下で確認できます。

# influx
> show databases

リテンションポリシーの一覧は以下で確認できます。

# influx
> use dbname
> show retention policies

参考 URL

Telegraf が docker.sock にアクセスできない

Sat, 02 Jul 2022 00:00:00 +0900

Docker コンテナ内で Telegraf を動かして、Docker の情報を収集するには /var/run/docker.sock をマウントする必要がありますが、それだけでは以下のように Got permission denied のエラーが表示されました。

E! [inputs.docker] Error in plugin: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/info": dial unix /var/run/docker.sock: connect: permission denied
E! [inputs.docker] Error in plugin: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containers/json?filters=%7B%22status%22%3A%7B%22running%22%3Atrue%7D%7D&limit=0": dial unix /var/run/docker.sock: connect: permission denied

Telegraf の 1.20.3 以降、Telegraf の実行ユーザーは telegraf という非 root ユーザーに変わったらしいです。

https://www.influxdata.com/blog/docker-run-telegraf-as-non-root/

なので、Telegraf の実行ユーザーが docker コマンドを実行できるように、以下のように user を指定する必要があるそうです。

$ docker run --user telegraf:$(stat -c '%g' /var/run/docker.sock) ...

docker-compose の場合

yml 内ではシェル変数を参照できないので、あらかじめ環境変数を設定しておくなど、少し工夫が必要です。

$ export TELEGRAF_UID_GID=telegraf:$(stat -c '%g' /var/run/docker.sock)

docker-compose.yml で環境変数を参照します。

user: ${TELEGRAF_UID_GID}

ここらへんについては以下の記事が参考になると思います。

https://kuttsun.blogspot.com/2022/06/docker-composeyml-hostname.html

参考 URL

https://www.influxdata.com/blog/docker-run-telegraf-as-non-root/

Telegraf + InfluxDB + Garafana でサーバーリソースを可視化する

Sat, 18 Dec 2021 00:00:00 +0900

CPUやメモリなどのリソースを収集して閲覧したいなと思い、ググってみるとこの組み合わせが良さそうでした。
Telegraf でデータを取得して InfluxDB に書き込み、Grafana で InfluxDB のデータを読み込んで可視化します。

個人的に InfluxDB と Grafana は使ったことありますが、Telegraf は今回初めて使いました。

尚、この３つの頭文字を取って TIG Stack と呼んでいるページもいくつか見かけました。

環境

Ubuntu 20.04
Docker 20.10.7
Telegraf 1.20.4
InfluxDB 1.8.6
Grafana 7.5.7

Telegraf と Grafana は現時点の最新のバージョンですが、InfluxDB は 2.0 系ではなく 1.8.6 を使いました。
InfluxDB 2.0 を使ったことがないのと、参考にした Telegraf の設定ファイルのサンプルが InfluxDB 2.0 ではないものばかりだったからです。

また、Telegraf, InfluxDB, Grafana は全て Docker (docker-compose) を使って動かします。

docker-compose.yaml のサンプル

以下のような docker-compose.yaml を作成しました。

version: '3.1'
services:
 telegraf:
 container_name: telegraf
 image: telegraf
 restart: always
 volumes:
 - ./telegraf.conf:/etc/telegraf/telegraf.conf:ro
 depends_on:
 - influxdb
 links:
 - influxdb
 networks:
 - common
 influxdb:
 container_name: influxdb
 image: influxdb:1.8.6
 restart: always
 ports:
 - 8086:8086
 volumes:
 - influxdb:/var/lib/influxdb
 networks:
 - common
 grafana:
 container_name: grafana
 image: grafana/grafana
 restart: always
 links:
 - influxdb
 ports:
 - 3000:3000
 volumes:
 - grafana:/var/lib/grafana
 networks:
 - common
networks:
 common:
 external: true
volumes:
 influxdb:
 grafana:

common というネットワークを共通で使っているので、あらかじめ docker network create で作成しておく必要があります。

Telegraf の設定

telegraf.conf を作成します。

以下のページにちょうど良いのがあるのでこれをそのまま使いました。

https://grafana.com/grafana/dashboards/928

後述しますが、Grafana のダッシュボードのテンプレートもこれを使いました。
上記の設定をコピーしたら最低限以下の設定だけ変更します。

[agent] > hostname にマシン名を設定
- 設定しないと自動で設定されますが、起動の度に変わるので設定しておいたほうがよいと思います。
- 環境変数が使えるので、hostname = "$HOSTNAME" のようにも書けます。
[[outputs.influxdb]] > urls を InfluxDB の URL に変更
- 上記の docker-compose.yaml の場合、URL は http://influxdb.common:8086 のようにコンテナ名とネットワーク名を使っても指定できます。

他は必要に応じて設定します。

起動

$ docker-compose up

デーモン化したい場合は -d を指定します。
起動すると InfluxDB に Telegraf 用のデータベースを自動で作成してくれます。
（データベース名は telegraf.conf で設定できます。）

Grafana の設定

Grafana にアクセスし、ログインします。

http://localhost:3000

初期 ID とパスワードはどちらも admin です。

DB の登録

Configuration > Data Sources > Add data source > InfluxDB を選択します。

URL と Database の２つを設定します。
今回の例では以下のように設定します。

URL に http://influxdb.common:8086 を設定
Database に telegraf_metrics を設定

ダッシュボードの作成

Telegraf 用のテンプレートがあるので、それをインポートするのが楽です。
テンプレートは以下のページで探せます。

https://grafana.com/grafana/dashboards/

今回は以下のテンプレートを使いました。

https://grafana.com/grafana/dashboards/928

上記から JSON ファイルをダウンロードし、Grafana の左メニューの + ボタンからインポートします。
インポートの際、データベースは telegraf_metrics を選択します。

ダッシュボードにアクセスすると以下のような画面が表示されます。

かっこいい画面が簡単に作成できました。

リテンションポリシーの設定

telegraf.conf の [[outputs.influxdb]] > retention_policy でリテンションポリシーを指定できますが、ここが未指定だとデフォルトの autogen が使用され、データが無期限に保存されることになるので指定します。
例えば、リテンションポリシー名に hoge と指定します。

この状態で動作させると、hoge というリテンションポリシーが存在しないというエラーが出るので、InfluxDB のコンテナに入ってリテンションポリシーを作成します。

$ docker exec -it influxdb bash

コンテナに入ったら以下のコマンドでリテンションポリシーを作成します。

# influx
> CREATE RETENTION POLICY "リテンションポリシー名" ON "データベース名" DURATION "期間" REPLICATION 1 DEFAULT

例えば、今回は以下のように指定します。

CREATE RETENTION POLICY "hoge" ON "telegraf_metrics" DURATION 1h REPLICATION 1 DEFAULT

上記のコマンドではデータの保存期間を１時間に設定しています。

参考 URL

[Python] InfluxDB への書き込みを行う

Thu, 17 Jun 2021 00:00:00 +0900

Python で InfluxDB へ書き込みを行う方法です。

環境

Windows 10
Python 3.8.1

ライブラリのインストール

pip でライブラリをインストールします。

> pip install influxdb

サンプルコード

まずは InfluxDBClient をインポートして、クライアントを作成します。

from influxdb import InfluxDBClient

# クライアントの作成
client = InfluxDBClient(host="127.0.0.1",
 port=8086,
 username="username",
 password="password",
 database="dbname")

DB の作成

client.create_database("dbname")

リテンションポリシーの作成

client.create_retention_policy("rpname", "30d", 1)

データの書き込み

client.write_points([
 {
 'fields': {
 'hoge': 'hoge',
 },
 'measurement': 'piyo',
 'time': time.time(),
 'tags': {
 'fuga': 'fuga',
 }
 },
 ],
	retention_policy="リテンションポリシー名")