Python on ポンコツ地方エンジニアの技術ブログ

[PySide] Windows で実行するとオーバーフローエラーが発生

Fri, 30 Aug 2024 00:00:00 +0900

PySide6 で作成したアプリを Pyinstaller で exe 化して実行すると、オーバーフローのエラーが発生しました。

エラーの内容は以下です。

OverflowError: Python int too large to convert to C long

該当箇所のコードは、以下のように QLineChart を使ってグラフを作成している箇所でした。

series = QLineSeries()

# 省略...

qdt = QDateTime()
qdt.setSecsSinceEpoch(int(dt.timestamp()))

series.append(qdt.toMSecsSinceEpoch(), count)

toMSecsSinceEpoch() はエポックタイムをミリ秒で返す関数です。
これを append 関数に渡すと、32bit の範囲を超えているとしてエラーが発生していました。

ビルド環境も実行環境も 64bit なのに、何故 32bit の long int として扱われているのか？
調べてみたところ、以下の記事に辿り着きました。

https://stackoverflow.com/questions/72568201/why-overflowerror-occured-only-on-pyside6

どうやら float でキャストすれば良さそうということで、以下のように修正したところ、正常に動作するようになりました。

series.append(float(qdt.toMSecsSinceEpoch()), count)

参考 URL

https://stackoverflow.com/questions/72568201/why-overflowerror-occured-only-on-pyside6

[python] pipenv で無関係のパッケージが勝手にアップデートされる

Wed, 17 Jul 2024 00:00:00 +0900

pipenv でパッケージをインストールしたときに、全く関係ないパッケージが勝手にアップデートされて困ったことがありました。

--keep-outdated を付与すればいいという情報もありますが、現在の pipenv ではこのオプションは削除されています。

とりあえず以下のようにして回避しました。

1. Pipfile 内の全てのパッケージのバージョンを指定

Pipfile をエディタで開き、でバージョンを指定していなかったパッケージに全てバージョンを記入しました。
バージョンは、Pipfile.lock を参照して、現在インストールされているバージョンを記入しました。

2. すべてのパッケージをアンインストール

$ pipenv uninstall --all

3. Pipfile.lock を削除

$ rm Pipfile.lock

4. 新しい依存関係をインストール

$ pipenv install

参考 URL

[PySide] qasync を使って非同期処理をバックグランドで行う

Mon, 22 Apr 2024 00:00:00 +0900

PySide6 で GUI アプリを作成している中で、I/O バウンドな処理の完了を待っていると GUI が固まりました。

通常、バックグラウンドで何か処理を行う際に GUI の処理を止めないようにするために、QThread などを使って別スレッドで処理を行いつつ GUI スレッドを回したりします。
今回もそうやって作っていたのですが、完了までに時間のかかる I/O バウンドな処理を行わせたい場合、上手くいかない場合がありました。 I/O バウンドな処理なので、ayncio を使って非同期処理にしてやればいいと思ったのですが、Qt のイベントループと asyncio を適切に統合する必要があるようで、どのように記述すればいいのかいまいち分かりませんでした。

そんな中、qasync というライブラリを使えば、とても簡単に処理を組み込むことができました。

https://github.com/CabbageDevelopment/qasync

コードの記述も、QThread を使う場合に比べシンプルでスッキリします。

ちなみに、asyncqt というライブラリもありますが、こちらは既にメンテナンスされていないようです。 qasync は asyncqt のフォークで、現在でもメンテナンスされているようなので、使うなら qasync のほうが良いと思います。

環境

python 3.11
pyside6 6.6.3.1
qasync 0.27.1

サンプルコード

import sys
import asyncio
from PySide6.QtWidgets import QApplication, QMainWindow, QPushButton, QVBoxLayout, QWidget, QLabel
from qasync import QEventLoop, asyncSlot

class MainWindow(QMainWindow):
 def __init__(self):
 super().__init__()
 self.setWindowTitle("qasync sample")

 self.label = QLabel("Press the button.", self)
 self.button = QPushButton("Start", self)
 self.button.clicked.connect(self.on_button_clicked)

 layout = QVBoxLayout()
 layout.addWidget(self.label)
 layout.addWidget(self.button)

 container = QWidget()
 container.setLayout(layout)
 self.setCentralWidget(container)

 @asyncSlot()
 async def on_button_clicked(self):
 self.label.setText("waiting...")
 self.button.setEnabled(False)

 # I/O バウンドな処理を想定
 await asyncio.sleep(5)

 self.label.setText("Press the button.")
 self.button.setEnabled(True)

if __name__ == "__main__":
 app = QApplication(sys.argv)
 loop = QEventLoop(app)
 asyncio.set_event_loop(loop)
 window = MainWindow()
 window.show()
 with loop:
 loop.run_forever()

参考 URL

- https://github.com/CabbageDevelopment/qasync

[Python] Iris データセットを Pandas で読み込む

Wed, 21 Feb 2024 00:00:00 +0900

機械学習のサンプルデータとしてよく使われるものの一つに Iris（アヤメ）のデータセットがあります。その読み込み方法です。

Iris のデータセットを取得する方法自体はいくつかあるようです。

https://py-memo.com/python/load-iris/

今回は Iris のデータは機械学習用の定番のライブラリである scikit-learn を使いました。

サンプルコード

import pandas as pd
from sklearn.datasets import load_iris

iris = load_iris()
df_iris = pd.DataFrame(iris.data, columns=iris.feature_names)

# 目的変数である花の種類（target）のカラムを作成（花の種類を数値から文字列に変換して追加）
df_iris['target'] = iris.target_names[iris.target]

print(df_iris)

 sepal length (cm) sepal width (cm) petal length (cm) petal width (cm) target
0 5.1 3.5 1.4 0.2 setosa
1 4.9 3.0 1.4 0.2 setosa
2 4.7 3.2 1.3 0.2 setosa
3 4.6 3.1 1.5 0.2 setosa
4 5.0 3.6 1.4 0.2 setosa
.. ... ... ... ... ...
145 6.7 3.0 5.2 2.3 virginica
146 6.3 2.5 5.0 1.9 virginica
147 6.5 3.0 5.2 2.0 virginica
148 6.2 3.4 5.4 2.3 virginica
149 5.9 3.0 5.1 1.8 virginica

[150 rows x 5 columns]

load_iris 関数で呼び出されたデータセットは numpy 形式です。
これを扱いやすいように Pandas でデータフレームに変換しています。
また、load_iris 関数では、説明変数は iris.data、目的変数は iris.target に実装されています。
カラム名は iris.feature_names に入っています。

iris.target は花の種類を数値として保持しており、その数値に対応した花の名前は iris.target_names に定義されています。
花の種類をカラムに追加する際には文字列に変換して追加しています。

参考 URL

[python] ONVIF 対応カメラの RTSP 接続文字列を取得する

Thu, 15 Feb 2024 00:00:00 +0900

ネットワークカメラの映像を取得するためにまず RTSP の接続文字列を取得する必要があったので、ONVIF の Profile S から取得してみました。

ONVIF Profile S の仕様は以下にあります。

https://www.onvif.org/profiles/specifications/

尚、単純に RTSP の接続文字列を取得したいだけなら ONVIF Device Manager というツールがあるので、それを使ったほうが楽です。

環境

python 3.11
onvif-zeep 0.2.12
onvif2-zeep 0.3.4

ONVIF クライアントの python 実装である onvif-zeep onvif2-zeep を使ってみました。
この２つの違いですが、以下のページによれば、onvif2-zeep のほうは WSDL と H.265 に対応しているようです。

https://pypi.org/project/onvif2-zeep/

以下、onvif-zeep onvif2-zeep それぞれのサンプルコードです。

onvif-zeep でのサンプル

準備

pip install onvif-zeep

サンプルコード

from onvif import ONVIFCamera

def get_all_rtsp_urls(camera_ip, username, password):
 # ONVIFデバイスに接続
 camera = ONVIFCamera(camera_ip, 80, username, password)

 # プロファイルを取得
 media = camera.create_media_service()
 profiles = media.GetProfiles()
 #print(profiles)

 # すべてのプロファイルに対して RTSP URL を取得
 for profile in profiles:
 name = profile['Name']
 try:
 token = profile['token']
 stream_uri = media.GetStreamUri({
 'StreamSetup': {
 'Stream': 'RTP-Unicast',
 'Transport': {
 'Protocol': 'RTSP'
 }
 },
 'ProfileToken': token
 })
 uri = stream_uri.Uri
 print(f'{name}: {uri}')
 except Exception as e:
 print(f'{name}: {e}')

if __name__ == "__main__":
 camera_ip = "192.168.0.1"
 username = "username"
 password = "password"

 get_all_rtsp_urls(camera_ip, username, password)

onvif2-zeep のサンプル

準備

pip install onvif2-zeep

WSDL のダウンロード

onvif2-zeep を使用する場合、WSDL のファイル一式が必要なようです。
以下のリポジトリからダウンロードできます。

https://github.com/onvif/specs

サンプルコード

上記のコードから以下の２箇所を変更するだけです。

from onvif2 import ONVIFCamera

...

camera = ONVIFCamera(camera_ip, 80, username, password, './wsdl')

ONVIFCamera の引数の最後で、WSDL ファイルのあるパスを指定します。

実行結果

Panasonic のカメラで試した結果が以下となります。

H264_1280x960: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile8
H264_800x600: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile7
H264_640x480: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile6
H264_320x240: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile5
JPEG_1280x960: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile4
JPEG_800x600: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile3
JPEG_640x480: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile2
JPEG_320x240: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile1

ただ、H.265 のストリームがあるカメラ場合、onvif-zeep onvif2-zeep のどちらで試しても以下のように Unknown error: Configuration not complete のエラーが出て取得することができませんでした。

H26x_1: Unknown error: Configuration not complete
H26x_2: Unknown error: Configuration not complete
JPEG_1: rtsp://192.168.0.1/ONVIF/MediaInput?profile=def_profile5
JPEG_2: rtsp://192.168.0.1/ONVIF/MediaInput?profile=def_profile6

カメラ側のプロファイル設定の問題のような気がしますが、よくわかりませんでした。

ちなみに、他に TOA のカメラも試しましたが、こちらは H.265 の場合でも問題なく取得することができました。

参考 URL

https://www.onvif.org/profiles/specifications/

Gymnasium の環境を動かしてみる

Mon, 12 Feb 2024 00:00:00 +0900

強化学習について勉強しようと思い、まずはサンプルとしてよく取り上げられる OpenAI の gym の CartPole などを動かそうとしてみたところ、上手く動きませんでした。
調べてみたところ、gym は現在ではもう更新されておらず、代わりに gym を fork した gymnasium というのがあるようなので、こちらを使って動かしてみました。

実行環境は docker を使って構築します。
とりあえず学習・推論はせず、単純に動かすだけです。

環境

WSL2(Ubuntu 22.04)
docker 24.0.7
python 3.11
swig 4.2.0
gymnasium 0.29.1

Dockerfile

FROM python:3.11

# 先に swig をインストールしておかないと gymnasium のインストールに失敗しました
RUN pip install swig
RUN pip install gymnasium[box2d]

CMD [ "/bin/bash" ]

コンテナの起動

GUI を動かすので、コンテナは以下のように起動します。

docker run -it --rm \
 -v $(pwd)/workspace:/workspace \
 -v /etc/group:/etc/group:ro \
 -v /etc/passwd:/etc/passwd:ro \
 -u $(id -u $USER):$(id -g $USER) \
 -e DISPLAY \
 -v /tmp/.X11-unix:/tmp/.X11-unix:rw \
 --workdir /workspace \
 imagename

これについては以下が参考になりました。

https://qiita.com/Spritaro/items/f907a9b52cb78e4fbec0

CartPole のサンプル

import gymnasium as gym

# 環境を作成
# render_mode は描画モードの指定。human は人間が見てわかるように動画として表示するという意味
env = gym.make("CartPole-v1", render_mode="human")

for episode in range(10):
 # 環境をリセット
 observation, info = env.reset()
 step = 0
 while True:
 # 行動をランダムに選択
 action = env.action_space.sample() # これがエージェントの行動になるので、本来はAIが行動を決定するべきところ
 # 選択した行動を実行
 observation, reward, terminated, truncated, info = env.step(action)
 #print(env.render()) # 状態の可視化(human の場合は不要)
 # 終了した場合、次のエピソードへ
 if terminated or truncated:
 print(f"Episode{episode+1} finished after {step+1} timesteps")
 break
 step += 1
env.close()

LunarLander のサンプル

同様に以下のようにして LunarLander も動きました。

import gymnasium as gym

# 環境を作成
# render_mode は描画モードの指定。human は人間が見てわかるように動画として表示するという意味
env = gym.make("LunarLander-v2", render_mode="human")

for episode in range(10):
 # 環境をリセット
 observation, info = env.reset()
 step = 0
 while True:
 # 行動をランダムに選択
 action = env.action_space.sample() # これがエージェントの行動になるので、本来はAIが行動を決定するべきところ
 # 選択した行動を実行
 observation, reward, terminated, truncated, info = env.step(action)
 #print(env.render()) # 状態の可視化(human の場合は不要)
 # 終了した場合、次のエピソードへ
 if terminated or truncated:
 print(f"Episode{episode+1} finished after {step+1} timesteps")
 break
 step += 1

env.close()

FrozenLake のサンプル

同様に以下のようにして FrozenLake も動きました。

import gymnasium as gym

# 環境を作成
# render_mode は描画モードの指定。human は人間が見てわかるように動画として表示するという意味
env = gym.make("FrozenLake-v1", render_mode="human")

for episode in range(10):
 # 環境をリセット、現在の観測値（observation）と情報（info）を取得
 observation, info = env.reset()
 step = 0
 while True:
 # 行動をランダムに選択
 action = env.action_space.sample() # これがエージェントの行動になるので、本来はAIが行動を決定するべきところ
 # 選択した行動を実行
 observation, reward, terminated, truncated, info = env.step(action)
 #print(env.render()) # 状態の可視化(human の場合は不要)
 # 終了した場合、次のエピソードへ
 if terminated or truncated:
 print(f"Episode{episode+1} finished after {step+1} timesteps")
 break
 step += 1
env.close()

参考 URL

[Python] ModuleNotFoundError: No module named 'websockets.legacy' のエラーが出た

Fri, 01 Dec 2023 00:00:00 +0900

Python のアプリを Nuitka で実行ファイルにして動かすと、Websockets に関するエラーが出ました。

尚、python で実行したときには正常に動作しています。

環境

Python 3.11
Nuitka 1.9.2
Websockets 11.0.3

エラーの内容

具体的には以下のようなエラーが出ました。

Traceback (most recent call last):
 File "/foo/main.py", line 36, in subprocess
 File "/foo/asyncio/runners.py", line 190, in run
 File "/foo/asyncio/runners.py", line 118, in run
 File "/foo/asyncio/base_events.py", line 653, in run_until_complete
 File "/foo/websocket_manager.py", line 47, in run
 File "/foo/websocket_client.py", line 38, in run
 File "/foo/websockets/imports.py", line 77, in __getattr__
 File "/foo/websockets/imports.py", line 27, in import_name
ModuleNotFoundError: No module named 'websockets.legacy'

とりあえずの対処法

以下に同じエラーの報告がありました。

https://github.com/python-websockets/websockets/issues/974

上記を参考に以下のように変更すればとりあえず解決しました。

変更前

import websockets

async for websocket in websockets.connect(uri):

変更後

import websockets.client

async for websocket in websockets.client.connect(uri):

本来の解決方法

上記のコードですが、どうやらこれは古い記述方法みたいです。
最近の websockets (11.x 以降) では、接続の作成と処理は以下のように行うことを推奨しているようです。

import websockets

while True:
 try:
 async with websockets.connect(uri) as websocket:
 # メッセージ処理 
 except Exception:
 # ここに再接続ロジックなど 
 await asyncio.sleep(retry_delay)

ただし、これで今回のエラーが解決するかどうかは試していません。

参考 URL

https://github.com/python-websockets/websockets/issues/974

[Python] Pyinstaller, Nuitka で作成した実行ファイルで GLIBC のエラーが発生する

Fri, 17 Nov 2023 00:00:00 +0900

pyinstaller, nuitka で作成した実行ファイルを別のマシンで実行するとエラーが出て動きませんでした。

具体的には以下のような GLIBC に関するエラーが表示されました。

Pyinstaller の場合

[10562] Error loading Python lib '/home/username/dist/main/libpython3.11.so.1.0': dlopen: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.35' not found (required by /home/username/dist/main/libpython3.11.so.1.0)

Nuitka の場合

./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.33' not found (required by ./sample.bin)
./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.34' not found (required by ./sample.bin)
./sample.bin: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.35' not found (required by /home/username/main.dist/libpython3.11.so.1.0)
./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.33' not found (required by /home/username/main.dist/libpython3.11.so.1.0)
./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.32' not found (required by /home/username/main.dist/libpython3.11.so.1.0)
./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.34' not found (required by /home/username/main.dist/libpython3.11.so.1.0)

これの回避策は、サポートしたいシステムより古いシステムでビルドを行うことだそうです。

私の場合、python:3.11 の Docker イメージを使ってビルドを行っていましたが、このイメージのディストリビューションは Debian 12 でした。そこでビルドした成果物を Ubuntu 20.04 のマシンで動かすと上記のエラーが発生しました。

なので、ビルドに使用する Docker イメージを python:3.11-buster に変更したところ、エラーなく動作するようになりました。

尚、buster というのは Debian のコードネームのことで、Debian 10 のことだそうです。
詳細は以下を参照してください。

https://www.debian.org/releases/index.ja.html

参考 URL

[Python] pytest で motor のテストを行う

Mon, 13 Nov 2023 00:00:00 +0900

MongoDB 用の非同期ライブラリに motor を使用しており、pytest でテストコードを記述する際にモックをどうすればいいか悩みました。

当初は pymongo を使って同期的に使用していたため、MongoDB のモックには mongomock を使用していましたが、motor を使用する場合には mongomock-motor が使うとテストできました。

https://pypi.org/project/mongomock-motor/

インストール

pip install mongomock-motor

サンプルコード

上記のページにあるサンプルコードを pytest で実行する例です。

import pytest
from mongomock_motor import AsyncMongoMockClient

@pytest.mark.asyncio
async def test_mock_client():
 collection = AsyncMongoMockClient()['tests']['test-1']

 assert await collection.find({}).to_list(None) == []

 result = await collection.insert_one({'a': 1})
 assert result.inserted_id

 assert len(await collection.find({}).to_list(None)) == 1

参考 URL

https://pypi.org/project/mongomock-motor/

[Python] OS の時刻（システムクロック）に影響を受けないように時間の計測を行う

Fri, 08 Sep 2023 00:00:00 +0900

time.monotonic() を使えば OK です。

元々、以下の様に time.time() を使って処理時間の計測を行っていたのですが、この場合、計測途中でシステムクロックが変更されてしまうと、計測時間も影響を受けてしまいます。

import time

start = time.time()

# この間にシステムクロックが変更されると計測時間にも影響を与える

elapsed_time = time.time() - start

# 過去に戻ると負の値に、未来に行くと大きな値になってしまう
print(elapsed_time)

time.monotonic() を使えばシステムクロックの影響を受けないので、純粋に処理にかかった実時間を計測できます。

参考 URL

https://docs.python.org/ja/3.10/library/time.html#time.monotonic

[Python] SyslogHandler でログを送信したときに `Bad file descriptor` のエラーになる

Wed, 05 Apr 2023 00:00:00 +0900

SyslogHandler を使ってログを記録していたのですが、Bad file descriptor のエラーが表示されてはまってしまいました。

表示されたエラーは以下です。

Traceback (most recent call last):
 File "/usr/lib/python3.8/logging/handlers.py", line 940, in emit
 self.socket.sendto(msg, self.address)
OSError: [Errno 9] Bad file descriptor

アプリをマルチプロセスで動かしており、FastAPI ( +uvicorn) を使うとこのエラーが出るようになりました。

環境

Python 3.8.10

対処方法

調べても原因がさっぱりわからなかったのですが、最終的に以下のページにたどり着きました。

https://github.com/python/cpython/issues/87362

どうやら Python の logging モジュールの不具合のようで、Python のバージョンを 3.11 まで上げると直りました。

参考 URL

https://github.com/python/cpython/issues/87362

[Python] マルチプロセスにおけるロギング (QueueHandler, QueueListener)

Tue, 04 Apr 2023 00:00:00 +0900

SyslogHandler で UDP でログを記録していたのですが、マルチプロセスでは Socket 通信のところでエラーが発生しました。
マルチプロセスでのロギングでは、QueueHandler と QueueListner を使ってログを一箇所に集約して書き込むようにする必要があります。

環境

Python 3.8.10

基本的な書き方

とりあえずマルチプロセスは置いておいて、QueueHandler と QueueListener の基本的な使い方です。

import os
from multiprocessing import Queue
from logging import StreamHandler, handlers, basicConfig, getLogger, Formatter, DEBUG

# 標準出力の設定
stream_handler = StreamHandler()
stream_handler.setFormatter(Formatter('%(asctime)s [%(levelname)s] [%(name)s] %(message)s'))
# Syslog 出力の設定
syslog_handler = handlers.SysLogHandler(address=('localhost', 514))
syslog_handler.setFormatter(Formatter(f'{os.environ.get("HOSTNAME")} ris-main: %(message)s'))
# ファイル出力の設定
file_handler = handlers.TimedRotatingFileHandler('log/sample.log')
file_handler.setFormatter(Formatter(fmt='%(asctime)s.%(msecs)03d [%(levelname)s] [%(name)s] %(message)s', datefmt='%Y-%m-%d %H:%M:%S'))
# キューハンドラの設定
que = Queue()
queue_handler = handlers.QueueHandler(que)
basicConfig(level=DEBUG, handlers=[queue_handler])

# リスナーの作成と開始
queue_listener = handlers.QueueListener(que, *[stream_handler, syslog_handler, file_handler])
queue_listener.start()

logger = getLogger(__name__)

logger.info('this is info')
logger.debug('this is debug')
logger.critical('this is critical')

queue_listener.stop()

logger を使って書いたログは QueueHandler によりキューに入れられます。
QueueListner はキューに溜まったログを取り出して、StreamHandler SyslogHandler TimedRotatingFileHandler で記録されます。

尚、上記は basicConfig を使って設定していますので、ライブラリなどのロギングにも影響します（対処方法は後述）。

マルチプロセスで試してみた

上記を踏まえ、プロセスを３つ立ち上げ、各プロセス100回ログを記録させてみたサンプルが以下です。

import os
from multiprocessing import Process, Queue
from logging import StreamHandler, handlers, basicConfig, getLogger, Formatter, DEBUG

def hoge(index):
 logger = getLogger(__name__)

 for count in range(100):
 logger.info(f'({index}) this is info')
 logger.debug(f'({index}) this is debug')
 logger.critical(f'({index}) this is critical')

# 標準出力の設定
stream_handler = StreamHandler()
stream_handler.setFormatter(Formatter('%(asctime)s [%(levelname)s] [%(name)s] %(message)s'))
# Syslog 出力の設定
syslog_handler = handlers.SysLogHandler(address=('localhost', 514))
syslog_handler.setFormatter(Formatter(f'{os.environ.get("HOSTNAME")} ris-main: %(message)s'))
# ファイル出力の設定
file_handler = handlers.TimedRotatingFileHandler('log/sample.log')
file_handler.setFormatter(Formatter(fmt='%(asctime)s.%(msecs)03d [%(levelname)s] [%(name)s] %(message)s', datefmt='%Y-%m-%d %H:%M:%S'))
# キューハンドラの設定
que = Queue()
queue_handler = handlers.QueueHandler(que)
basicConfig(level=DEBUG, handlers=[queue_handler])

# リスナーの作成と開始
queue_listener = handlers.QueueListener(que, *[stream_handler, syslog_handler, file_handler])
queue_listener.start()

# プロセスの立ち上げ
processes = []
for i in range(3):
 p = Process(target=hoge, args=(i,))
 p.start()
 processes.append(p)

# プロセスの終了を待つ
for process in processes:
 try:
 process.join()
 except KeyboardInterrupt:
 process.join(1)

queue_listener.stop()

問題なくログが記録できていることが確認できました。

basicConfig を使わずに設定する

上述したように、basicConfig を使うとライブラリなどの全てのモジュールに影響するので、logger に対して設定を行うようにします。
ただ、そうなると都度設定を行う必要が出てくるので、以下のページを参考に共通の関数を作成しました。

http://joemphilips.com/post/python_logging/

ただし、QueueHandler を使う場合、キューを渡してやる必要があるので、それはグローバル変数として用意することにしました。
ここらへん、もっと良い実装方法はないかなぁとは思いますが・・・。

以下、サンプルです。

# mylogger.py
import multiprocessing
import logging
import logging.handlers

log_queue = multiprocessing.Queue()

def getLogger(modname) -> logging.Logger:
 """ 共通のロガーを作成するための関数
 logging.getLogger と簡単に差し替えられるように同じ関数名としておく
 """

 # キューハンドラの設定
 queue_handler = logging.handlers.QueueHandler(log_queue)
 logger = logging.getLogger(modname)
 logger.addHandler(queue_handler)
 logger.setLevel(logging.DEBUG)
 return logger

# main.py
import os
from logging import handlers, StreamHandler, Formatter, DEBUG, INFO
from mylogger import getLogger, log_queue

# 標準出力の設定
stream_handler = StreamHandler()
stream_handler.setFormatter(Formatter('%(asctime)s [%(levelname)s] [%(name)s] %(message)s'))
stream_handler.setLevel(DEBUG)
# Syslog 出力の設定
syslog_handler = handlers.SysLogHandler(address=('localhost', 514))
syslog_handler.setFormatter(Formatter(f'{os.environ.get("HOSTNAME")} ris-main: %(message)s'))
syslog_handler.setLevel(INFO)
# ファイル出力の設定
file_handler = handlers.TimedRotatingFileHandler('log/sample.log')
file_handler.setFormatter(Formatter(fmt='%(asctime)s.%(msecs)03d [%(levelname)s] [%(name)s] %(message)s', datefmt='%Y-%m-%d %H:%M:%S'))
file_handler.setLevel(INFO)

# リスナーの作成と開始
queue_listener = handlers.QueueListener(
 log_queue,
 *[stream_handler, syslog_handler, file_handler],
 respect_handler_level=True)
queue_listener.start()

logger = getLogger(__name__)

logger.info('this is info')
logger.debug('this is debug')
logger.critical('this is critical')

queue_listener.stop()

また、ここでは標準出力とそれ以外で、出力するログレベルを変えています。
この場合、QueueHandler の respect_handler_level を True にして、各ハンドラー側のレベルを優先するように設定してやる必要があります。

参考 URL

[PySide] QTimer の使い方

Tue, 28 Mar 2023 00:00:00 +0900

スレッドを使わずに定期的に GUI を更新するために、QTimer の使い方と挙動について簡単に調べてみました。

環境

Python 3.8.10
PySide 6.2.2.1

サンプルコード

import sys
import time
from datetime import datetime
from PySide6.QtCore import (QTimer, Signal)
from PySide6.QtWidgets import (QApplication, QWidget, QVBoxLayout, QLabel)


class MainWindow(QWidget):
 """メインウィンドウ
 """

 countup = Signal(int)

 def __init__(self, parent=None):
 super().__init__(parent)

 self.__count = 0

 layout = QVBoxLayout()
 self.__label = QLabel(self.__current_count())
 layout.addWidget(self.__label)
 self.setLayout(layout)

 self.__timer = QTimer(self)
 self.__timer.timeout.connect(self.__timeout)
 self.__timer.start(1000)
 self.__timer.singleShot(10000, self.__single_shot1)
 self.__timer.singleShot(15000, self.__single_shot2)

 def __timeout(self):

 self.__count += 1
 print(f'{datetime.now()}, {self.__count}')
 self.__label.setText(self.__current_count())
 #time.sleep(3)

 def __current_count(self) -> str:
 return f'現在のカウント: {self.__count}'

 def __single_shot1(self):
 print(f'{datetime.now()}, 10秒経過')

 def __single_shot2(self):
 print(f'{datetime.now()}, 15秒経過')

if __name__ == "__main__":
 app = QApplication(sys.argv)
 main_window = MainWindow()
 main_window.show()
 ret = app.exec()
 sys.exit(ret)

2023-03-27 14:04:40.166652, 1
2023-03-27 14:04:41.115886, 2
2023-03-27 14:04:42.066937, 3
2023-03-27 14:04:43.026873, 4
2023-03-27 14:04:44.026648, 5
2023-03-27 14:04:45.026877, 6
2023-03-27 14:04:46.026574, 7
2023-03-27 14:04:47.026898, 8
2023-03-27 14:04:48.026477, 9
2023-03-27 14:04:49.027008, 10秒経過
2023-03-27 14:04:49.027169, 10
2023-03-27 14:04:50.027045, 11
2023-03-27 14:04:51.026868, 12
2023-03-27 14:04:52.027034, 13
2023-03-27 14:04:53.026916, 14
2023-03-27 14:04:54.026824, 15秒経過
2023-03-27 14:04:54.027010, 15

処理に時間がかかった場合はどうなる？

上記のコードでは、1秒ごとに __timeout 関数が実行されますが、もしその中で処理に時間がかかったとしたらどうなるか？
試しに3秒のスリープを入れてみました（上記のコメントアウトを解除）。

2023-03-27 14:07:10.458991, 1
2023-03-27 14:07:13.462465, 2
2023-03-27 14:07:16.464238, 3
2023-03-27 14:07:19.467192, 4
2023-03-27 14:07:22.470589, 10秒経過
2023-03-27 14:07:22.471410, 5
2023-03-27 14:07:25.475184, 6
2023-03-27 14:07:28.478740, 15秒経過
2023-03-27 14:07:28.480526, 7
2023-03-27 14:07:31.484492, 8

3秒経過後、すぐに __timeout がコールされています。
前の処理が完了しないと次の処理は行われないようです。

参考 URL

[Python] asyncio.Queue の動きを確認してみた

Wed, 01 Feb 2023 00:00:00 +0900

put や get がコルーチンになっていたので、どういう動きになるのか確認してみました。

環境

Python 3.8.1

サンプルコード

import asyncio

async def put(q:asyncio.Queue):
 count = 0
 while count <= 100:
 print(f'({count}) before put')
 await q.put(count)
 print(f'({count}) after put')
 count += 1
 if count % 5 == 0:
 # 5回送ったらスリープ
 await asyncio.sleep(0.01)

async def get(q:asyncio.Queue):
 count = 0
 while count < 100:
 count = await q.get()
 print(f'({count}) get')

async def main():
 q = asyncio.Queue()
 await asyncio.gather(*[ put(q), get(q) ])

asyncio.run(main())

出力は以下のようになりました。

(0) before put
(0) after put
(1) before put
(1) after put
(2) before put
(2) after put
(3) before put
(3) after put
(4) before put
(4) after put
(0) get
(1) get
(2) get
(3) get
(4) get
(5) before put
(5) after put
(6) before put
(6) after put
(7) before put
(7) after put
(8) before put
(8) after put
(9) before put
(9) after put
(5) get
(6) get
(7) get
(8) get
(9) get

put したあと、sleep したところで制御が他に移っています。
get のほうは、キューの中身を全部取り終わって次のデータ待ちになったところで制御が他に移っています。

[Python] 同期処理を非同期化して扱う

Thu, 26 Jan 2023 00:00:00 +0900

async のついていない関数を非同期化して、async のついた非同期関数と同じように扱いたいというときの方法です。

環境

python 3.8.1

概要

同期関数を非同期化するには run_in_executor を使用します。

ただし、CPU バウンドな処理を非同期化しても並列では実行されないので、マルチプロセス化などを行う必要があります。これについては以下の記事が参考になりました。

https://pod.hatenablog.com/entry/2019/03/21/162511

また、run_in_executor で実行する関数に名前付き引数を渡す場合、functools.partial を使う必要があります。

引数で渡せる値は、Python の仕様上 Picklable な値のみだそうです。
ラムダ式やモジュールトップレベル以外で定義された関数やクラスは渡せません

https://docs.python.org/ja/3/library/pickle.html#what-can-be-pickled-and-unpickled

サンプルコード

上記を踏まえたサンプルコードです。
同期処理として CPU バウンドを想定した処理を２つ、非同期処理として I/O バウンドを想定した処理を２つ、計４つの処理を並列で動かしています。

import asyncio
import time
from functools import partial
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor

def cpu_bound(index):
 # CPU バウンドな処理を想定
 count = 0
 while count < 1000:
 print(f'cpu_bound[{index}] count={count}')
 count += 1
 time.sleep(0.01)

async def io_bound(index):
 # I/O バウンドな処理を想定
 count = 0
 while count < 1000:
 print(f'io_bound[{index}] count={count}')
 count += 1
 await asyncio.sleep(0.01)

async def main():
 loop = asyncio.get_running_loop()
 executor = ProcessPoolExecutor(max_workers=2)
 tasks = [
 loop.run_in_executor(executor, partial(cpu_bound, 0)),
 loop.run_in_executor(executor, partial(cpu_bound, 1)),
 io_bound(0),
 io_bound(1),
 ]
 await asyncio.gather(*tasks)

asyncio.run(main(), debug=True)

ProcessPoolExecutor により、CPU バウンドな処理はそれぞれ個別のプロセスとして動作させています。
I/O バウンドな処理はどちらもメインプロセスで動作します。
従って、I/O バウンドな処理のほうが少し終わるのが遅くなります。

参考 URL

[Python] InfluxDB 1.8 で influxdb_client を使う

Wed, 21 Dec 2022 00:00:00 +0900

python で InfluxDB v1 に対してデータの読み書きを行う際に、ayncio を使って非同期化したいなと思ったのですが、今使っているライブラリの InfluxDBClient は asyncio に対応していないようでした。

代わりに influxdata 社の influx-client を使うと asyncio を使えそうだったのですが、こちらは基本的に InfluxDB v2 以降にのみ対応しているようで、Flux という言語にしか対応していません。
InfluxDB v1 以前は InfluxQL という SQL に近い言語が使われていました。

こちら、以下のページが参考になりました。

https://rabbit-note.com/2022/09/12/influxdb-2-flux/

ただ、InfluxDB 1.7以降でも設定を変更することで Flux が使えるようになるそうです。

https://github.com/influxdata/influxdb-client-python#influxdb-1-8-api-compatibility

従って、InfluxDB v1 でも Flux を有効にしたうえで、Flux でクエリを記述してデータを取得するようにすれば、asyncio を使って非同期化することができそうです。
ちなみに、データの書き込みに関しては Flux は関係ありませんでした。

以下、InfluxDB v1 の前提で書いていますが、v2 でも基本的には同じです。
bucket token の指定方法が異なるだけです。

環境

InfluxDB 1.8.10

Flux 言語を有効化する

InfluxDB を Docker で動かしていたのですが、環境変数に以下を追加するだけで OK でした。

INFLUXDB_HTTP_FLUX_ENABLED=true

サンプルコード

データの書き込み (write_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync
from influxdb_client.client.write.point import Point
from influxdb_client.domain.write_precision import WritePrecision

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん
 
 data = []
 data.append({
 'fields': {
 'hoge': 1
 },
 'measurement': 'measurement',
 'tags': {
 'hostname': 'hostname',
 }
 })
 points = [ Point.from_dict(i, WritePrecision.MS) for i in data ]
 
 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 write_api = client.write_api()
 successfully = await write_api.write(bucket=bucket, record=points)
 print(successfully)

データの読み込み (query_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん

 query = f"""
 from(bucket: "{bucket}")
 |> range(start: -10m)
 |> filter(fn:(r) => r._measurement == "measurement")
 |> filter(fn: (r) => r["_field"] == "field")
 |> aggregateWindow(every: 1m, fn: mean, createEmpty: false)
 """

 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 tables = await client.query_api().query(query=query)
 for table in tables:
 print(table)
 for record in table.records:
 print (record.values)

 asyncio.run(main())

Flux については以下のページが参考になりました。

https://qiita.com/riverplus/items/20456e4188a4c0f5f62d

参考 URL

[Pytnon] pymongo で一括処理（Bulk Method）を行う

Thu, 27 Oct 2022 00:00:00 +0900

Bulk Method を使い前は以下のようにして一件ずつ update_one で追加（更新）していました。

これを BulkMethod を使って一括で処理するようにしてやります。

initialize_ordered_bulk_op initialize_unordered_bulk_op で初期化します。

今回は initialize_unordered_bulk_op を使用します。

Bulk Method で update_one を使うには、find と upsert メソッドを組み合わせるようです。

https://www.mongodb.com/docs/manual/reference/method/Bulk.find.upsert/

また、update_one で３件のデータを追加（更新）する

まずは処理しやすくするためにサンプルデータを配列で用意しました。

sample_data = []
for i in range(3):
 sample_data.append({
 'filter': {
 'camera_id': "1",
 'detected_id': str(start_id + i + 1),
 },
 'update': {
 'label': 'person',
 'captured_at': captured_at.isoformat(),
 'disappeared_at': captured_at.isoformat(),
 'thumbnail': None
 }
 })

上記のデータについて、例えば以下のように処理します。

from pymongo import MongoClient,

client = MongoClient('mongodb://localhost:27017/')
db = client['dbname']
col = db['col_name']

bulk = col.initialize_unordered_bulk_op()

for data in sample_data:
 bulk.find(data['filter']).upsert().update_one({ '$setOnInsert': data['update'] })

result = bulk.execute()

$setOnInsert については以下のページが参考になりました。

レスポンスは以下のようなデータが返ってきます。

{
 'writeErrors': [],
 'writeConcernErrors': [],
 'nInserted': 0,
 'nUpserted': 2,
 'nMatched': 1,
 'nModified': 0,
 'nRemoved': 0,
 'upserted': [
 {
 'index': 1,
 '_id': ObjectId('635878690bdc2e90f9e0e8bf')
 },
 {
 'index': 2,
 '_id': ObjectId('63588e750bdc2e90f9e0f1f2')
 }
 ]
}

nUpserted は新規に追加されたドキュメントの数です。
nMatched は find の条件に一致したされたドキュメントの数です。
nModified は更新されたドキュメントの数です。
upserted は新規追加されたデータのインデックスと、MongoDB によって割り当てられた ID となります。

参考 URL

[Python] yaml 内の環境変数を展開して読み込む

Wed, 28 Sep 2022 00:00:00 +0900

pyaml-env を使うと簡単にできました。

インストール

$ pip install pyaml-env

サンプル

yaml 内では、環境変数を展開したい行に !ENV を書くようです。

url: !ENV 'http://${HOST}:${PORT}'

from pyaml_env import parse_config
 
config = parse_config('sample.yaml')
print(config)

参考 URL

https://www.wenyanet.com/opensource/ja/61162b748356b8749f1e4126.html

[Python] psutil を使おうとしたら `command 'aarch64-linux-gnu-gcc' failed with exit status 1` のエラーがでた

Tue, 13 Sep 2022 00:00:00 +0900

arm 系の CPU 環境において、Ubuntu のイメージを使った Docker コンテナ内で、python の psutil を使ってストレージの情報を取得しようとしたところ、psutil のインストール時に以下のエラーが表示されました。

error: command 'aarch64-linux-gnu-gcc' failed with exit status 1

crossbuild-essential-arm64 と python3-dev をインストールすれば解決しました。

$ sudo apt install crossbuild-essential-arm64 python3-dev

参考 URL

https://qiita.com/yuta_vamdemic/items/277a5a692840d06c4cd9

[Python] アドレス (id) は変更せずに辞書 (dict) をコピーしたい

Sat, 13 Aug 2022 00:00:00 +0900

わかってしまえば当たり前なのですが、ちょっとハマったのでメモ。

結論から先に言うと、clear() update() を使うことで実現できました（ただし排他には要注意）。

環境

Python 3.8.10

前提知識

以下の話はググれば解説されているページがいくらでも見つかりますが・・・。

dict はミュータブルな型なので、代入する場合には注意が必要です。

dict_a = {"key_a": "value_a"}
dict_b = {"key_b": "value_b"}

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

print(f'----------')

dict_a = dict_b # 代入

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

代入した場合には同じオブジェクトを指すようになるので、以下のように id が同じになります。

dict_a={'key_a': 'value_a'}, id:140351608696704
dict_b={'key_b': 'value_b'}, id:140351608696768
----------
dict_a={'key_b': 'value_b'}, id:140351608696768
dict_b={'key_b': 'value_b'}, id:140351608696768

なので、dic_a を変更したら dict_b の中身も変わります。

これを回避するには（つまり id は別で中身だけをコピーしたい場合は） copy() を使います。

dict_a = {"key_a": "value_a"}
dict_b = {"key_b": "value_b"}

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

print(f'----------')

dict_a = dict_b.copy()

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

この場合は新たにオブジェクトが作成されるので、id は別で中身は同じになります。

dict_a={'key_a': 'value_a'}, id:139764478058368
dict_b={'key_b': 'value_b'}, id:139764478058432
----------
dict_a={'key_b': 'value_b'}, id:139764476783232
dict_b={'key_b': 'value_b'}, id:139764478058432

じゃあ id を変えずに中身だけをコピーするには？

clear() と update() を使えばできます。

dict_a = {"key_a": "value_a"}
dict_b = {"key_b": "value_b"}

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

print(f'----------')

dict_a.clear()
dict_a.update(dict_b)

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

dict_a={'key_a': 'value_a'}, id:139790269009792
dict_b={'key_b': 'value_b'}, id:139790269009856
----------
dict_a={'key_b': 'value_b'}, id:139790269009792
dict_b={'key_b': 'value_b'}, id:139790269009856

dict_a dict_b の中身は同じですが、dict_a の id は変わっていません。

関数に引数で渡す場合

Python では全て参照渡しなので、dict を関数に渡して関数内で変更した場合、その関数の外にも影響を与えます。


def change_dict(target_dict):
 target_dict['hoge'] = 'piyo'

dict_a = {"key_a": "value_a"}
dict_b = {"key_b": "value_b"}

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

print(f'----------')

change_dict(dict_a)

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

dict_a={'key_a': 'value_a'}, id:139844338024320
dict_b={'key_b': 'value_b'}, id:139844338024384
----------
dict_a={'key_a': 'value_a', 'hoge': 'piyo'}, id:139844338024320
dict_b={'key_b': 'value_b'}, id:139844338024384

本題

じゃあ、関数内で dict を丸ごと差し替えたい場合はどうすればよいか？
引数で渡した値に丸ごと新しい dict を代入すると、その引数の参照先が変わるだけなので、参照元には反映されません。

def change_dict(target_dict):
 target_dict = {'hoge': 'piyo'}

dict_a = {"key_a": "value_a"}
dict_b = {"key_b": "value_b"}

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

print(f'----------')

change_dict(dict_a)

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

dict_a={'key_a': 'value_a'}, id:139712684732288
dict_b={'key_b': 'value_b'}, id:139712684732352
----------
dict_a={'key_a': 'value_a'}, id:139712684732288
dict_b={'key_b': 'value_b'}, id:139712684732352

かと言って、copy() を使うと新たにオブジェクトが作成されるので、この場合も参照元には反映されません（コピー前のオブジェクトを参照しているため）。

def change_dict(target_dict):
 target_dict = {'hoge': 'piyo'}.copy()

dict_a = {"key_a": "value_a"}
dict_b = {"key_b": "value_b"}

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

print(f'----------')

change_dict(dict_a)

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

dict_a={'key_a': 'value_a'}, id:2642357453888
dict_b={'key_b': 'value_b'}, id:2642357181760
----------
dict_a={'key_a': 'value_a'}, id:2642357453888
dict_b={'key_b': 'value_b'}, id:2642357181760

なので、参照元にも変更を反映したい場合には、前述したように clear() update() を使います。

def change_dict(target_dict):
 target_dict.clear()
 target_dict.update({'hoge': 'piyo'})

dict_a = {"key_a": "value_a"}
dict_b = {"key_b": "value_b"}

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

print(f'----------')

change_dict(dict_a)

# 値と id の確認
print(f'dict_a={dict_a}, id:{id(dict_a)}')
print(f'dict_b={dict_b}, id:{id(dict_b)}')

dict_a={'key_a': 'value_a'}, id:2371211616000
dict_b={'key_b': 'value_b'}, id:2371211612864
----------
dict_a={'hoge': 'piyo'}, id:2371211616000
dict_b={'key_b': 'value_b'}, id:2371211612864

排他には注意

clear() update() という２つの関数を使って dict を更新するので、並列処理を行っている場合には排他が必要です。
clear() と update() の間で値が読み込まれるということが発生しうるからです。

私の場合、マルチプロセスで動いているアプリで実際にそれが発生しました。
（使っていたのは普通の dict ではなく multiprocessing.Manager().dict() ですが）

[Python] aiohttp で multipart/form-data を使う

Wed, 29 Jun 2022 00:00:00 +0900

複数のデータを送るときに使う multipart/form-data を aiohttp で送る方法です。

公式ドキュメントは以下です。

https://docs.aiohttp.org/en/stable/multipart.html

基本サンプル

import asyncio
import aiohttp

async def main():
 with aiohttp.MultipartWriter("form-data") as mpwriter:
 mpwriter.append('hello1')
 mpwriter.append('hello2')
 async with aiohttp.ClientSession() as session:
 res = await session.post(f'url', data=mpwriter)
 print(res)

if __name__ == '__main__':
 asyncio.run(main())

以下のような内容で送信されました。

Content-Type: multipart/form-data; boundary=69ae25abec5c4a038dc2deb4a0952eb3

--69ae25abec5c4a038dc2deb4a0952eb3
Content-Type: text/plain; charset=utf-8
Content-Length: 6

hello1
--69ae25abec5c4a038dc2deb4a0952eb3
Content-Type: text/plain; charset=utf-8
Content-Length: 6

hello2
--69ae25abec5c4a038dc2deb4a0952eb3--

テキストデータ

mpwriter.append にテキストを渡した場合、デフォルトでは Content-Type は text/plain になるそうです。

バイナリデータ

mpwriter.append にバイナリデータを渡した場合、デフォルトでは Content-Type は application/octet-stream になるそうです。
変更したい場合は以下のように第２引数で指定します。

mpwriter.append(image, {'Content-Type': 'image/jpeg'})

また、name や filename などを指定したい場合は、set_content_disposition を使用するようです。

part = mpwriter.append(image, {'Content-Type': 'image/jpeg'})
part.set_content_disposition('form-data', name="name", filename="filename")

JSON を送りたい場合

append_json に dict 型のデータを渡せばOKです。

mpwriter.append_json({'test': 'passed'})

JSON と画像を一緒に送る例

以前、requests モジュールを使って multipart/form-data のデータを送る記事を書きました。

https://kuttsun.blogspot.com/2022/06/webapi-multipartform-data.html

これを aiohttp で書いてみたのが以下です。

import asyncio
import aiohttp
from datetime import datetime

async def main():
 with aiohttp.MultipartWriter("form-data") as mpwriter:
 for camera_id in ['hoge', 'piyo']: # 各カメラのID
 # 適当なテキストデータ
 json_data = {
 'camera_id': camera_id,
 'datetime': datetime.now().isoformat()
 }
 # 適当な画像ファイルを読み込む
 image = None
 filename = 'send_image.jpg'
 with open(filename, 'rb') as f:
 image = f.read()

 # JSON の追加
 part = mpwriter.append_json(json_data)
 part.set_content_disposition('form-data', name=camera_id)

 # 画像の追加
 part = mpwriter.append(image, {'Content-Type': 'image/jpeg'})
 part.set_content_disposition('form-data', name=camera_id, filename=camera_id)

 # 送信
 async with aiohttp.ClientSession() as session:
 res = await session.post(f'http://localhost:8000', data=mpwriter)
 print(res)

if __name__ == '__main__':
 asyncio.run(main())

参考 URL

https://docs.aiohttp.org/en/stable/multipart.html

[Python] flask で async/await を使う

Tue, 28 Jun 2022 00:00:00 +0900

flask[async] のインストールすれば、普通に async/await の構文が使えました。

公式ドキュメントは以下です。

https://flask.palletsprojects.com/en/2.1.x/async-await/

環境

Ubuntu 20.04
Python 3.8.10

インストール

$ pip install flask[async]

サンプルコード

import sys
import time
import asyncio
from flask import Flask, jsonify

app = Flask(__name__)

@app.route('/test', methods=['GET'])
async def test():
 start = time.time()
 await asyncio.sleep(1)
 return jsonify({"elapsed time": time.time() - start})

if __name__ == '__main__':
 app.run(host='0.0.0.0', port=5000, debug=True)

参考 URL

https://flask.palletsprojects.com/en/2.1.x/async-await/

Portainer API を使って Docker Engine API を叩いてみる

Mon, 27 Jun 2022 00:00:00 +0900

Docker を WebUI で操作できる Portainer には API が用意されており、これを使えば Portainer の UI でできることを全て自動化できます。また、Portainer API を介して Docker Engine API も叩くことができるので試してみました。

Portainer の API のドキュメントは以下です。

https://docs.portainer.io/api/docs

Docker Engine API のドキュメントは以下です。

https://docs.docker.com/engine/api/v1.41/

Python + aiohttp で実装してみました。

環境

Docker 20.10.12
Portainer 2.13.1
Python 3.8.10
aiohttp 3.8.1

サンプルコード

細かい解説は後にして、先にコード全体を載せます。

import asyncio
import aiohttp

PORTAINER_URL="http://portainer_url"

async def main():
 async with aiohttp.ClientSession() as session:

 # トークンを取得
 r = await session.post(f'{PORTAINER_URL}/api/auth', json={ 'Username': 'Admin', 'Password': 'AdminPassword' })
 data = await r.json()
 jwt = data['jwt']
 
 # ヘッダー
 headers={ 'Authorization': f'Bearer {jwt}' }
 #headers={ 'X-API-Key': 'token' }

 # EnvironmentID を取得
 r = await session.get(f'{PORTAINER_URL}/api/endpoint_groups', headers=headers)
 environments = await r.json()
 id = environments[0]['Id']

 # コンテナ一覧の取得
 r = await session.get(f'{PORTAINER_URL}/api/endpoints/{id}/docker/containers/json', json={ 'all': 'true' }, headers=headers)
 containers = await r.json()
 print(containers)

if __name__ == '__main__':
 asyncio.run(main())

トークンの取得

Portainer のアカウントを使って JWT トークンを取得します。

r = await session.post(f'{PORTAINER_URL}/api/auth', json={ 'Username': 'Admin', 'Password': 'AdminPassword' })
data = await r.json()
jwt = data['jwt']

このトークンは8時間の間だけ有効だそうです。
または、Portainer の myaccount 画面からでも API トークンを発行できます。
それぞれヘッダーの書き方が少し異なります。

前者の場合は

headers={ 'Authorization': f'Bearer {jwt}' }

後者の場合は

headers={ 'X-API-Key': 'token' }

のように記述します。

Environment(endpoint) ID の取得

Portainer は複数の Docker ホストを管理できるので、Docker Engine API を叩く際にはどのホストの Docker に対する操作かを指定する必要があります。　　　　なので、Docker Engine API を叩く前に Environment の一覧を取得します。

https://app.swaggerhub.com/apis/portainer/portainer-ce/2.13.1#/endpoint_groups/EndpointGroupList

r = await session.get(f'{PORTAINER_URL}/api/endpoint_groups', headers=headers)
environments = await r.json()
id = environments[0]['Id']

コンテナの一覧を取得

コンテナの一覧を取得してみます。
API の仕様は以下を参照してください。

https://docs.docker.com/engine/api/v1.41/#tag/Container

Portainer のエンドポイント /api/endpoints/{id}/docker より後ろが docker のエンドポイントと同じになるみたいですね。

r = await session.get(f'{PORTAINER_URL}/api/endpoints/{id}/docker/containers/json', json={ 'all': 'true' }, headers=headers)
containers = await r.json()

ここまでやれば、後は大体のことができるんじゃないかと思います。

参考 URL

[Docker] OpenCV + python のマルチステージビルドを行う

Mon, 20 Jun 2022 00:00:00 +0900

Python の OpenCV で GStreamer を使う場合、自前でビルドする必要があり、そのための Dockerfile を以前作成しました。

その時の記事が以下です。

https://kuttsun.blogspot.com/2021/11/opencv-gstreamer.html

ただ、これで作成した Docker イメージのサイズが 2.5GB くらいあり、もっとサイズを小さくできないかなと考えていました。

その過程でマルチステージビルドというものを知ったのですが、OpenCV のビルドの成果物をどうやって最後のステージに持ってきたらよいか分からず悩んでいたら、以下のページを見つけました。

ビルドステージでは、make install の後、ldconfig で共有リンクを作成しています。
リリースステージでは /usr/local/lib 以下を全てコピーし、ldconfig で共有リンクを作成しています。

というわけで、これを参考にマルチステージビルドを行ってみました。ただ、私の場合、/usr/local/lib のコピーだけでは依存パッケージが不足していて動かなかったので、/usr/lib と /usr/share の中身も全部コピーしたら動くようになりました。

COPY --from=build /usr/lib /usr/lib
COPY --from=build /usr/share /usr/share
COPY --from=build /usr/local/lib /usr/local/lib
RUN ldconfig

以上で、イメージサイズを 1.9GB まで減らせました。
ここらへん、本当に依存しているパッケージだけをコピーするようにできれば、まだまだサイズを小さくできそうではあります。

以下、Dockerfile のサンプルです。

# Stage1: build
FROM ubuntu:20.04 as build

# tzdataのタイムゾーン入力を求められないようにする
# https://tmyoda.hatenablog.com/entry/20210124/1611416396
ENV TZ=Asia/Tokyo
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

RUN apt update && \
 apt install -y --no-install-recommends \
 software-properties-common && \
 update-ca-certificates && \
 # 必要なパッケージをインストール
 apt install -y \
 python3-pip \
 libgl1-mesa-dev \
 libsm6 \
 git \
 wget \
 unzip \
 # OpenCV: Required build dependencies
 # https://docs.opencv.org/4.x/d2/de6/tutorial_py_setup_in_ubuntu.html
 cmake \
 python3-dev \
 python3-numpy \
 libavcodec-dev \
 libavformat-dev \
 libswscale-dev \
 libgtk2.0-dev \
 libgtk-3-dev \
 # OpenCV: Optional Dependencies
 libpng-dev \
 libjpeg-dev \
 libopenexr-dev \
 libtiff-dev \
 libwebp-dev \
 # OpenCV のビルド時に -D WITH_QT=ON を設定するために以下が必要だった
 qtbase5-dev \
 qtdeclarative5-dev \
 # gstreamer のインストール
 # https://gstreamer.freedesktop.org/documentation/installing/on-linux.html
 libgstreamer1.0-dev \
 libgstreamer-plugins-base1.0-dev \
 libgstreamer-plugins-bad1.0-dev \
 gstreamer1.0-plugins-base \
 gstreamer1.0-plugins-good \
 gstreamer1.0-plugins-bad \
 gstreamer1.0-plugins-ugly \
 gstreamer1.0-libav \
 gstreamer1.0-doc \
 gstreamer1.0-tools \
 gstreamer1.0-x \
 gstreamer1.0-alsa \
 gstreamer1.0-gl \
 gstreamer1.0-gtk3 \
 gstreamer1.0-qt5 \
 gstreamer1.0-pulseaudio && \
 # aptのクリア
 apt autoremove && apt clean && rm -rf /var/lib/apt/lists/*

# OpenCV のビルドとインストール
# https://docs.opencv.org/master/d2/de6/tutorial_py_setup_in_ubuntu.html
# https://toriten1024.hatenablog.com/entry/2018/09/29/012205
# https://dlrecord.hatenablog.com/entry/2017/12/15/145356
# https://atmarkit.itmedia.co.jp/ait/articles/1704/10/news134.html
RUN mkdir opencv && \
 cd /opencv && \
 # OpenCV のダウンロード
 wget https://github.com/opencv/opencv/archive/4.5.3.zip --no-check-certificate && \
 unzip 4.5.3.zip && \
 # OpenCV の cmake
 cd /opencv/opencv-4.5.3 && \
 mkdir build && \
 cd /opencv/opencv-4.5.3/build && \
 cmake -D CMAKE_BUILD_TYPE=RELEASE \
 -D BUILD_DOCS=OFF \
 -D BUILD_EXAMPLES=OFF \
 -D BUILD_TESTS=OFF \
 -D WITH_1394=OFF \
 -D WITH_GSTREAMER=ON \
 -D WITH_FFMPEG=ON \
 # cv2.waitKey() を使うためには WITH_QT=ON にする必要があった
 -D WITH_QT=ON \
 .. && \
 # OpenCV のビルド ※ $(nproc) はコア数を返す、make を並列処理させて高速化したい場合は指定する
 #make -j${nproc} && \
 #make -j2 && \
 make && \
 make install && \
 ldconfig && \
 # 後始末
 rm -rf /opencv


# Stage2: release
FROM ubuntu:20.04

# tzdataのタイムゾーン入力を求められないようにする
# https://tmyoda.hatenablog.com/entry/20210124/1611416396
ENV TZ=Asia/Tokyo
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

RUN apt update && \
 # 必要なパッケージをインストール
 apt install -y --no-install-recommends \
 python3-pip \
 python3-numpy \
 # aptのクリア
 && \
 apt autoremove && apt clean && rm -rf /var/lib/apt/lists/*

# Copy binary and dependencies
COPY --from=build /usr/lib /usr/lib
COPY --from=build /usr/share /usr/share
COPY --from=build /usr/local/lib /usr/local/lib
RUN ldconfig

# 必要なプラグインをインストール
RUN pip3 install \
 aiohttp \
 rich \
 ruamel.yaml \
 pymongo==3.12.0 \
 influxdb \
 flask \
 flask-cors \
 pytest \
 pytest-mock \
 mongomock \
 websockets \
 --trusted-host pypi.org \
 --trusted-host files.pythonhosted.org

# bash起動
CMD [ "/bin/bash" ]

参考 URL

MkDocs の設定いろいろ

Fri, 03 Jun 2022 00:00:00 +0900

MkDocs の細かい設定いろいろです。

必要に応じて適宜更新していきたいと思います。

URL を自動でハイパーリンクする

以下の拡張機能を有効にします。

markdown_extensions:
 - pymdownx.magiclink

Material for MkDocsで打ち消し線が動作するようにする

以下の拡張機能を有効にします。

markdown_extensions:
 - pymdownx.tilde

スペース2個でリストがインデントされるようにする

デフォルトではスペース4個でないとリストがインデントされません。
これをスペース2個でもインデントされるようにするには、mdx_truly_sane_lists という拡張機能をインストールします。

$ pip install mdx_truly_sane_lists

mkdocs.yml に以下を追記します。

markdown_extensions:
 - mdx_truly_sane_lists:
 nested_indent: 2

更新日時を表示する

$ pip install mkdocs-git-revision-date-localized-plugin

plugins:
 - search
 - git-revision-date-localized

Material for MkDocs を使っている場合はこれだけで全ページの下部に更新日時が表示されるようになります。
オプション設定で書式などを変更することもできるようです。

https://timvink.github.io/mkdocs-git-revision-date-localized-plugin/options/

参考 URL

WebAPI で multipart/form-data を使う

Thu, 02 Jun 2022 00:00:00 +0900

AI を使った画像解析システムなどでは、画像をリクエストで投げて推論結果をレスポンスでもらう、というのをよくやるかと思います。

そういった API で、最初は画像を Base64 に変換して JSON で渡していたのですが、エンコード/デコードの処理時間があるため、バイナリでデータを送りたいと考えました。
また、１度のリクエストで複数枚の画像を送る必要があるのと、画像の対する付加情報（カメラのIDや画像の取得日時など）も一緒に渡す必要があるということで、multipart/form-data を使って送ってみることにしました。

multipart/form-data についての詳細は割愛しますが、バウンダリ文字列で区切って複数のデータを送信するやつで、HTML の form 文とかで使われるやつです。

今まで WebAPI では json と yaml しか扱ったことありませんでしたが、調べた感じ、WebAPI でも multipart/form-data を使ってテキストとバイナリを一緒に送るというのはよくある手法っぽいです。

リクエスト内容

例として、POST で以下のような内容を送ります。

ヘッダー（抜粋）

Content-Type multipart/form-data; boundary=cc874efaa4e6a1e85c14280c96a7b237

サンプルコードを後に載せていますが、バウンダリ文字列は自動生成でリクエスト毎に異なります。
基本的に意識しなくても大丈夫でした。

ペイロード

テキストについては一つずつ text/plain で送ろうかとも思いましたが、今後データが増えた時にサーバー側の処理が面倒かなと思い、JSON にまとめることにしました。
画像データ以外は JSON でまとめて送り、画像データはバイナリで送ります。
これをカメラ台数分送ります。カメラ毎に JSON と画像をマッピングする必要がありますが、試行錯誤した結果、name にカメラを識別するためのIDを設定することにしました。つまり、name の値を見てどのカメラの JSON データ、画像データかを識別する想定です。
後述するサンプルコードで試した結果、ペイロードは以下のような形になりました。

--cc874efaa4e6a1e85c14280c96a7b237
Content-Disposition: form-data; name="カメラのID"

{
 "camera_id": "1",
 "datetime": "2021-08-05T17:07:01.388437",
}
--cc874efaa4e6a1e85c14280c96a7b237
Content-Disposition: form-data; name="カメラのID"; filename="ファイル名"
Content-Type: image/jpeg

<ここに画像のバイナリデータが入る>
--cc874efaa4e6a1e85c14280c96a7b237--

複数カメラ分のデータを送信した場合、並びは以下ようになりました。

１台目のカメラの JSON データ
２台目のカメラの JSON データ
１台目のカメラの画像データ
２台目のカメラの画像データ

name でどのカメラかを判別できるので、基本的にこの並びは意識しなくても大丈夫でした。

サンプルコード

Python での実装例です。

クライアント側

上記のリクエストを requests モジュールを使って送信するサンプルです。

import requests
import json
from datetime import datetime

if __name__ == '__main__':
 data = {}
 files = {}
 # 複数カメラを想定して送信
 for camera_id in ['hoge', 'piyo']: # 各カメラのID
 # 適当なテキストデータ
 json_data = {
 'camera_id': camera_id,
 'datetime': datetime.now().isoformat()
 }
 # 適当な画像ファイルを読み込む
 image = None
 filename = 'send_image.jpg'
 with open(filename, 'rb') as f:
 image = f.read()

 # 送信
 # data,files は dict 型でなければならないので、カメラIDをキーとして渡すことにした。このキーが name に設定される
 data[camera_id] = json.dumps(json_data), # dict -> str への変換
 # filename や Content-Type を指定して送りたい場合
 files[camera_id] = (filename, image, 'image/jpeg')
 # 画像のみで送りたい場合。filename は name と同じになり、Content-Type は付与されなかった
 #files[camera_id] = image
 res = requests.post(f'http://localhost:8000', files=files, data=data)
 print(res)

サーバー側

上記のリクエストを Flask で受信するサンプルです。

import json
from flask import Flask, request

if __name__ == '__main__':
 app = Flask(__name__)

 @app.route('/', methods=['POST'])
 def index():
 print(request.headers)
 #print(request.get_data()) # 生データ
 # JSON データの受け取り
 for key, value in request.form.items():
 json_data = json.loads(value) # str から dict への変換
 print(f'json, key={key}:, value={json_data}, type={type(json_data)}')
 # 画像データの受け取り
 for key, value in request.files.items():
 print(f'image, key={key}, type={type(value)}') # FileStorage 型
 #print(value.headers)
 # ファイルに保存して確認
 with open(f'{key}.jpg', 'wb') as f:
 f.write(value.read())
 # ファイルの保存だけなら以下でも可
 #value.save(f'{key}.jpg')
 return {}, 200

 app.run(port=8000, debug=True)

OpenAPI で multipart/form-data を記述する

OpenAPI で API の仕様書を作成しているのですが、multipart/form-data は以下のように記述するようです。
ただ、上述したような name をカメラのIDとするような記述はできないようです。
ここでは json_data image という値で記述しています。

また、Content-Type を記述したい場合は encoding を使うそうですが、Swagger で試しに送信しても付与されていませんでした。あと、Redoc ではリクエストボディの内容が表示されませんでした。
``multipart/form-data` 自体に対応していないのかもしれません。

/endpoint:
 post:
 summary: サンプル
 description: 説明
 requestBody:
 content:
 multipart/form-data:
 schema:
 type: object
 required:
 - json_data
 - image
 properties:
 data:
 type: object
 required:
 - camera_id
 - datetime
 description: 画像以外のデータ(JSON)
 properties:
 camera_id:
 type: string
 description: カメラの識別子
 example: 'hoge'
 datetime:
 type: string
 format: date-time
 description: 画像の取得日時(ISO8601)
 example: '2021-08-05T17:07:01.388437'
 image:
 type: string
 format: binary
 description: 画像データ(バイナリ)
 encoding:
 image:
 contentType: image/jpeg;

参考 URL

[PySide] ARM アーキテクチャ環境に PySide をインストールできない？

Mon, 11 Apr 2022 00:00:00 +0900

pip で pyside2 および pyside6 をインストールしようとすると失敗しました。

デバイスは Jetson Xavier NX です。
表示されたエラーは以下です。

# pip install pyside2
ERROR: Could not find a version that satisfies the requirement pyside2 (from versions: none)
ERROR: No matching distribution found for pyside2

調べた感じ、どうやら ARM アーキテクチャの場合、pip ではインストールできない？

PySide2 であれば、一応 apt でビルド済みパッケージをインストールすることはできました。

$ sudo apt install python3-pyside2*

しかし、動かしたいアプリは PySide6 を使っており、PySide6 についてはパッケージが見当たりませんでした。

参考 URL

[Python] `error in modulated_deformable_im2col_cuda: no kernel image is available for execution on the device` のエラーが表示される

Fri, 25 Mar 2022 00:00:00 +0900

pytorch で DCNv2 を使って推論を行っているアプリで、以下のエラーが表示されました。

error in modulated_deformable_im2col_cuda: no kernel image is available for execution on the device

Docker コンテナ内でアプリを動かしていたのですが、DCNv2 のビルドをやり直したら解消されました。
具体的には以下の make.sh を実行します。

https://github.com/jinfagang/DCNv2_latest

参考 URL

[Python] `most likely due to a circular import` が表示されたときの対処法

Wed, 23 Mar 2022 00:00:00 +0900

コードを確認しても正しいはずなのにこのエラーが表示されて困ったことがありました。

原因は、モジュール名とファイル名が被っていたことでした。

例えば、ファイル名を pandas.py とかにして、その中で以下のように pandas を使っていたりするとこのようなエラーが表示されます。

import pandas as pd

df = pd.DataFrame([0,1,2])
print(df)

AttributeError: partially initialized module 'pandas' has no attribute 'DataFrame' (most likely due to a circular import)

imoprt pandas で自身のファイルを読み込むことになり、再帰読み込みになってしまっているからです。
知らないと結構はまることになるやつだと思います。

[Python] NumPy 入門

Mon, 14 Mar 2022 00:00:00 +0900

Python で高速に数値計算を行うためのライブラリである NumPy の基本的な使い方です。

環境

Python 3.8.10
numpy 1.22.2

インストールとインポート

$ pip install numpy

numpy をインポートする際、慣例的に np とすることが多いそうです。

import numpy as np

配列の作成

NumPy 配列は numpy.array で作成します。
戻り値の型は numpy.ndarray となります。

import numpy as np

# 一次元配列
arr1 = np.array([1,2,3])
print(type(arr1))
print(arr1)

# 二次元配列
arr2 = np.array([[1,2,3],[4,5,6]])
print(type(arr2))
print(arr2)

<class 'numpy.ndarray'>
[1 2 3]
<class 'numpy.ndarray'>
[[1 2 3]
 [4 5 6]]

空の配列を作成

import numpy as np

arr = np.empty(0)

print(arr)
print(type(arr))

[]
<class 'numpy.ndarray'>

import numpy as np

#(2,3)の形状の配列
arr = np.empty((2,3))

print(arr)
print(type(arr))

[[6.23042070e-307 1.33512376e-306 1.11261230e-306]
 [7.56577399e-307 9.34600963e-307 1.15860970e-311]]
<class 'numpy.ndarray'>

配列の自動生成

整数型

numpy.arange(開始値,終了値,間隔値) で整数型の配列を作成できます。

import numpy as np

arr = np.arange(21,31,1)
print(arr)

[21 22 23 24 25 26 27 28 29 30]

浮動小数型

numpy.linspace(開始値,終了値,要素数) で浮動小数型の配列を作成できます。

import numpy as np

arr = np.linspace(21,30,10)
print(arr)

[21. 22. 23. 24. 25. 26. 27. 28. 29. 30.]

値が全て0の配列

import numpy as np

arr = np.zeros(5)
print(arr)

[0. 0. 0. 0. 0.]

値が全て1の配列

import numpy as np

arr = np.ones(5)
print(arr)

[1. 1. 1. 1. 1.]

値が全て同じ任意の値の配列

import numpy as np

arr = np.full(5,2)
print(arr)

[2 2 2 2 2]

値が全て同じ任意の値の5x5の配列

import numpy as np

arr = np.full((5,5),2)
print(arr)

[[2 2 2 2 2]
 [2 2 2 2 2]
 [2 2 2 2 2]
 [2 2 2 2 2]
 [2 2 2 2 2]]

単位行列

import numpy as np

arr = np.eye(5)
print(arr)

[[1. 0. 0. 0. 0.]
 [0. 1. 0. 0. 0.]
 [0. 0. 1. 0. 0.]
 [0. 0. 0. 1. 0.]
 [0. 0. 0. 0. 1.]]

転置

以下のいずれかで転置できます。

numpy.transpose(配列)
配列.transpose()
配列.T

上記の３つは同じ挙動です。
また、shape で行列の形状を確認できます。

import numpy as np

# 2x3 の配列を生成
arr = np.random.randint(0,100,(2,3))
print(arr)
print(arr.shape)

# 配列の転置
arr = arr.T
print(arr)
print(arr.shape)

[[96 23 98]
 [62 95 13]]
(2, 3)
[[96 62]
 [23 95]
 [98 13]]
(3, 2)

転置方法を指定

import numpy as np

# 2x3x4 の配列を生成
arr = np.random.randint(0,100,(2,3,4))
print(arr)
print(arr.shape)

# 配列の転置
arr = arr.transpose((1,0,2))
print(arr)
print(arr.shape)

[[[90 75 5 21]
 [ 6 6 98 11]
 [16 75 99 46]]

 [[72 48 52 2]
 [ 2 75 49 29]
 [51 30 41 40]]]
(2, 3, 4)
[[[90 75 5 21]
 [72 48 52 2]]

 [[ 6 6 98 11]
 [ 2 75 49 29]]

 [[16 75 99 46]
 [51 30 41 40]]]
(3, 2, 4)

平坦化

flatten または ravel で配列を一次元化できます。 flatten は配列をコピーして平坦化されるそうですが、ravel は元の配列から変更されるようです。

import numpy as np

# 2x3x4 の配列を生成
arr = np.random.randint(0,100,(2,3,4))
print(arr)
print(arr.shape)

# 配列の平坦化
arr = arr.ravel()
print(arr)
print(arr.shape)

[[[17 6 76 10] 
 [83 33 17 4] 
 [ 5 91 62 26]]

 [[97 33 84 5]
 [ 9 62 95 12]
 [41 93 28 46]]]
(2, 3, 4)
[17 6 76 10 83 33 17 4 5 91 62 26 97 33 84 5 9 62 95 12 41 93 28 46]
(24,)

reshape と resize

reshape と resize はどちらも配列の形状を変更するための関数ですが、reshape は元の配列の要素数が変わるような変更はできないのに対し、resize は好きな形状に変更することができます。

resize で元の配列よりもサイズが小さい場合は値が切り捨てられ、大きい場合は複製されます。

import numpy as np

# 2x3の配列を生成
arr = np.random.randint(0, 100, (2,3))
print(arr)

# 2x3の配列を3x2の配列に変形する
print('reshape 2x3 -> 3x2')
arr1 = np.reshape(arr, (3,2))
print(arr1)

print('resize 2x3 -> 3x2')
arr2 = np.resize(arr, (3,2))
print(arr2)

# 2x3列の配列を2x2の配列に縮小する
print('resize 2x3 -> 2x2')
arr3 = np.resize(arr, (2,2))
print(arr3)

# 2x3列の配列を4x5の配列に拡大
print('resize 2x3 -> 4x5')
arr4 = np.resize(arr, (4,5))
print(arr4)

[[55 23 6]
 [24 44 17]]
reshape 2x3 -> 3x2
[[55 23]
 [ 6 24]
 [44 17]]
resize 2x3 -> 3x2
[[55 23]
 [ 6 24]
 [44 17]]
resize 2x3 -> 2x2
[[55 23]
 [ 6 24]]
resize 2x3 -> 4x5
[[55 23 6 24 44]
 [17 55 23 6 24]
 [44 17 55 23 6]
 [24 44 17 55 23]]

四則演算

配列同士で四則演算を行う方法として、関数を使用する方法と演算子を使用する方法があります。
ただし、乗算などは一般的な行列の積ではなく、同じ行と列の値同士の積となるようです。

import numpy as np
arr1 = np.array([100,200,300])
arr2 = np.array([40,50,60])

print(arr1 + arr2)
print(np.add(arr1, arr2))

# 減算
print(arr1 - arr2)
print(np.subtract(arr1, arr2))

# 乗算
print(arr1 * arr2)
print(np.multiply(arr1, arr2))

# 除算
print(arr1 / arr2)
print(np.divide(arr1, arr2))

[140 250 360]
[140 250 360]
[ 60 150 240]
[ 60 150 240]
[ 4000 10000 18000]
[ 4000 10000 18000]
[2.5 4. 5. ]
[2.5 4. 5. ]

参考 URL

[PySide] FlowLayout を作成する

Tue, 08 Mar 2022 00:00:00 +0900

Qt でウィンドウの幅によって列数がレスポンシブに変わる（自動で改行される）ようなレイアウトを組むには自分で作成する必要があるみたいです。

こういうレイアウトを Flow Layout というようです。

この Flow Layout を、QLayout を継承して作成する方法が公式ドキュメントに載っています。

https://doc.qt.io/qt-5/qtwidgets-layouts-flowlayout-example.html

ただ、私の環境ではこのコードをそのまま PySide で実装しても細かい部分の挙動がおかしかったので、以下のページも参考にしつつ修正しました。

環境

Python 3.8.10
PySide 6.2.2.1

サンプルコード

以下が作成した FlowLayout クラスです。
解説などは上記のページに載っているので割愛します。

import sys
from PySide6.QtWidgets import QApplication, QSizePolicy, QWidget, QLayout, QLayoutItem, QPushButton, QScrollArea
from PySide6.QtCore import (Qt, QSize, QRect, QPoint)

class FlowLayout(QLayout):

 def __init__(self, parent=None, margin:int=0, hspacing:int=-1, vspacing:int=-1):
 super().__init__(parent)
 self.setContentsMargins(margin, margin, margin, margin)

 self.__itemlist = []
 self.__hSpacing = hspacing
 self.__vSpacing = vspacing

 def __del__(self):
 item = self.takeAt(0)
 while item:
 del item
 item = self.takeAt(0)

 def addItem(self, item:QLayoutItem):
 self.__itemlist.append(item)

 def count(self):
 return len(self.__itemlist)

 def itemAt(self, index:int):
 if 0 <= index and index < len(self.__itemlist):
 return self.__itemlist[index]
 return None

 def takeAt(self, index:int):
 if 0 <= index and index < len(self.__itemlist):
 return self.__itemlist.pop(index)
 return None

 def expandingDirections(self):
 return Qt.Orientations(Qt.Orientation(0))

 def hasHeightForWidth(self):
 return True

 def heightForWidth(self, width:int):
 height = self.doLayout(QRect(0, 0, width, 0), True)
 return height

 def setGeometry(self, rect:QRect):
 super().setGeometry(rect)
 self.doLayout(rect, False)

 def sizeHint(self):
 return self.minimumSize()

 def minimumSize(self):
 size = QSize()
 for item in self.__itemlist:
 size = size.expandedTo(item.minimumSize())
 margins = self.contentsMargins()
 size += QSize(margins.left() + margins.right(), margins.top() + margins.bottom())
 return size

 def doLayout(self, rect:QRect, testOnly:bool):
 left, top, right, bottom = self.getContentsMargins()
 effectiveRect = rect.adjusted(+left, +top, -right, -bottom)
 x = effectiveRect.x()
 y = effectiveRect.y()
 lineHeight = 0

 for item in self.__itemlist:
 wid = item.widget()
 spaceX = self.__hSpacing
 if spaceX == -1:
 spaceX = wid.style().layoutSpacing(QSizePolicy.PushButton, QSizePolicy.PushButton, Qt.Horizontal)
 spaceY = self.__vSpacing
 if spaceY == -1:
 spaceY = wid.style().layoutSpacing(QSizePolicy.PushButton, QSizePolicy.PushButton, Qt.Vertical)

 nextX = x + item.sizeHint().width() + spaceX
 if nextX - spaceX > effectiveRect.right() and lineHeight > 0:
 x = effectiveRect.x()
 y = y + lineHeight + spaceY
 nextX = x + item.sizeHint().width() + spaceX
 lineHeight = 0

 if not testOnly:
 item.setGeometry(QRect(QPoint(x, y), item.sizeHint()))

 x = nextX
 lineHeight = max(lineHeight, item.sizeHint().height())

 return y + lineHeight - effectiveRect.y() + top + bottom

if __name__ == '__main__':

 class MainWindow(QScrollArea):

 def __init__(self, parent=None):
 super().__init__(parent)

 widget = QWidget()
 flowlayout = FlowLayout(widget, 10, 5)
 for i in range(100):
 button = QPushButton(f"Sample {i}")
 flowlayout.addWidget(button)
 self.setWidgetResizable(True)
 self.setWidget(widget)

 app = QApplication(sys.argv)
 window = MainWindow()
 window.show()
 sys.exit(app.exec())

参考 URL

[Python] tracemalloc を使ってメモリリークの発生箇所を特定する

Sat, 26 Feb 2022 00:00:00 +0900

メモリの使用量が綺麗に右肩上がりになっているアプリがあったので、メモリリークの発生箇所を特定する方法を調べてみたところ、標準モジュールの tracemalloc で出来そうなので、使ってみました。

tracemalloc については以下のページを参考にさせていただきました。

https://kazuhira-r.hatenablog.com/entry/2019/04/19/003328

環境

Python 3.8.10

サンプルコード

スレッド化し、5秒ごとにメモリ使用量トップ10と、メモリ増加量トップ10を表示するようにしてみました。

import tracemalloc
import time
from datetime import datetime
from threading import Thread

class MemoryCheker:

 def __init__(self):
 self.__is_running = False
 self.__snapshot = None

 def start(self):
 print(f'{self.__class__.__name__} start')
 self.__is_running = True
 self.__thread = Thread(target=self.__run)
 self.__thread.start()

 def stop(self):
 print(f'{self.__class__.__name__} stopping')
 self.__is_running = False
 self.__thread.join()
 print(f'{self.__class__.__name__} stopped')

 def __run(self):

 while self.__is_running:
 snapshot = tracemalloc.take_snapshot()
 top_stats = snapshot.statistics('lineno')
 print(f'[ Top 10 : {datetime.now()}]')
 for stat in top_stats[:10]:
 print(stat)
 if self.__snapshot != None:
 top_stats = snapshot.compare_to(self.__snapshot, 'lineno')
 print('[ Top 10 Difference ]')
 for stat in top_stats[:10]:
 print(stat)
 self.__snapshot = snapshot
 time.sleep(5)

if __name__ == '__main__':

 tracemalloc.start()
 memory_checker = MemoryChecker()
 memory_checker.start()
 
 # do something
 
 memory_checker.stop()

これでメモリリークしている箇所にあたりをつけ、原因を特定することができました。

参考 URL

https://kazuhira-r.hatenablog.com/entry/2019/04/19/003328

[PySide] QListWidget の使い方

Fri, 25 Feb 2022 00:00:00 +0900

QListWidget を使っていていろいろはまったのでメモです。

環境

Python 3.8.10
PySide 6.2.2.1

カスタムウィジェットをセットする

setItemWidget でアイテムとウィジェットを関連付けする必要があります。

custom_widget = CustomWidget()

# Create QListWidgetItem
item = QListWidgetItem(list_widget)
# Set size hint
item.setSizeHint(custom_widget.sizeHint())

# Add QListWidgetItem into QListWidget
self.addItem(item)
self.setItemWidget(item, custom_widget)

先頭行に追加する

insertItem() で 0 行目にアイテムを追加すればいいと思っていたら、実際には最後に追加されてしまいました。
悩んでいたところで以下の記事を見つけたのですが、どうやら QListWidgetItem でアイテムを作成する際、親ウィジェットを指定してはいけないようです。

https://stackoverflow.com/questions/45258159/how-to-add-a-qlistwidgetitem-on-top-of-the-qlistwidget

custom_widget = CustomWidget()

# Create QListWidgetItem
item = QListWidgetItem() # 親を指定しない
# Set size hint
item.setSizeHint(custom_widget.sizeHint())

# Add QListWidgetItem into QListWidget
self.insertItem(0, item)
self.setItemWidget(item, custom_widget)

ちなみに、insertItem よりも setItemWidget を先に処理していると上手く動きませんでした。

アイテムを削除する

takeItem を使います。
削除なのに take というのが分かりづらい・・・。

item = self.takeItem(row)
self.removeItemWidget(item)
del item

ドキュメントによれば、リストから削除されても実体は残っているようなので、del で削除しています。
だから take なのかな？

ちなみに removeItemWidget はアイテムと関連付けられているウィジェットを削除しますが、del item としているので、もしかしたら不要かもしれません。

https://qiita.com/tatsuteb/items/959700c1d7b42c7c8b5a

QListWidget のサイズをコンテンツに合わせる

カスタムウィジェットのサイズに上手く合わないことがあったので、どうしたらいいのか調べていたら、以下の記事を見つけました。

https://stackoverflow.com/questions/6337589/qlistwidget-adjust-size-to-content

以下のように sizeHint() をオーバーライドすればいいようです。

def sizeHint(self):
 s = QSize()
 s.setHeight(super().sizeHint().height())
 s.setWidth(self.sizeHintForColumn(0))
 return s

ただ、私の場合、上記だとウィジェットとスクロールバーが重なって表示されたりしたので、以下のようにスクロールバーの幅も考慮するように変更しました。

def sizeHint(self):
 s = QSize()
 s.setHeight(super().sizeHint().height())
 s.setWidth(self.sizeHintForColumn(0) + self.verticalScrollBar().sizeHint().width() * 2)
 return s

参考 URL

[PySide] QThread を使って時間のかかる処理をスレッド化する

Sun, 20 Feb 2022 00:00:00 +0900

例えばボタンをクリックしたときに重い処理を実行する場合など、そのまま処理すると GUI が固まってしまうため、スレッド化してやります。

概要

python の標準モジュールに threading がありますが、PySide を使っている場合は QThread を使います。
本質的にはどちらも同じだそうですが、Signal/Slot など、Qt との対話を行うなら QThread を使ったほうが良いようです。

https://stackoverflow.com/questions/1595649/threading-in-a-pyqt-application-use-qt-threads-or-python-threads

ちなみに、Qt には QtConcurrent という QThread よりも高レベルな API がありますが、こちらは PySide では提供されていないようです。

QThread のドキュメントは以下です。

https://doc.qt.io/qtforpython/PySide6/QtCore/QThread.html

また、PySide で GUI を止めることなく重い処理をするサンプルとして、以下がありました。

https://doc.qt.io/qtforpython/examples/example_corelib__threads.html

上記のサンプルでは QThread を継承し、run をオーバーライドしていますが、このやり方は良くないそうで、moveToThread を使って処理をスレッドに渡すやり方のほうが一般的なようです。
詳しくは以下で解説されています。

とはいえ、moveToThread を使った公式のサンプルが見当たらなかったので、知らない人は知らないんじゃないかなぁと思ったり・・。

というわけで、QThread と moveToThread 使ったスレッド化のサンプルです。

環境

Python 3.8.10
PySide 6.2.2.1

サンプルコード

解説は後にして、まずはコード全体です。

import sys, threading
from PySide6.QtWidgets import QApplication, QWidget, QPushButton, QLabel, QVBoxLayout
from PySide6.QtCore import Qt, QObject, QThread, Signal, Slot
import shiboken6
import time

class Worker(QObject):
 """バックグラウンドで処理を行うクラス
 """

 countup = Signal(int)

 def __init__(self, parent=None):
 super().__init__(parent)
 self.__is_canceled = False

 def run(self):
 print(f'worker started, thread_id={threading.get_ident()}')
 count = 0
 while not self.__is_canceled:
 count += 1
 self.countup.emit(count)
 time.sleep(0.001)
 print(f'worker finished, thread_id={threading.get_ident()}')

 def stop(self):
 self.__is_canceled = True

class MainWindow(QWidget):
 """メインウィンドウ
 """

 def __init__(self, parent=None):
 super().__init__(parent)

 self.__thread = None

 layout = QVBoxLayout()
 button = QPushButton('Start')
 button.clicked.connect(self.__start)
 layout.addWidget(button)
 button = QPushButton('Stop')
 button.clicked.connect(self.__stop)
 layout.addWidget(button)
 self.__label = QLabel()
 layout.addWidget(self.__label)
 self.setLayout(layout)

 def __start(self):
 """開始
 """
 print(f'start, thread_id={threading.get_ident()}')
 self.__stop()

 self.__thread = QThread()
 self.__worker = Worker()
 self.__worker.moveToThread(self.__thread) # 別スレッドで処理を実行する
 # シグナルスロットの接続（self.__countup をスレッド側で実行させるために Qt.DirectConnection を指定）
 self.__worker.countup.connect(self.__countup, type=Qt.DirectConnection)
 # スレッドが開始されたら worker の処理を開始する
 self.__thread.started.connect(self.__worker.run)
 # ラムダ式を使う場合は Qt.DirectConnection を指定
 #self.__thread.started.connect(lambda: self.__worker.run(), type=Qt.DirectConnection) 
 # スレッドが終了したら破棄する
 self.__thread.finished.connect(self.__worker.deleteLater)
 self.__thread.finished.connect(self.__thread.deleteLater)

 # 処理開始
 self.__thread.start()

 def __stop(self):
 """停止
 """
 print(f'stop, thread_id={threading.get_ident()}')
 if self.__thread and shiboken6.isValid(self.__thread):
 # スレッドが作成されていて、削除されていない
 if self.__thread.isRunning() or not self.__thread.isFinished():
 print('thread is stopping')
 self.__worker.stop()
 self.__thread.quit()
 self.__thread.wait()
 print('thread is stopped')

 def __countup(self, count):
 """countup シグナルに対する処理
 """
 self.__label.setText(f'count={count}, thread_id={threading.get_ident()}')

 def closeEvent(self, event):
 """closeEvent のオーバーライド（ウィンドウを閉じたときにスレッドを終了させる）
 """
 self.__stop()

if __name__ == "__main__":
 app = QApplication(sys.argv)
 main_window = MainWindow()
 main_window.show()
 sys.exit(app.exec())

カウントアップした変数の内容を表示するだけのシンプルなコードです。
スロットがどのスレッドで実行されているかわかるように、スレッドIDも表示しています。

簡単な解説

Worker が別スレッドで行いたい処理ですが、こいつ自身はスレッド云々を意識せず（どこで実行されるかを意識せず）、処理内容のみを責務としています。
どこで実行するかを意識するのは、処理を開始する MainWindow です。

シグナルスロット接続時の注意

以下の部分です。

self.__worker.countup.connect(self.__countup, type=Qt.DirectConnection)

self.__countup は MainWindow 内の関数なので、普通に接続するとメインスレッド側で処理が行われてしまいます。
これをスレッド側で処理が行われるようにするには Qt.DirectConnection を指定する必要があります。
countup シグナルはスレッド側で動いている Worker で emit されるので、Qt.DirectConnection を指定することでシグナルを emit するスレッド側での実行を指定することになります。
ここらへん、以下で詳しく解説されています。

ちなみに、以下のスレッド開始時の処理ですが、

self.__thread.started.connect(self.__worker.run)

self.__worker は moveToThread でスレッド側で処理を行うように指定しているので、明示的に Qt.DirectConnection を指定しなくてもよいのですが、これを仮に以下のようにラムダ式などを使った場合は、上記と同じ理由で Qt.DirectConnection を指定する必要があります。

self.__thread.started.connect(lambda: self.__worker.run(), type=Qt.DirectConnection)

例えば、self.__worker.run に引数を与えて開始したい場合などはこういうケースもあるのではないかと思います。
でもその場合 moveToThread を使う意味がなくなりそうですが・・・。（実際、moveToThread を使わなくても上手く動きます。）

終了処理

スレッドが終了したら deleteLater でオブジェクトの破棄を行っています。

self.__thread.finished.connect(self.__worker.deleteLater)
self.__thread.finished.connect(self.__thread.deleteLater)

https://tukunen13.hatenablog.jp/entry/2017/05/25/004652

また、スレッドを開始したままウィンドウを閉じたときのために、closeEvent をオーバーライドしてスレッドを停止するようにしています。

オブジェクトの判定

Start ボタンを押したときにスレッドを停止してから再度開始していますが、その際に既にスレッドが破棄されていないかどうか判定しています。
オブジェクトが破棄されているかどうかは shiboken を使います。

https://stackoverflow.com/questions/11328219/how-to-know-if-object-gets-deleted-in-python

スレッドの終了判定

QThread に isRunning と isFinished という関数がありますが、どっちを使えばいいのかいまいち分からなかったので両方見るようにしました。
ここらへん微妙です・・・。

参考 URL

[PySide] QPushButton にレイアウトを設定している場合にサイズがおかしい

Sat, 19 Feb 2022 00:00:00 +0900

QPushButton に QVBoxLayout などを setLayout() で設定している場合に、ボタンの縦のサイズが小さすぎてレイアウトが潰れた状態になりました。

レイアウトのサイズに応じてボタンのサイズを変更するにはどうしたらいいのかと悩んでいたら以下の記事を見つけました。

https://stackoverflow.com/questions/61571582/qt-qpushbutton-vertical-size-fit-to-contents

sizeHint() をオーバーライドし、レイアウトが設定されていればそのサイズを、設定されていなければ基底クラスのサイズを返せばいいようです。

PySide 6.2.2.1

def sizeHint(self):
 if self.layout():
 # the button now has a layout, return its size hint
 return self.layout().sizeHint()
 # no layout set, return the result of the default implementation
 return super().sizeHint()

参考 URL

https://stackoverflow.com/questions/61571582/qt-qpushbutton-vertical-size-fit-to-contents

[Python] マルチスレッド

Fri, 18 Feb 2022 00:00:00 +0900

python でのスレッドの作成、開始、終了の方法です。いつもどうだったっけ？となるので、出来るだけシンプルなコードでメモしておきます。

環境

Python 3.8.10

スレッドの起動と停止

import time
from threading import Thread
from datetime import datetime

class Sample:

 def __init__(self):
 self.__is_running = False

 def start(self):
 print('start')
 self.__is_running = True
 self.__thread = Thread(target=self.__run)
 self.__thread.start()

 def stop(self):
 print('stopping')
 self.__is_running = False
 self.__thread.join()
 print('stopped')

 def __run(self):

 while self.__is_running:
 print(f'{datetime.now()} running')
 time.sleep(1)

if __name__ == '__main__':
 sample = Sample()
 sample.start()
 time.sleep(10)
 sample.stop()

排他処理

上記をベースに、スレッドを複数開始しないように排他をかけてみます。

import time
from threading import Thread, Lock
from datetime import datetime

class Sample:

 def __init__(self):
 self.__lock = Lock()
 self.__is_running = False

 def start(self):
 if self.__is_running:
 print('already running')
 else:
 with self.__lock:
 print('start')
 self.__is_running = True
 self.__thread = Thread(target=self.__run)
 self.__thread.start()

 def stop(self):
 if not self.__is_running:
 print('not running')
 else:
 with self.__lock:
 print('stopping')
 self.__is_running = False
 self.__thread.join()
 print('stopped')

 def __run(self):

 while self.__is_running:
 print(f'{datetime.now()} running')
 time.sleep(1)

if __name__ == '__main__':
 sample = Sample()
 sample.start()
 sample.start()
 sample.start()
 time.sleep(10)
 sample.stop()
 sample.stop()
 sample.stop()

with の代わりに acquire と release を使ってもいいです。

** 出力結果 **

start
already running
already running
2022-02-14 14:29:16.802901 running
...
stopping
stopped
not running
not running

既にスレッド起動中の場合は一度停止してから再起動

上記の print('already running') のところで self.stop() をコールすればよいです。

参考 URL

[PySide] インスタンスが破棄されているかどうかを調べる

Thu, 17 Feb 2022 00:00:00 +0900

PySide を使っていて、既にインスタンスが破棄されているオブジェクトにアクセスした際、以下のようなエラーが表示されます。

RuntimeError: Internal C++ object (PySide6.QtCore.QThread) already deleted.

これを回避するため、インスタンスが破棄されているかどうかを知るにはどうすればいいか調べてみたところ、以下が見つかりました。

https://stackoverflow-com.translate.goog/questions/11328219/how-to-know-if-object-gets-deleted-in-python?_x_tr_sl=en&_x_tr_tl=ja&_x_tr_hl=ja&_x_tr_pto=wapp

shiboken というモジュールを使えばいいそうです。
公式ドキュメントは以下です。

https://doc.qt.io/qtforpython/shiboken6/shibokenmodule.html

環境

PySide 6.2.2.1
Python 3.8.10

サンプルコード

import shiboken6

print shiboken6.isValid(hoge)

参考 URL

[Python] datetime の strftime で Invalid format string になる

Wed, 16 Feb 2022 00:00:00 +0900

strftime で datetime から文字列に変換する際、Ubuntu では上手く動くのに、Windows だと ValueError: Invalid format string のエラーが発生しました。

どうやら Ubuntu と Windows で一部書式が異なるようです。

https://teratail.com/questions/361511

例えば、ゼロパディングをなくしたい場合は、以下のようになります。

# Linux の場合
today.strftime('%-m')

# Windows の場合
today.strftime('%#m')

Python の範囲内であればクロスプラットフォームで動作すると思っていたのにこんな罠があるとは。

上記の例であれば以下のようにすればいいだけですが、

str(today.month)

strftime を使い場合、大抵もっと複雑な書式で指定すると思うので、どう対応すればいいんでしょうね。

参考 URL

https://teratail.com/questions/361511

[PySide] Qt Style Sheet を使って UI のデザインを変更する

Fri, 11 Feb 2022 00:00:00 +0900

UI のデザインを変更したい場合、QSS という、CSS とほぼ同じ構文のスタイルシートを使って変更できます。

QSS ファイルの拡張子は qss が一般的なようですが、エディタによっては css のほうが便利かもしれません。
QSS 専用のエディタもあるようです。

https://qiita.com/takavfx/items/f385bd339d9f352d34cf

環境

PySide 6.2.2.1

ファイルの読み込みと適用方法

スタイルシートを読み込み、QApplication に対して setStyleSheet() で設定するとアプリケーション全体へ適用されるようです。

QMainWindow {
 background-color: #444444;
}

import sys
from PySide6.QtWidgets import QWidget, QApplication, QMainWindow, QVBoxLayout, QPushButton
from PySide6.QtCore import Qt

class MainWindows(QMainWindow):
 def __init__(self):
 super().__init__()

 container = QWidget()
 vbox_layout = QVBoxLayout(container)

 button = QPushButton('button0')
 vbox_layout.addWidget(button, alignment=Qt.AlignCenter)

 self.setCentralWidget(container)

if __name__ == "__main__":

 try:
 with open('style.qss', 'r') as f:
 style = f.read()
 except:
 style = ''

 app = QApplication(sys.argv)
 app.setStyleSheet(style)
 window = MainWindows()
 window.show()
 window.resize(360, 240)
 sys.exit(app.exec())

QSS の書き方については以下のページがとても参考になりました。

https://unpyside.com/2021/05/03/qss-basic/

特定のウィジェットにのみ適用する方法

setObjectName() で名前を設定し、IDセレクタを使って指定します。

QMainWindow {
 background-color: #444444;
}

/* ボタン全体へ適用 */
QPushButton {
 background-color: cyan;
 color: #444444;
}

/* button0 のみに適用 */
QPushButton#button0 {
 background-color: magenta;
 color: #ffffff;
}

import sys
from PySide6.QtWidgets import QWidget, QApplication, QMainWindow, QVBoxLayout, QPushButton
from PySide6.QtCore import Qt

class MainWindows(QMainWindow):
 def __init__(self):
 super().__init__()

 container = QWidget()
 vbox_layout = QVBoxLayout(container)

 button = QPushButton('button0')
 button.setObjectName('button0')
 vbox_layout.addWidget(button, alignment=Qt.AlignCenter)

 button = QPushButton('button1')
 vbox_layout.addWidget(button, alignment=Qt.AlignCenter)

 button = QPushButton('button2')
 vbox_layout.addWidget(button, alignment=Qt.AlignCenter)

 self.setCentralWidget(container)

if __name__ == "__main__":

 try:
 with open('style.css', 'r') as f:
 style = f.read()
 except:
 style = ''

 app = QApplication(sys.argv)
 app.setStyleSheet(style)
 window = MainWindows()
 window.show()
 window.resize(360, 240)
 sys.exit(app.exec())

カスタムウィジェットにスタイルを適用する

QWidget 継承して作ったカスタムウィジェットに QSS を適用するには、paintEvent をオーバーライドする必要があります。
これについては以下の記事に書いています。

https://kuttsun.blogspot.com/2022/02/pyside-qss.html

参考 URL

[PySide] カスタムウィジェットに QSS を適用する

Thu, 10 Feb 2022 00:00:00 +0900

QWidget を継承して作成したカスタムウィジェットに Qt Style Sheet を適用するには、paintEvent をオーバーロードする必要があるようです。

https://wiki.qt.io/How_to_Change_the_Background_Color_of_QWidget/ja

環境

PySide 6.2.2.1

サンプルコード

CustomWidget {
 background-color: cyan;
}

import sys
from PySide6.QtWidgets import QWidget, QApplication, QMainWindow, QVBoxLayout, QHBoxLayout, QPushButton, QLabel, QStyleOption, QStyle
from PySide6.QtCore import Qt
from PySide6.QtGui import QPainter

class CustomWidget(QWidget):
 """適当にボタンとラベルと横に並べただけのカスタムウィジェット"""

 def __init__(self):
 super().__init__()

 layout = QHBoxLayout()

 button = QPushButton('button')
 layout.addWidget(button, alignment=Qt.AlignCenter)

 label = QLabel('label')
 layout.addWidget(label, alignment=Qt.AlignCenter)

 self.setLayout(layout)
 
 def paintEvent(self, event):
 opt = QStyleOption()
 opt.initFrom(self)
 painter = QPainter(self)
 style = self.style()
 style.drawPrimitive(QStyle.PE_Widget, opt, painter, self)


class MainWindows(QMainWindow):
 def __init__(self):
 super().__init__()

 container = QWidget()
 vbox_layout = QVBoxLayout(container)

 widget = CustomWidget()
 vbox_layout.addWidget(widget, alignment=Qt.AlignCenter)

 self.setCentralWidget(container)

if __name__ == "__main__":

 try:
 with open('style.qss', 'r') as f:
 style = f.read()
 except:
 style = ''

 app = QApplication(sys.argv)
 app.setStyleSheet(style)
 window = MainWindows()
 window.show()
 window.resize(360, 240)
 sys.exit(app.exec())

カスタムウィジェット内全体に適用

上記のサンプルでは背景色を適用していますが、ボタンとラベルには適用されていません。
これの対応方法は調査中です。

参考 URL

https://wiki.qt.io/How_to_Change_the_Background_Color_of_QWidget/ja

[PySide] 'PySide6.QtCore.Signal' object has no attribute 'connect' のエラーが表示される

Mon, 07 Feb 2022 00:00:00 +0900

PySide で、Signal をコンストラクタで初期化すると 'PySide6.QtCore.Signal' object has no attribute 'connect' のエラーが表示されました。

環境

PySide 6.2.2.1

エラーとなる例

例えば、以下のようなコードではエラーになります。

class Sample(QObject):
 
 def __init__(self):
 super().__init__(None)
 
 self.signal = Signal(int)
 self.signal.connect(self.__slot)

これについて調べると、以下が見つかりました。

https://stackoverflow.com/questions/36559713/pyside-qtcore-signal-object-has-no-attribute-connect

どうやら、シグナルを使うには以下の必要があるようです。

クラス内で定義する必要がある（コンストラクタで初期化ではダメ）
QObject を継承し、super().__init__() をコールする必要がある

解決方法

以下のようにすると上手く動作します。

class Sample(QObject):
 
 signal = Signal(int)
 
 def __init__(self):
 super().__init__(None)

 self.signal.connect(self.__slot)

コンストラクタで for を使ってシグナルを一気に作成したり発報したりしたかったのですが、できないんですかね？

どうしても for で楽がしたい

苦肉の策で、以下のようなコードを思いつきました。

class Sample(QObject):
 
 signal_a = Signal(int)
 signal_b = Signal(int)
 
 def __init__(self):
 super().__init__(None)

 self.__dict__['signal_a'].connect(self.__slot)

 def emit_sample(self, signal_name):
 if signal_name in self.__dict__.keys():
 self.__dict__[signal_name].emit(0)

シグナルの宣言は個別に行う必要がありますが、self.__dict__ でインスタンス変数の一覧を取得し、その中からシグナル名でシグナルを探してきます。
微妙ですね。

参考 URL

https://stackoverflow.com/questions/36559713/pyside-qtcore-signal-object-has-no-attribute-connect

[PySide] ボタンにフォーカスがある場合の点線を消す

Wed, 02 Feb 2022 00:00:00 +0900

CSS を使って以下を指定すれば消せます。

QPushButton:focus {
 outline: none;
}

参考 URL

https://stackoverflow.com/questions/17280056/qt-css-decoration-on-focus

[PySide] QStackedLayout で Alignment を設定したい

Tue, 01 Feb 2022 00:00:00 +0900

QStackedLayout の addWidget では alignment を指定できません。

QVBoxLayout や QHBoxLayout のように alignment を指定したい場合はどうすれいいのか？
ということでググってみたものの情報が少なく、参考になりそうなのは以下くらい。

こういうこと？なんか違う気がする・・・。

import sys
from PySide6.QtWidgets import *
from PySide6.QtCore import Qt
from PySide6.QtCharts import *

class MainWindows(QWidget):
 def __init__(self):
 super().__init__()

 container = QWidget()
 # コンテナを親として QVBoxLayout を作成（つまり、コンテナ配下に QVBoxLayout を作成）
 vbox_layout = QVBoxLayout(container)
 vbox_layout.addWidget(QPushButton('test1'), alignment=Qt.AlignCenter)

 stacked_layout = QStackedLayout()
 stacked_layout.addWidget(container)
 self.setLayout(stacked_layout)

if __name__ == "__main__":
 app = QApplication(sys.argv)
 window = MainWindows()
 window.show()
 window.resize(360, 240)
 sys.exit(app.exec())

一応表示は正しいんですけどね。

参考 URL

[Python] 時刻のみを扱う型

Mon, 24 Jan 2022 00:00:00 +0900

datetime.time 型が時刻を扱う型になります。

Python には time というモジュールがあるのでややこしいですが、time モジュールのことではなく、datetime モジュールに含まれる datetime.time という型です。

from datetime import time

t = time(23, 59, 59, 999)
print(type(t))
print(t)

<class 'datetime.time'>
23:59:59.000999

time モジュールを一緒にインポートしている場合は特にややこしいので、以下のようにエイリアスを設定しておいたほうがわかりやすいかもしれません。

import time
from datetime import time as datetime_time

t = datetime_time(23, 59, 59, 999)
print(type(t))
print(t)

datetime 型から時刻のみを取り出す

time() メソッドで取り出せます。

now = datetime.now()
print(now)

t = now.time()
print(type(t))
print(t)

2022-01-07 13:26:46.826983
<class 'datetime.time'>
13:26:46.826983

[Python] for文の中のラムダ式でループ変数を参照する場合は評価のタイミングに注意

Sun, 23 Jan 2022 00:00:00 +0900

Python に限らないと思いますが、知らないとハマることになるやつですね。

例えば、以下のように関数を登録して後から実行した場合、

def hoge(x):
 print(x)

funcs = []
for i in range(5):
 funcs.append(lambda: hoge(i))

for func in funcs:
 func()

期待する動作は 0～4 が順に出力されることですが、上記だと全て 4 が出力されます。

ここのラムダ式は遅延評価、関数が呼ばれたときに初めて評価されます。
従って、関数が実行されたときは既にループが終わった後であり、その時には i は 4 になっているため、常に 4 と出力されてしまいます。

解決方法として、私が知っている範囲では以下の２パターンがあります。

デフォルト引数で対応

以下のようにラムダ式にデフォルト引数を与えてやります。

def hoge(x):
 print(x)

funcs = []
for i in range(5):
 funcs.append(lambda x=i: hoge(x))

for func in funcs:
 func()

x=i とすることで即時評価され、期待した出力となります。

しかし、以下のように実行時に引数を与えると、与えられた引数で上書きされてしまいます。

def hoge(x):
 print(x)

funcs = []
for i in range(5):
 funcs.append(lambda x=i: hoge(x))

for func in funcs:
 func(4)

次の方法だとこの問題も回避できます。

functools.partial を使う

functools.partial() は引数を部分的に適用（固定化？）した関数を生成する関数です。
以下のように書くことで期待した出力となります。

from functools import partial

def hoge(x):
 print(x)

funcs = []
for i in range(5):
 funcs.append(partial(hoge, i))

for func in funcs:
 func()

この場合、実行時に引数を与えるとエラーになります。

参考 URL

[Python] groupby の使い方

Wed, 19 Jan 2022 00:00:00 +0900

C# の Linq にある GroupBy と同じことを Python でやるにはどうしたらいいのかと思い調べたら、itertools モジュールに groupby というクラスがありました。

https://docs.python.org/ja/3/library/itertools.html#itertools.groupby

サンプル

import json
from itertools import groupby
 
# サンプルデータ
members = [
 {'country': 'Japan', 'sex': 'male', 'name': 'A'},
 {'country': 'America', 'sex': 'female', 'name': 'B'},
 {'country': 'China', 'sex': 'male', 'name': 'C'},
 {'country': 'Japan', 'sex': 'female', 'name': 'D'},
 {'country': 'America', 'sex': 'male', 'name': 'E'},
 {'country': 'China', 'sex': 'female', 'name': 'F'},
]
 
# groupby を使うには、まずはグルーピングしたいキーでソートしておく必要がある
members.sort(key=lambda m: m['country'])
# ソートした上で、キーを指定してグループ化
grouped = groupby(members, key=lambda x: x['country'])

# グループ化した内容を表示して確認
grouped_list = []
for key, group in grouped:
 member_list = list(group) # group はイテレーターなので、リストに変換
 grouped_list.append({
 'key': key,
 'members': member_list
 })
print(json.dumps(grouped_list, indent=4))

[
 {
 "key": "America",
 "members": [
 {
 "country": "America",
 "sex": "female",
 "name": "B"
 },
 {
 "country": "America",
 "sex": "male",
 "name": "E"
 }
 ]
 },
 {
 "key": "China",
 "members": [
 {
 "country": "China",
 "sex": "male",
 "name": "C"
 },
 {
 "country": "China",
 "sex": "female",
 "name": "F"
 }
 ]
 },
 {
 "key": "Japan",
 "members": [
 {
 "country": "Japan",
 "sex": "male",
 "name": "A"
 },
 {
 "country": "Japan",
 "sex": "female",
 "name": "D"
 }
 ]
 }
]

参考 URL

[Python] 月初日、月末日、翌月の月初日の取得

Tue, 18 Jan 2022 00:00:00 +0900

日時を扱っていると月初日や月末日を取得したいということもあるので、そのやり方です。

やり方はいろいろあるかもしれませんが、あくまで一例ということで。

月初日

from datetime import datetime

dt = datetime.now()
print(dt)

first_dt = dt.replace(day=1)
print(first_dt)

first_dt = datetime(dt.year, dt.month, 1)
print(first_dt)

2022-01-17 15:55:25.492664
2022-01-01 15:55:25.492664
2022-01-01 00:00:00

時刻を保持したい場合は replace で日だけ置き換えればOKです。
時刻をクリアしたい場合は年月日を指定して新たに datetime を作成すればOKです。

月末日

calendar モジュールを使えば簡単にできます。
monthrange は指定した年月の初日の曜日と日数を返してくれます。
これを使って月初日と同じように取得できます。

from datetime import datetime
import calendar

dt = datetime.now()
print(dt)
 
day_of_week, last_day = calendar.monthrange(dt.year, dt.month)

last_dt = dt.replace(day=last_day)
print(last_dt)

last_dt = datetime(dt.year, dt.month, last_day)
print(last_dt)

2022-01-17 16:04:31.007994
2022-01-31 16:04:31.008065
2022-01-31 00:00:00

翌月の月初日

やり方としては以下の２通りがあります。

calendar と timedelta を使う方法

calendar.monthrange を使えば前述した方法で月末日が取得できるので、ここから timedelta を使って一日足してやれば、翌月の月初日が取得できます。

from datetime import datetime, timedelta
import calendar

dt = datetime.now()
print(dt)

day_of_week, last_day = calendar.monthrange(dt.year, dt.month)

next_first_dt = dt.replace(day=last_day) + timedelta(days=1)
print(next_first_dt)

next_first_dt = datetime(dt.year, dt.month, last_day) + timedelta(days=1)
print(next_first_dt)

2022-01-17 16:37:09.969484
2022-02-01 16:37:09.969484
2022-02-01 00:00:00

dateutil.relativedelta を使う方法

まず python-dateutil をインストールする必要があります。

$ pip install python-dateutil

dateutil.relativedelta を使えば一ヶ月後の日時が取得できるので、そこから前述した方法と同じように月初日が取得できます。

from datetime import datetime
from dateutil.relativedelta import relativedelta

dt = datetime.now()
print(dt)

next_dt = dt + relativedelta(months=1)

next_first_dt = next_dt.replace(day=1)
print(next_first_dt)

next_first_dt = datetime(next_dt.year, next_dt.month, 1)
print(next_first_dt)

2022-01-17 16:42:25.298845
2022-02-01 16:42:25.298845
2022-02-01 00:00:00

所感

標準モジュールだけで実装したい場合は calendar と timedelta を使って実装すればいいですが、翌々月とか数ヶ月後とかも扱うのであれば dateutil.relativedelta を使ったほうが楽だと思いました。

参考 URL

[Python] URL のエンコード・デコード

Fri, 07 Jan 2022 00:00:00 +0900

URL に使用できない文字を使用する場合、URL エンコードを行う必要があります。

例えば REST API の GET メソッドのクエリパラメーターで、日時を ISO8601 形式で渡す必要がある場合、+ や : が含まれるので、URL エンコード・デコードが必要になります。
エンコード・デコードには、urllib.parse を使います。

エンコード

from datetime import datetime
from urllib import parse

dt = datetime.now()
encoded = parse.quote(dt.isoformat())

print(dt.isoformat()) # エンコード前
print(encoded) # エンコード後

出力結果

2022-01-07T13:06:54.927884
2022-01-07T13%3A06%3A54.927884

デコード

decoded = parse.unquote('2022-01-07T13%3A06%3A54.927884')
print(decoded)

出力結果

2022-01-07T13:06:54.927884

[Python] 2つの日付を比較し、日付が変わったことを検知する

Thu, 06 Jan 2022 00:00:00 +0900

日次処理を行う場合など、日付が変わったことを検知したい場合は以下のようにして検知できます。

from datetime import date

d0 = date(2008, 8, 18)
d1 = date(2008, 9, 26)
delta = d1 - d0
if delta.days > 0:
 # do something

要点は

date や datetime の演算結果は timedelta 型
datetime 型の場合は date() を使用することで時刻を無視できる（日付のみを取得できる）
timedelta 型の days で総日数が取得できる

参考 URL

https://stackoverflow.com/questions/151199/how-to-calculate-number-of-days-between-two-given-dates

[Python] Docker コンテナ内のアプリのログをホストの Syslog に追加する

Fri, 24 Dec 2021 00:00:00 +0900

docker コンテナ内で動作している python アプリのログをホストの syslog に追加します。

Ubuntu 20.04 で作業しましたが、rsyslog は最初からインストールされていました。

概要

Python 標準の logging モジュールに syslog 出力用のハンドラ SysLogHandler があるので、アプリ側ではそれを指定するだけで OK です。

Syslog はホストに対して UDP でログを送信して追加します。
理由は以下です。

docker コンテナ内でアプリを動かしているので、今後コンテナが増えたときコンテナごとに rsyslog を設定してやるのが面倒そう
各コンテナのログを一箇所に集約したい
syslog の記録には TCP or UDP のポート 514 が使用されるらしいが、SysLogHandler では UDP しか対応していないよう

rsyslog の設定変更

UDP のポート514 でログを待ち受けるように設定を変更します。

/etc/rsyslog.conf を編集します。

$ sudo gedit /etc/rsyslog.conf

以下の２行のコメントを外します。

module(load="imudp")
input(type="imudp" port="514")

変更後は再起動します。

$ sudo systemctl restart rsyslog

アプリ側の実装

ログに関する設定を logging.yaml に切り出しています。

https://kuttsun.blogspot.com/2021/12/python_21.html

その前提のうえで、以下のように指定するだけでログが UDP で送信されるようになります。

root:
 level: DEBUG
 handlers: [syslog]
handlers:
 syslog:
 class: logging.handlers.SysLogHandler
 formatter: syslog_format
 address: ['host.docker.internal', 514]
 #address: '/dev/log'
 level: INFO
formatters:
 syslog_format:
 format: 'appname: %(module)s %(message)s'

IPアドレスについては、docker コンテナからホストのIPアドレスを参照する必要があるので host.docker.internal を指定します。
（localhost はコンテナ自身を指すので使えない)
ちなみに host.docker.internal はもともと Windows と Mac でしか使えませんでしたが、最近 Linux でも使えるようになったそうです。

https://qiita.com/skobaken/items/03a8b9d0e443745862ac

これ使えなかったら直接IPアドレスを指定しないといけなくなり、ホストのIPアドレスが変わるたびに修正しないといけなくてマジ困ります。ってかこれを知るまでずっと困ってました。

参考 URL

[Python] Flask (Werkzeug)のロギングの設定

Thu, 23 Dec 2021 00:00:00 +0900

Flask (というか Werkzeug？) が HTTP リクエストを受信するたびにログをレベル INFO で出力するので、ERROR 以上のログのみ出力するように設定を変更しました。

前提

ログに関する設定は yaml ファイルに切り出しています。

https://kuttsun.blogspot.com/2021/12/python_21.html

Flask (Werkzeug) のロギングの設定

Flask は Werkzeug という WSGI サーバーに依存しており、こちらがいろいろログを出力しているようなので、werkzeug のロギングの設定を追加します。
例えば、以下のように指定すれば ERROR レベル以上のログのみ出力されるようになります。

loggers:
 werkzeug:
 level: ERROR

[Python] コンソールに出力するログに色を付ける

Tue, 21 Dec 2021 00:00:00 +0900

ググればやり方はいろいろ見つかり、いろいろ試してみましたが、rich を使うのが一番簡単かつ見栄えがいいかもしれません。

前提

ログに関する設定は yaml ファイルに切り出しています。

https://kuttsun.blogspot.com/2021/12/python_21.html

coloredlogs を使う方法

pip install coloredlogs

 with open('./logging.yaml', encoding='utf-8') as f:
 logconfig = yaml.safe_load(f)
 config.dictConfig(logconfig)
 coloredlogs.install(level='DEBUG') # 追加

簡単にカラフルに出来ましたが、 logging.yaml の設定が上書きされてしまいました。
他にやり方があるのかもしれません。

colorlog を使う方法

pip install colorlog

logging.yaml で、colorlog を使うように指定し、{log_color} でレベルに合わせた色分けをしてくれます。

version: 1
root:
 level: DEBUG
 handlers: [console]
handlers:
 console:
 class: logging.StreamHandler
 stream: ext://sys.stderr
 formatter: myformatter
formatters:
 myformatter:
 '()': 'colorlog.ColoredFormatter'
 format: "{log_color}{asctime} [{levelname:.4}] {name}: {message}"
 style: "{"

各レベルの色を自分で定義

version: 1
root:
 level: DEBUG
 handlers: [console]
handlers:
 console:
 class: logging.StreamHandler
 stream: ext://sys.stderr
 formatter: myformatter
formatters:
 myformatter:
 '()': 'colorlog.ColoredFormatter'
 format: "{log_color}{asctime} [{levelname:.4}] {name}: {message}"
 style: "{"
 log_colors:
 DEBUG: 'bold_black'
 INFO: 'white'
 WARNING: 'yellow'
 ERROR: 'red'
 CRITICAL: 'bold_red'

一つのログ内で色分けしたい場合

format で以下のように記述すれば OK です。

format: "{cyan}{asctime} {blue}{name} L{lineno} {bold_black}{levelname}{reset} {log_color}{message}"

rich を使う方法

コンソールへの出力をリッチにしてくれる Rich というライブラリの RichHandler を使ってログを出力する方法です。

https://note.com/navitime_tech/n/n6d8cd7327466c

pip install rich

version: 1
root:
 level: INFO
 handlers: [rich]
handlers:
 rich:
 class: rich.logging.RichHandler
 rich_tracebacks: True

これだけで簡単にカラフルなログを出力してくれます。

参考 URL

[Python] ロギングの個人的ベストプラクティス

Mon, 20 Dec 2021 00:00:00 +0900

まぁベストかどうかはわかりませんが、現状の私にとっての最適解です。

Python 標準の logging モジュールを使用しますが、logging を直接使うのではなく、getLogger でロガーを取得して使用します。
これについては以下の記事にわかりやすく書いてありました。

https://qiita.com/amedama/items/b856b2f30c2f38665701

このように抽象化しておけば、ロガーハンドラを指定・変更するだけで、ファイルに出力したり、syslog に出力したり、どっかに送信したりと後から簡単に出力先を変更できます。

ロギングの設定をファイルに切り出す

ログに関する設定は logging.yaml というファイルに切り出すことにしました。
これについては以下の記事にわかりやすく書いてありました。

https://qiita.com/shinsa82/items/a0778fbd127012c93577

例えばこんな感じです。

from logging import config, getLogger
import yaml

if __name__ == '__main__':

 with open('./logging.yaml', encoding='utf-8') as f:
 logconfig = yaml.safe_load(f)
 config.dictConfig(logconfig)

 logger = getLogger(__name__)

 logger.critical('this is critical')
 logger.error('this is error')
 logger.warning('this is warning')
 logger.info('this is info')
 logger.debug('this is debug')

 try:
 hoge = 0/0
 except Exception as e:
 logger.exception('this is exception')

version: 1
root:
 level: DEBUG
 handlers: [console]
handlers:
 console:
 class: logging.StreamHandler
 stream: ext://sys.stderr
 formatter: myformatter
formatters:
 myformatter:
 format: "%(asctime) [%(levelname:.4)s] %(name)s: %(message)s"

こうしておけば、環境に応じて設定を丸ごと差し替えたりも簡単にできます。
フォーマッタで使える変数については以下を参照してください。

https://docs.python.org/3/library/logging.html#logrecord-attributes

設定いろいろ

ここらへんは環境や好みに応じて様々だと思うので、あくまでサンプルとして。
適宜追加していきます。

コンソール出力をカラフルにして見やすくする

rich を使うのが簡単かつわかりやすかったです。
例えば以下のような感じです。

root:
 level: DEBUG
 handlers: [rich]
handlers:
 rich:
 class: rich.logging.RichHandler
 rich_tracebacks: True

以下の記事も参考にしてください。

https://kuttsun.blogspot.com/2021/12/python_5.html

syslog に出力する

logging モジュールに SyslogHandler があるので、基本的にこれを指定するだけで OK です。
詳細は別記事にまとめているので、以下を参考にしてください。

https://kuttsun.blogspot.com/2021/12/python-syslog.html

flask の出力設定

Flask が HTTP リクエストを受信するたびにログをレベル INFO で出力するので、ERROR 以上のログのみ出力するように設定変更する方法を以下の記事に書いています。

https://kuttsun.blogspot.com/2021/12/python-flask.html

参考 URL

[Python] 指定したディレクトリ内の空ディレクトリを全て削除する

Tue, 14 Dec 2021 00:00:00 +0900

空のディレクトリを削除する方法自体はググればたくさん見つかりますが、指定したディレクトリ内を再帰的に検索して空のディレクトリを削除する方法が見つからなかったので実装してみました。

もっと他に良いやり方はあるかもしれせんが・・・。

サンプルコード

/hoge 内の空ディレクトリを削除するサンプルコードです。

target_dir = '/hoge'
dirs = glob.glob(f'{target_dir}/**/', recursive=True)
print(f'{len(dirs)} dirs exist')

cnt = 0
for dir in dirs:
 try:
 os.removedirs(dir)
 print(f'Removed dir: {dir}')
 cnt += 1
 except OSError:
 pass
if cnt > 0:
 print(f'Removed {cnt} dirs')

ディレクト一覧の取得は glob で行います。
再帰的に取得するため recursive=True を指定します。

ディレクトリの削除は os.removedirs で行います。
空のディレクトリを削除し、その結果親ディレクトリも空になればそちらも削除してくれます。
ディレクトリが空でなかった場合は OSError になります。

参考 URL

https://note.nkmk.me/python-os-remove-rmdir-removedirs-shutil-rmtree/

OpenCV + Gstreamer を使う

Wed, 17 Nov 2021 00:00:00 +0900

OpenCV で GStreamer を使うための Docker コンテナを作成したので、GStreamer を使ってカメラの画像を取得するところまで試してみました。

Docker コンテナの作成については以下の記事に書いています。

OpenCV + GStreamer の Docker コンテナを作成

GStreamer の基本

私は Gstreamer を今回初めて使いました。
最初、GStreamer のことが全然分からず困っていたのですが、以下の記事がとても参考になりました。

https://qiita.com/saxxos/items/e5b452502ad9aca3c997

GStreamer の動作確認

OpenCV を使う前に、まずは GStreamer が使えるかどうか単体で試します。

ネットワークカメラから RTSP で画像を取得して表示します。
今回は Panasonic のカメラを使いました。

Docker コンテナ内で以下のコマンドを実行するとウィンドウが立ち上がり、カメラの画像が表示されれば OK です。

gst-launch-1.0 rtspsrc location=rtsp://username:password@host/MediaInput/h265 ! decodebin ! autovideosink

decodebin でデコードし、autovideosink 自動表示（画面上にウィンドウで表示）する感じみたいです。

OpenCV を使う

上記を踏まえ、OpenCV で GStreamer のクエリを指定する場合は、以下のように記述します。

query = 'rtspsrc location=rtsp://username:password@host/MediaInput/h265 ! decodebin ! videoconvert ! appsink'
cap = cv2.VideoCapture(query, cv2.CAP_GSTREAMER)

autovideosink を videoconvert ! appsink に変更しています。
GStreamer の出力を OpenCV に入力するためには appsink が必要みたいです。
んで、appsink に送るためには videoconvert が必要みたいです。
これで cap.read() をコールすれば、フレームデータを取得できます。

ただし、このままだと遅延が酷かったので、latency=0 を追加しました。

query = 'rtspsrc location=rtsp://username:password@host/MediaInput/h265 latency=0 ! decodebin ! videoconvert ! appsink'
cap = cv2.VideoCapture(query, cv2.CAP_GSTREAMER)

とりあえずはこれで動作確認できました。

ちなみに、OpenCV を使わずにコンソールで gst-launch-1.0 で直接実行する際に latency=0 を指定すると、画像が乱れてまともに表示されませんでした。

参考 URL

OpenCV + GStreamer の Docker コンテナを作成

Tue, 16 Nov 2021 00:00:00 +0900

OpenCV では既定で ffmpeg が使われます。これを gstreamer を使うように設定変更したかったのですが、gstreamer を使うためには OpenCV を自分でビルドしてインストールする必要があるようです。
なので、OpenCV で gstreamer を使うための Dockerfile を作成しました。

環境

Ubuntu 20.04
Python 3.8.10
OpenCV 4.5.3

前置き

python で OpenCV を扱う場合、opencv-python をインストールすれば、OpenCV もインストールされるようです。
試しに以下のコードで OpenCV の情報を確認してみます。

import cv2
print(cv2.__version__)
print(cv2.getBuildInformation())

Video I/O の FFMPEG が YES になっており、GStreamer が NO になっています。

これを、ffmpeg を無効にして、gstreamer を有効にするため、自分で OpenCV のビルドを行います。

注意事項

せっかく自分で OpenCV をビルドしても、opencv-python をインストールすると、デフォルトの OpenCV が使われるようでした。
OpenCV のビルド時に python のパスを適切に設定していれば、opencv-python をインストールしなくても import cv2 が使えるはずなので、opencv-python はインストールしないようにします。

適当な Dockerfile を用意

今回は Ubuntu:20.04 のイメージを使いました。

インストール手順

GStreamer と OpenCV の公式のドキュメントが以下になります。

これを参考にインストールしていきます。

最終的に作成した Dockerfile

大体以下のような感じになりました。
途中参考になったページの URL などをソース内にメモしています。

FROM ubuntu:20.04

# tzdataのタイムゾーン入力を求められないようにする
# https://tmyoda.hatenablog.com/entry/20210124/1611416396
ENV TZ=Asia/Tokyo
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

RUN apt update && \
 apt -y install \
 software-properties-common \
 # 必要なパッケージをインストール（必要に応じて取捨選択）
 python3-pip \
 libgl1-mesa-dev \
 libsm6 \
 git \
 wget \
 unzip \
 # OpenCV: Required build dependencies
 cmake \
 python3-dev \
 python3-numpy \
 libavcodec-dev \
 libavformat-dev \
 libswscale-dev \
 libgtk2.0-dev \
 libgtk-3-dev \
 # OpenCV: Optional Dependencies
 libpng-dev \
 libjpeg-dev \
 libopenexr-dev \
 libtiff-dev \
 libwebp-dev \
 # OpenCV のビルド時に -D WITH_QT=ON を設定するために以下が必要だった
 qtbase5-dev \
 qtdeclarative5-dev \
 # gstreamer のインストール
 # https://gstreamer.freedesktop.org/documentation/installing/on-linux.html
 libgstreamer1.0-dev \
 libgstreamer-plugins-base1.0-dev \
 libgstreamer-plugins-bad1.0-dev \
 gstreamer1.0-plugins-base \
 gstreamer1.0-plugins-good \
 gstreamer1.0-plugins-bad \
 gstreamer1.0-plugins-ugly \
 gstreamer1.0-libav \
 gstreamer1.0-doc \
 gstreamer1.0-tools \
 gstreamer1.0-x \
 gstreamer1.0-alsa \
 gstreamer1.0-gl \
 gstreamer1.0-gtk3 \
 gstreamer1.0-qt5 \
 gstreamer1.0-pulseaudio && \
 # aptのクリア
 apt clean && rm -rf /var/lib/apt/lists/*

# OpenCV のビルドとインストール
# https://docs.opencv.org/master/d2/de6/tutorial_py_setup_in_ubuntu.html
# https://toriten1024.hatenablog.com/entry/2018/09/29/012205
# https://dlrecord.hatenablog.com/entry/2017/12/15/145356
# https://atmarkit.itmedia.co.jp/ait/articles/1704/10/news134.html
RUN mkdir opencv && \
 cd /opencv && \
 # OpenCV のダウンロード
 wget https://github.com/opencv/opencv/archive/4.5.3.zip && \
 unzip 4.5.3.zip && \
 # OpenCV の cmake
 cd /opencv/opencv-4.5.3 && \
 mkdir build && \
 cd /opencv/opencv-4.5.3/build && \
 cmake -D CMAKE_BUILD_TYPE=RELEASE \
 -D BUILD_DOCS=OFF \
 -D BUILD_EXAMPLES=OFF \
 -D BUILD_TESTS=OFF \
 -D WITH_1394=OFF \
 -D WITH_GSTREAMER=ON \
 -D WITH_FFMPEG=OFF \
 # cv2.waitKey() を使うためには WITH_QT=ON にする必要があった
 -D WITH_QT=ON \
 .. && \
 # OpenCV のビルド ※ $(nproc) はコア数を返す、make を並列処理させて高速化したい場合は指定する
 #make -j${nproc} && \
 #make -j3 && \
 make && \
 make install && \
 # 後始末
 rm -rf /opencv

# 必要なプラグインをインストール（必要に応じて取捨選択）
RUN pip3 install \
 pyyaml \
 pymongo \
 flask \
 pytest \
 mongomock

# bash起動
CMD [ "/bin/bash" ]

Docker コンテナの起動

上記で作成した Dockerfile をビルドしたらコンテナを起動します。
カメラにアクセスできるよういろいろ指定していますが、ここらへんは環境に応じて変更してください。

xhost +local:docker

docker run -it --rm \
 --name containername \
 -e DISPLAY=${DISPLAY} \
 -v /tmp/.X11-unix/:/tmp/.X11-unix/ \
 -v /dev/bus/usb:/dev/bus/usb \
 --privileged --device /dev/dri:/dev/dri \
 --device-cgroup-rule='c 189:* rmw' \
 -v $(pwd)/workspace:/workspace \
 --workdir="/workspace" \
 imagename:latest

実際に OpenCV と GStreamer が使えるかどうかの動作確認に別の記事で書きました。

OpenCV + Gstreamer を使う

参考 URL

MongoDB でフィールド同士を比較したい

Mon, 27 Sep 2021 00:00:00 +0900

MongoDB の where 句には JavaScript のコードを記述できます。

コレクション内のフィールドを参照したい場合は、this または obj を使うそうで、これを使えばフィールド同士の比較もできます。

以下、pymongo での記述例です。

# sample1
ret =db[colname].find({'$where': 'this.hoge == this.fuga' })

# sample2
ret =db[colname].find({'$where': 'this["hoge"] == this["fuga"]' })

# sample3
ret =db[colname].find({'$where': 'obj.hoge == obj.fuga' })

# sample4
ret =db[colname].find({'$where': 'obj["hoge"] == obj["fuga"]' })

尚、Date 型のフィールドでは、同じ値かどうかを比較したい場合にそのまま比較しても一致しません。
例えば、以下のように getTime() で値型にしたうえで比較するなどの必要があります。

ret =db[colname].find({'$where': 'this.hoge.getTime() == this.fuga.getTime()' })

参考 URL

MongoDB で更新後のドキュメントを返したい

Fri, 24 Sep 2021 00:00:00 +0900

MongoDB の find_one_and_update などは、デフォルトでは更新前のドキュメントを返しますが、引数の return_document を指定することで更新後のドキュメントを返すようにもできます。

以下、pymongo を使った場合の例です。

環境

pymongo 3.12.0

サンプルコード

hoge = db['colname'].find_one_and_update(
 query,
 update,
 return_document=ReturnDocument.AFTER
)

参考 URL

[Python] datetime とタイムゾーンについてのメモ

Mon, 13 Sep 2021 00:00:00 +0900

ちょっとはまったのでメモしておきます。

環境

python 3.8.10

navive と aware

まず、datetime 型にはタイムゾーンの情報を持たない naive と、タイムゾーンの情報を持つ aware な datetime 型があるようです。

naive な datetime 型

from datetime import datetime, date, timedelta, timezone

dt = datetime.now()
print(dt.isoformat())

出力結果

2021-09-13T15:11:50.968159

aware な datetime 型

from datetime import datetime, date, timedelta, timezone

JST = timezone(timedelta(hours=+9), 'JST')

dt = datetime.now(JST)
print(dt.isoformat())

出力結果

datetime.now で JST を指定しているので、文字列で出力したときに +09:00 が付与されています。

2021-09-13T15:12:28.720290+09:00

文字列から datetime への変換

str = '2021-09-13T15:11:50.968159'
dt = datetime.fromisoformat(str)
print(dt)

str = '2021-09-13T15:12:28.720290+09:00'
dt = datetime.fromisoformat(str)
print(dt)

出力結果

文字列にタイムゾーンに関する情報がなければ naive、あれば aware な datetime 型になっていることがわかります。

2021-09-13 15:11:50.968159
2021-09-13 15:12:28.720290+09:00

naive から aware への変換

naive に対して astimezone でタイムゾーンの情報を付与すると aware になります。

str = '2021-09-13T15:11:50.968159'
dt = datetime.fromisoformat(str) # naive
print(dt)

jst_dt = dt.replace(tzinfo=timezone.utc) # aware
print(jst_dt)

2021-09-13 15:11:50.968159
2021-09-13 15:11:50.968159+00:00

UTC から JST への変換

str = '2021-09-13T15:11:50.968159'

# タイムゾーンの情報がないので、naive な datetime になる
dt = datetime.fromisoformat(str) # naive
print(dt)

# 上記の dt は UTC として解釈する（タイムゾーンを付与する）
utc = dt.replace(tzinfo=timezone.utc) # aware(UTC)
print(utc)

# JST に変換する
jst = utc.astimezone(JST) # aware(JST)
print(jst)

出力結果

2021-09-13 15:11:50.968159
2021-09-13 15:11:50.968159+00:00
2021-09-14 00:11:50.968159+09:00

タイムゾーンのない文字列を JST として読み込む

上記の応用で、最初から JST を指定してやると OK です。

str = '2021-09-13T15:11:50.968159'

# タイムゾーンの情報がないので、naive な datetime になる
dt = datetime.fromisoformat(str) # naive
print(dt)

# 上記の dt は JST として解釈する（タイムゾーンを付与する）
JST = timezone(timedelta(hours=+9), 'JST')
jst = dt.replace(tzinfo=JST) # aware(JST)
print(jst)

出力結果

2021-09-13 15:11:50.968159
2021-09-13 15:11:50.968159+09:00

参考 URL

[Python] http リクエストの送信

Thu, 02 Sep 2021 00:00:00 +0900

webapi をたたくときにどうやって書けばいいのか忘れることがあるので、メモしておきます。

GET

url = 'http://example.com/'
params = {
 'hoge': 2,
}
res = requests.get(url, params=params)

print(res.status_code)
print(res.json())

POST

import json
import requests

url = 'http://example.com/'
headers = {
 'content-type': 'application/json',
}
json_data = json.dumps({
 'hoge': 100,
})
res = requests.post(url, headers=headers, data=json_data)

print(res.status_code)
print(res.json())

[Python] Tesseract で OCR を行ったら `UnicodeEncodeError: 'ascii' codec can't encode characters` のエラーが表示された

Sun, 22 Aug 2021 00:00:00 +0900

タイトルの通りです。

よくわかりませんが、UTF-8 の文字を Ascii で出力しようとしてエラーが発生している？

https://github.com/tesseract-ocr/tesstrain/issues/26

とりあえず以下の環境変数を設定したら解消しました。

$ export PYTHONIOENCODING=utf8

参考 URL

https://github.com/tesseract-ocr/tesstrain/issues/26

[Python] 文字列の判定で、None と空文字を同時に判定する

Fri, 20 Aug 2021 00:00:00 +0900

変数の値が、None または空文字 '' かどうかの判定を行う方法です。

if not str:
 # str が None または空文字の場合に実行される

if str:
 # str が None でも空文字でもない場合に実行される

参考 URL

https://stackoverflow.com/questions/9573244/how-to-check-if-the-string-is-empty

[python] MongoDB を操作する

Tue, 10 Aug 2021 00:00:00 +0900

pymongo を使って MongoDB を操作します。

環境

python 3.8.10
pymongo 3.12.0

インストール

$ pip3 install pymongo

クライアントの作成

from pymongo import MongoClient

username = 'username'
password = 'password'
host = '192.168.0.1'
port = 27017
client= MongoClient(f'mongodb://{username}:{password}@{host}:{port}')

db = client['db_name']

col = db['collection_name']

書き込み

col.insert_one({
 'hoge' : 'fuga',
 'datetime': datetime.now(),
})

読み込み

find_one() で一番最初のデータ（一番古いデータ）が取得できます。

ret = col.fine_one()
print(ret)

{'_id': ObjectId('611209607654c9fcf3e8cf0b'), 'hoge': 'fuga', 'datetime': datetime.datetime(2021, 8, 10, 14, 6, 40, 659000)}

ID を指定して読み込み

from bson.objectid import ObjectId

id = '611209607654c9fcf3e8cf0b'
ret = col.find_one({ '_id': ObjectId(id) })
print(ret)

出力は上記と同じです。

削除

全ドキュメントの削除

col.delete_many({})

参考 URL

[python] ネットワークカメラの画像を RTSP で取得して表示・保存

Tue, 03 Aug 2021 00:00:00 +0900

やり方はいろいろあると思いますが、OpenCV を使えば簡単にできました。

画像を取得して表示

VideoCapture の引数に RTSP の URL を記述するだけで簡単に画像を取得できます。
URL はネットワークカメラの仕様を確認してください。
今回は Panasonic のカメラを使いました。

import cv2

user_id = "admin" 
user_pw = "password" 
host = "192.168.0.1" 
cap = cv2.VideoCapture(f"rtsp://{user_id}:{user_pw}@{host}/MediaInput/h264")

while(True):
 try:
 ret, frame = cap.read()
 if ret == True:
 cv2.imshow('VIDEO', frame)
 cv2.waitKey(1)
 except KeyboardInterrupt:
 print("KeyboardInterrupt")
 break

cap.release()
cv2.destroyAllWindows()

VideoCapture の引数を変更すれば、USB カメラや動画ファイルの読み込み、連番のJPGファイルも一括で読み込めたりするので便利です。

保存

今回 RTSP では H.264 で取得しましたが、フレームの処理は OpenCV 側で上手く処理してくれているので、キーフレームとか GOP とか何も考えずに保存できます。

JPG の保存

cv2.imwrite("sample.jpg", frame)

動画の保存

VideoWriter_fourcc でコーデックを指定します。
以下が参考になりました。

https://qiita.com/Gyutan/items/e279e8680b90ca891250

画像サイズはキャプチャから取得できる値をそのまま保存時にも使っていますが、フレームレートは取得できないので、直接指定しています。
これが合っていないと当然おかしなことになります（早送り再生やスロー再生したような状態になります）。

import cv2

user_id = "admin" 
user_pw = "password" 
host = "192.168.0.1" 
cap = cv2.VideoCapture(f"rtsp://{user_id}:{user_pw}@{host}/MediaInput/h264")

width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)

fmt = cv2.VideoWriter_fourcc(*'MP4V')
frame_rate = 30.0
writer = cv2.VideoWriter("sample.mp4", fmt, frame_rate, (int(width), int(height)))

while(True):
 try:
 ret, frame = cap.read()
 if ret == True:
 writer.write(frame)
 cv2.imshow('VIDEO', frame)
 cv2.waitKey(1)
 except KeyboardInterrupt:
 print("KeyboardInterrupt")
 break

writer.release()
cap.release()
cv2.destroyAllWindows()

参考 URL

[python] Tesseract を使った OCR

Tue, 29 Jun 2021 00:00:00 +0900

最も基本的なコードのメモです。

pyocr を使ったサンプル

from PIL import Image
import pyocr
 
# OCR エンジンの取得
tools = pyocr.get_available_tools()
tool = tools[0] # 今回は Tesseract しかないので、0番目に入っている

# ビルダーの作成
builder = pyocr.builders.TextBuilder(tesseract_layout=6) # デフォルト値は3

#OCR対象の画像ファイルを読み込む
img = Image.open("test.jpg")
 
#画像から文字を読み込む
result = tool.image_to_string(img, lang="jpn", builder=builder)
 
print(result)

pytesseract を使ったサンプル

from PIL import Image
import pytesseract

# pytesseract を使ったサンプル
 
#OCR対象の画像ファイルを読み込む
img = Image.open("test.jpg")
 
#画像から文字を読み込む
result = pytesseract.image_to_string(img, lang="jpn")
 
print(result)

参考 URL

Tesseract が動作する docker イメージを作成する

Mon, 28 Jun 2021 00:00:00 +0900

Tesseract を使って OCR を行うための環境を、Docker を使って構築しました。開発言語は Python を想定しています。

環境

Ubuntu 20.04

Dockerfile の作成

Dockerfile のサンプルです。

USB カメラのキャプチャ画像に対して OCR を行いたかったので、OpenCV と GUI の表示に必要なパッケージもインストールしています。

FROM ubuntu:20.04

# Tesseract、訓練済みモジュール、その他必要なパッケージをインストール
RUN apt -y install \
 tesseract-ocr \
 tesseract-ocr-jpn \
 git \
 python3-pip \
 libgl1-mesa-dev \
 libsm6

# python パッケージをインストール
RUN pip3 install pyocr pytesseract opencv-python

# aptのクリア
RUN apt clean && rm -rf /var/lib/apt/lists/*

# bash起動
CMD [ "/bin/bash" ]

これをビルドします。

$ docker build -t tesseract-dev .

コンテナ起動

以下のようにして起動します。

docker run -it --rm \
 --name tesseract-dev \
 -e DISPLAY=${DISPLAY} \
 -v /tmp/.X11-unix/:/tmp/.X11-unix/ \
 --device /dev/video0:/dev/video0 \
 tesseract-dev

確認

Tesseract がインストールされていることを確認します。

$ tesseract 4.1.1
 leptonica-1.79.0
 libgif 5.1.4 : libjpeg 8d (libjpeg-turbo 2.0.3) : libpng 1.6.37 : libtiff 4.1.0 : zlib 1.2.11 : libwebp 0.6.1 : libopenjp2 2.3.1
 Found AVX2
 Found AVX
 Found FMA
 Found SSE
 Found libarchive 3.4.0 zlib/1.2.11 liblzma/5.2.4 bz2lib/1.0.8 liblz4/1.9.2 libzstd/1.4.4

ついでに Tesseract で OCR 出来ることを確認します。

$ tesseract test.jpg output -l jpn

参考 URL

OpenVINO で "DeprecationWarning: 'inputs' property of IENetwork class is deprecated. To access DataPtrs user need to use 'input_data' property of InputInfoPtr objects which can be accessed by 'input_info' property." の警告が表示された

Fri, 25 Jun 2021 00:00:00 +0900

OpenVINO を使って推論を行うサンプルプログラムを動かしていると、以下の警告が表示されました。

DeprecationWarning: 'inputs' property of IENetwork class is deprecated. To access DataPtrs user need to use 'input_data' property of InputInfoPtr objects which can be accessed by 'input_info' property.

使用している OpenVINO のバージョンは 2021.2 ですが、IEPlugin が現在の OpenVINO からは削除されていることに関連している？

https://github.com/openvinotoolkit/cvat/issues/1830

とりあえず以下のように修正すれば動きました。

修正前

input_blob = next(iter(net.inputs))

修正後

input_blob = next(iter(net.input_info))

参考 URL

https://github.com/openvinotoolkit/cvat/issues/1830

OpenVINO が動作する Docker イメージを作る

Thu, 24 Jun 2021 00:00:00 +0900

Docker Hub に OpenVINO の公式イメージがあるので、それを使って画像解析を行うための開発環境をサクッと構築します。

https://hub.docker.com/u/openvino

いろいろなイメージがありますが、開発用なので、サンプルやデモアプリなども入っている openvino/ubuntu18_dev を使います。

また、開発言語は Python を想定しています。

環境

Ubuntu 20.04
Docker 20.10.2
Visual Studio Code 1.57.1
OpenVINO 2021.2

Dockerfile の作成

公式イメージをそのまま使ってもいいですが、開発用として git や pip などは欲しいので入れておきます。
また、依存パッケージのインストール、サンプルやデモアプリのビルドも済ませておきます。

FROM openvino/ubuntu18_dev:2021.2

USER root

# 依存パッケージのインストール
RUN cd /opt/intel/openvino/install_dependencies && ./install_openvino_dependencies.sh

# サンプル、デモアプリのビルド
RUN cd /opt/intel/openvino/inference_engine/samples/cpp && ./build_samples.sh
RUN cd /opt/intel/openvino/inference_engine/demos && ./build_demos.sh
# /opt/intel/openvino_2021/deployment_tools/demo にデモアプリがある

# 他に必要なものを適宜インストール
RUN apt -y install wget git python3-pip
RUN pip3 install onnxruntime flask
RUN git clone https://github.com/ultralytics/yolov5

# aptのクリア
RUN apt clean && rm -rf /var/lib/apt/lists/*

USER openvino

# bash起動
CMD [ "/bin/bash" ]

これを myopenvino としてビルドしました。

$ docker build -t myopenvino:2021.2 .

コンテナ起動

例えば、以下のように起動します。

docker run -it --rm \
 --name openvino
 -e DISPLAY=${DISPLAY} \
 -v /tmp/.X11-unix/:/tmp/.X11-unix/ \
 -v /dev/bus/usb:/dev/bus/usb \
 --privileged --device /dev/dri:/dev/dri \
 --device-cgroup-rule='c 189:* rmw' \
 myopenvino:2021.2

-e DISPLAY=${DISPLAY} と -v /tmp/.X11-unix/:/tmp/.X11-unix/ は推論結果を描画するために指定しています。
-v /dev/bus/usb:/dev/bus/usb は USB カメラなどを使えるように指定しています。
--privileged --device /dev/dri:/dev/dri --device-cgroup-rule='c 189:* rmw' は GPU や Movidius Myriad などで推論を行う場合にも対応できるように指定しています（全部必要なわけではないと思いますが・・・）。
詳細は以下を参考にしてください。

https://docs.openvinotoolkit.org/2021.2/openvino_docs_install_guides_installing_openvino_docker_linux.html#use_a_docker_image_for_gpu

VSCode + Remote-Containers で起動できるようにする

実際に開発するとなると VSCode でデバッグしたいことが多々あると思うので、Remote-Containers を使って起動できるようにします。

Dockerfile は上記と同じものを使うとして、devcontainer.json で上記のコンテナ起動時の引数と同じものを指定すれば OK です。

例えば、以下のような感じです。

{
	"runArgs": [
		"-e", "DISPLAY=${env:DISPLAY}",
		"--privileged",
		"--device", "/dev/dri:/dev/dri",
	],

	"mounts": [
		"source=/tmp/.X11-unix/,target=/tmp/.X11-unix/,type=bind",
	 	"source=/dev/bus/usb,target=/dev/bus/usb,type=bind",
	],
}

参考 URL

VSCode + Remote-Containers で python の開発環境を作成する

Fri, 18 Jun 2021 00:00:00 +0900

VSCode の Remote-Containers を使い、python 開発用の docker コンテナを作成し、そのコンテナ中で python のデバッグをできるようにします。

環境

Ubuntu 20.04
Visual Studio Code 1.56.2
Remote Development 0.21.0

これらはインストールされている前提です。

設定ファイルの作成

コマンドパレットを開いて(Shift + Ctrl + p)、Remote-Container: Add Development Container Configuration Files を実行します。

Python3 を選択し、続いて Python のバージョンを選択します。
その後、Node.js をインストールするかどうか表示されますが、今回は必要ないのでチェックを外しました。

OK を押すと、以下のファイルが作成されます。

.devcontainer
├── Dockerfile
└── devcontainer.json

コンテナ起動

画面左下のマークを押し、Reopen in Container を選択するとコンテナが起動します。

拡張機能のインストール

Remote-Containers を使う場合、VSCode の拡張機能もコンテナ用に別途インストールする必要があるみたいです。

devcontainer.json の extensions に記載しておけば、コンテナ作成時に自動的に拡張機能もインストールされるようです。
今回は設定ファイル作成時に Python を選択したので、最初から下記の２つが記載されていました。

 "extensions": [
 "ms-python.python",
 "ms-python.vscode-pylance"
 ],

従って、コンテナを起動した時点で python と pylance は最初から入っているはずなのですが、何故か私の環境ではインストールされていません。

仕方がないので、手動でインストールしました。

手動でのインストール

まず、DEV CONTAINER のところの雲のアイコンをクリックします。

ローカルにインストールされている拡張機能一覧が表示されるので、コンテナ内にインストールしたい拡張機能にチェックを入れます。

インストールが完了した後は一度 VSCode を再起動したほうがよいかと思います。

デバッグを開始する

あとはローカル環境で python のデバッグを行う場合と同じです。

https://kuttsun.blogspot.com/2020/01/vscode-python.html

参考 URL

[Python] InfluxDB への書き込みを行う

Thu, 17 Jun 2021 00:00:00 +0900

Python で InfluxDB へ書き込みを行う方法です。

環境

Windows 10
Python 3.8.1

ライブラリのインストール

pip でライブラリをインストールします。

> pip install influxdb

サンプルコード

まずは InfluxDBClient をインポートして、クライアントを作成します。

from influxdb import InfluxDBClient

# クライアントの作成
client = InfluxDBClient(host="127.0.0.1",
 port=8086,
 username="username",
 password="password",
 database="dbname")

DB の作成

client.create_database("dbname")

リテンションポリシーの作成

client.create_retention_policy("rpname", "30d", 1)

データの書き込み

client.write_points([
 {
 'fields': {
 'hoge': 'hoge',
 },
 'measurement': 'piyo',
 'time': time.time(),
 'tags': {
 'fuga': 'fuga',
 }
 },
 ],
	retention_policy="リテンションポリシー名")

参考 URL

Python で作成したアプリを単一の実行ファイルにする

Wed, 16 Jun 2021 00:00:00 +0900

python で作成したアプリを、他のマシン（ネットに繋がっていなかったり、python のバージョンが異なるマシン）で動作させたかったので、単一の実行ファイルを作成して配布することにしました。

環境

開発環境：Ubuntu
実行環境：Wind River Linux

要は、Ubuntu で作成したアプリを Wind River Linux で動作させたいだけです

単一実行ファイルの作成

pyinstaller をインストールします。

$ pip install pyinstaller

以下のコマンドで単一のファイルが作成できます。

$ pyinstaller sample.py --onefile

dist フォルダ内にバイナリファイルが作成されています。

動的リンクエラーを回避する

上記で作成したファイルを実行して動けば何の問題もないのですが、私の場合、実行環境で以下のようなエラーが表示されました。

[2841] Error loading Python lib '/tmp/_MEI1GKxS0/libpython3.8.so.1.0': dlopen: /lib64/libm.so.6: version `GLIBC_2.29' not found (required by /tmp/_MEI1GKxS0/libpython3.8.so.1.0)

これについて、以下の記事が参考になりました。

https://qiita.com/kenmaro/items/60438c1659b5598066df

今回は Ubuntu で作成したものを Wind River で動かしたので、動的リンクでエラーになったようなのですが、StaticX というツールを使えば静的リンクのみの実行ファイルが作成できるようです。

https://github.com/JonathonReinhart/staticx

StaticX のインストールと実行

$ pip install staticx

尚、環境によっては patchelf のインストールも必要みたいです。

$ pip install patchelf-wrapper

あとは、以下のようにして実行するだけです。

$ staticx <pyinstallerで作成したバイナリファイル> <出力ファイル名>

これで作成したファイルを使うと、無事に実行できました。

参考 URL

[python] ログを syslog に出力する

Tue, 15 Jun 2021 00:00:00 +0900

python でログをファイルに出力する記事を書きましたが、Linux には syslog があるので、アプリケーションのログも syslog に出力してみます。

ちなみに前回の記事はこちらです。

環境

Ubuntu 20.04
python 3.8.5

とりあえず簡単にやりたいなら

以下で OK です。

import syslog
syslog.syslog("This is a test message")
syslog.syslog(syslog.LOG_INFO, "Test message at INFO priority")

しかし、これだと syslog 固定なので、ログの出力先を変更したい場合に大変です。
なので、logger を使って抽象化したほうが良いと思います。

logger の出力先を syslog にする

from logging import handlers, basicConfig, getLogger, DEBUG

basicConfig(level=DEBUG, handlers=[handlers.SysLogHandler(address='/dev/log')])
#basicConfig(level=DEBUG, handlers=[handlers.SysLogHandler(address=("127.0.0.1",514))])

logger = getLogger('MyLogger')

logger.info('this is info')
logger.debug('this is debug')
logger.critical('this is critical')

標準出力にも出力したい

handlers に StreamHandler を追加すれば OK です。

basicConfig(level=DEBUG, handlers=[StreamHandler(), handlers.SysLogHandler(address = '/dev/log')])
#basicConfig(level=DEBUG, handlers=[StreamHandler(), handlers.SysLogHandler(address=("127.0.0.1",514))])

logger = getLogger('MyLogger')

logger.info('this is info')
logger.debug('this is debug')
logger.critical('this is critical')

Docker コンテナ内のアプリのログをホストの syslog に追加する

以下の記事で書いています。

https://kuttsun.blogspot.com/2021/12/python-syslog.html

参考 URL

[python] ログをファイルに出力する

Mon, 14 Jun 2021 00:00:00 +0900

logger を使ってログをファイルに出力します。

環境

python 3.8.5

logger によるログ出力

以下の記事を参考にさせていただきました。
logging ではなく logger を使う理由なども書かれています。

https://qiita.com/amedama/items/b856b2f30c2f38665701

from logging import basicConfig, getLogger, DEBUG

basicConfig(filename="test.log", level=DEBUG)

logger = getLogger(__name__)

logger.debug('hello')

参考 URL

https://qiita.com/amedama/items/b856b2f30c2f38665701

[python] 文字列から timedelta に変換

Thu, 03 Jun 2021 00:00:00 +0900

文字列から時差などを表す timedelta に変換する方法です。

コロンで分割して数値にし、timedelta 型に変換しています。
今回の例では microsecond まで含むので、数値は float 型にしています。

import datetime

str = "1:23:45.678900"
hours, minutes, seconds = map(float, str.split(":"))
td = datetime.timedelta(hours=hours, minutes=minutes, seconds=seconds)

print(td)

1:23:45.678900

Python on ポンコツ地方エンジニアの技術ブログ

[PySide] Windows で実行するとオーバーフローエラーが発生

参考 URL

[python] pipenv で無関係のパッケージが勝手にアップデートされる

参考 URL

[PySide] qasync を使って非同期処理をバックグランドで行う

環境

サンプルコード

参考 URL

[Python] Iris データセットを Pandas で読み込む

サンプルコード

参考 URL

[python] ONVIF 対応カメラの RTSP 接続文字列を取得する

環境

onvif-zeep でのサンプル

準備

サンプルコード

onvif2-zeep のサンプル

準備

WSDL のダウンロード

サンプルコード

実行結果

参考 URL

Gymnasium の環境を動かしてみる

環境

Dockerfile

コンテナの起動

CartPole のサンプル

LunarLander のサンプル

FrozenLake のサンプル

参考 URL

[Python] ModuleNotFoundError: No module named 'websockets.legacy' のエラーが出た

環境

エラーの内容

とりあえずの対処法

本来の解決方法

参考 URL

[Python] Pyinstaller, Nuitka で作成した実行ファイルで GLIBC のエラーが発生する

参考 URL

[Python] pytest で motor のテストを行う

インストール

サンプルコード

参考 URL

[Python] OS の時刻（システムクロック）に影響を受けないように時間の計測を行う

参考 URL

[Python] SyslogHandler でログを送信したときに `Bad file descriptor` のエラーになる

環境

対処方法

参考 URL

[Python] マルチプロセスにおけるロギング (QueueHandler, QueueListener)

環境

基本的な書き方

マルチプロセスで試してみた

basicConfig を使わずに設定する

参考 URL

[PySide] QTimer の使い方

環境

サンプルコード

処理に時間がかかった場合はどうなる？

参考 URL

[Python] asyncio.Queue の動きを確認してみた

環境

サンプルコード

[Python] 同期処理を非同期化して扱う

環境

概要

サンプルコード

参考 URL

[Python] InfluxDB 1.8 で influxdb_client を使う

環境

Flux 言語を有効化する

サンプルコード

データの書き込み (write_api)

データの読み込み (query_api)

参考 URL

[Pytnon] pymongo で 一括処理（Bulk Method）を行う

参考 URL

[Python] yaml 内の環境変数を展開して読み込む

インストール

サンプル

[Pytnon] pymongo で一括処理（Bulk Method）を行う