Mongodb on ポンコツ地方エンジニアの技術ブログ

MongoDB と 2106 年問題

Tue, 23 May 2023 00:00:00 +0900

ボタン電池がなくなり、RTC が遥か未来になったときに MongoDB が動作しなくなりました。（正確には、Python アプリにおいて、MongoDB の初期化を行う際にエラーとなりました。）

MongoDB のバージョンは 6.0.5 です。

調べてみると、MongoDB の ObjectID は先頭の4バイトがタイムスタンプ(UNIX タイム)となっているそうです。
MongoDB はこれを符号なし整数として扱っていて、その場合の上限は 4,294,967,295 であり、これは UTC で2106年2月7日6時28分16秒となります。
というわけで、MongoDB はいわゆる 2106 年問題を孕んでいることになります。

https://www.wdic.org/w/TECH/2106%E5%B9%B4%E5%95%8F%E9%A1%8C

ちなみに、4バイトがタイムスタンプを符号付き整数として扱っている場合は 2038 年問題となります。

参考 URL

[Pytnon] pymongo で一括処理（Bulk Method）を行う

Thu, 27 Oct 2022 00:00:00 +0900

Bulk Method を使い前は以下のようにして一件ずつ update_one で追加（更新）していました。

これを BulkMethod を使って一括で処理するようにしてやります。

initialize_ordered_bulk_op initialize_unordered_bulk_op で初期化します。

今回は initialize_unordered_bulk_op を使用します。

Bulk Method で update_one を使うには、find と upsert メソッドを組み合わせるようです。

https://www.mongodb.com/docs/manual/reference/method/Bulk.find.upsert/

また、update_one で３件のデータを追加（更新）する

まずは処理しやすくするためにサンプルデータを配列で用意しました。

sample_data = []
for i in range(3):
 sample_data.append({
 'filter': {
 'camera_id': "1",
 'detected_id': str(start_id + i + 1),
 },
 'update': {
 'label': 'person',
 'captured_at': captured_at.isoformat(),
 'disappeared_at': captured_at.isoformat(),
 'thumbnail': None
 }
 })

上記のデータについて、例えば以下のように処理します。

from pymongo import MongoClient,

client = MongoClient('mongodb://localhost:27017/')
db = client['dbname']
col = db['col_name']

bulk = col.initialize_unordered_bulk_op()

for data in sample_data:
 bulk.find(data['filter']).upsert().update_one({ '$setOnInsert': data['update'] })

result = bulk.execute()

$setOnInsert については以下のページが参考になりました。

レスポンスは以下のようなデータが返ってきます。

{
 'writeErrors': [],
 'writeConcernErrors': [],
 'nInserted': 0,
 'nUpserted': 2,
 'nMatched': 1,
 'nModified': 0,
 'nRemoved': 0,
 'upserted': [
 {
 'index': 1,
 '_id': ObjectId('635878690bdc2e90f9e0e8bf')
 },
 {
 'index': 2,
 '_id': ObjectId('63588e750bdc2e90f9e0f1f2')
 }
 ]
}

nUpserted は新規に追加されたドキュメントの数です。
nMatched は find の条件に一致したされたドキュメントの数です。
nModified は更新されたドキュメントの数です。
upserted は新規追加されたデータのインデックスと、MongoDB によって割り当てられた ID となります。

参考 URL

Rocket.Chat で使用している MongoDB をアップグレードする

Wed, 20 Oct 2021 00:00:00 +0900

Rocket.Chat をアップグレードしたら、MongoDB をアップグレードするように警告が表示されるようになったので、MongoDB もアップグレードしました。

アップグレードについては、以下の記事が参考になりました。

https://linuxhandbook.com/mongodb-upgrade-rocket-chat/

環境

アップグレード前

Rocket.Chat 3.10.4
MongoDB 4.0.22

アップグレード後

Rocket.Chat 4.0.3
MongoDB 5.0.3

やったこと

Rocket.Chat を 4.0.3 にアップグレード

3.10.4 から 4.0.3 へのアップグレードはバージョンを変更するだけでいけました。

docker コンテナ停止
docker-compose.yml の Rocket.Chat のバージョンを 4.0.3 に変更
docker コンテナ起動

この時点で Rocket.Chat 4.0.3、MongoDB 4.0.22 の組み合わせとなりましたが、以下のメッセージが表示されるようになりました。

rocketchat_1 | +----------------------------------------------+
rocketchat_1 | | SERVER RUNNING |
rocketchat_1 | +----------------------------------------------+
rocketchat_1 | | |
rocketchat_1 | | Rocket.Chat Version: 4.0.3 |
rocketchat_1 | | NodeJS Version: 12.22.1 - x64 |
rocketchat_1 | | MongoDB Version: 4.0.27 |
rocketchat_1 | | MongoDB Engine: wiredTiger |
rocketchat_1 | | Platform: linux |
rocketchat_1 | | Process Port: 3000 |
rocketchat_1 | | Site URL: http://localhost:3000 |
rocketchat_1 | | ReplicaSet OpLog: Enabled |
rocketchat_1 | | Commit Hash: 6e49fc9466 |
rocketchat_1 | | Commit Branch: HEAD |
rocketchat_1 | | |
rocketchat_1 | +----------------------------------------------+
rocketchat_1 | +----------------------------------------------------------------------+
rocketchat_1 | | DEPRECATION |
rocketchat_1 | +----------------------------------------------------------------------+
rocketchat_1 | | |
rocketchat_1 | | YOUR CURRENT MONGODB VERSION (4.0.22) IS DEPRECATED. |
rocketchat_1 | | IT WILL NOT BE SUPPORTED ON ROCKET.CHAT VERSION 5.0.0 AND GREATER, |
rocketchat_1 | | PLEASE UPGRADE MONGODB TO VERSION 4.2 OR GREATER |
rocketchat_1 | | |
rocketchat_1 | +----------------------------------------------------------------------+

MongoDB version 4.0.22 is deprecated, please upgrade your installation.

MongoDB 4.0 は非推奨なので、4.2 以上へアップグレードするよう促されます。
なので、ついでに最新の 5.0 までアップグレードします。

MongoDB を 4.2 にアップグレード

4.0 から 4.2 へのアップグレードは docker-compose.yml を修正して再起動するだけでいけました。

docker コンテナ停止
docker-compose.yml の MongoDB のバージョンを 4.0 に変更
docker コンテナ起動

MongoDB を 4.4 にアップグレード

4.2 から 4.4 へのアップグレードは docker-compose.yml を修正して再起動するだけではだめでした。
先に以下のコマンドを実行する必要があります。

$ docker exec mongo bash -c 'mongo --eval "db.adminCommand( { setFeatureCompatibilityVersion: \"4.2\" } )"'`

流れとしては以下です。

上記のコマンドを実行
docker コンテナ停止
docker-compose.yml の MongoDB のバージョンを 4.4 に変更
docker コンテナ起動

MongoDB を 5.0 にアップグレード

先ほどと同じです。
上記のコマンドのバージョンを 4.4 に変更して実行します

$ docker exec mongo bash -c 'mongo --eval "db.adminCommand( { setFeatureCompatibilityVersion: \"4.4\" } )"'`

流れとしては以下です。

上記のコマンドを実行
docker コンテナ停止
docker-compose.yml の MongoDB のバージョンを 5.0 に変更
docker コンテナ起動

参考 URL

https://linuxhandbook.com/mongodb-upgrade-rocket-chat/

MongoDB でフィールド同士を比較したい

Mon, 27 Sep 2021 00:00:00 +0900

MongoDB の where 句には JavaScript のコードを記述できます。

コレクション内のフィールドを参照したい場合は、this または obj を使うそうで、これを使えばフィールド同士の比較もできます。

以下、pymongo での記述例です。

# sample1
ret =db[colname].find({'$where': 'this.hoge == this.fuga' })

# sample2
ret =db[colname].find({'$where': 'this["hoge"] == this["fuga"]' })

# sample3
ret =db[colname].find({'$where': 'obj.hoge == obj.fuga' })

# sample4
ret =db[colname].find({'$where': 'obj["hoge"] == obj["fuga"]' })

尚、Date 型のフィールドでは、同じ値かどうかを比較したい場合にそのまま比較しても一致しません。
例えば、以下のように getTime() で値型にしたうえで比較するなどの必要があります。

ret =db[colname].find({'$where': 'this.hoge.getTime() == this.fuga.getTime()' })

参考 URL

MongoDB で更新後のドキュメントを返したい

Fri, 24 Sep 2021 00:00:00 +0900

MongoDB の find_one_and_update などは、デフォルトでは更新前のドキュメントを返しますが、引数の return_document を指定することで更新後のドキュメントを返すようにもできます。

以下、pymongo を使った場合の例です。

環境

pymongo 3.12.0

サンプルコード

hoge = db['colname'].find_one_and_update(
 query,
 update,
 return_document=ReturnDocument.AFTER
)

参考 URL

[python] MongoDB を操作する

Tue, 10 Aug 2021 00:00:00 +0900

pymongo を使って MongoDB を操作します。

環境

python 3.8.10
pymongo 3.12.0

インストール

$ pip3 install pymongo

クライアントの作成

from pymongo import MongoClient

username = 'username'
password = 'password'
host = '192.168.0.1'
port = 27017
client= MongoClient(f'mongodb://{username}:{password}@{host}:{port}')

db = client['db_name']

col = db['collection_name']

書き込み

col.insert_one({
 'hoge' : 'fuga',
 'datetime': datetime.now(),
})

読み込み

find_one() で一番最初のデータ（一番古いデータ）が取得できます。

ret = col.fine_one()
print(ret)

{'_id': ObjectId('611209607654c9fcf3e8cf0b'), 'hoge': 'fuga', 'datetime': datetime.datetime(2021, 8, 10, 14, 6, 40, 659000)}

ID を指定して読み込み

from bson.objectid import ObjectId

id = '611209607654c9fcf3e8cf0b'
ret = col.find_one({ '_id': ObjectId(id) })
print(ret)

出力は上記と同じです。

削除

全ドキュメントの削除

col.delete_many({})

Mongodb on ポンコツ地方エンジニアの技術ブログ

MongoDB と 2106 年問題

参考 URL

[Pytnon] pymongo で 一括処理（Bulk Method）を行う

参考 URL

Rocket.Chat で使用している MongoDB をアップグレードする

環境

アップグレード前

アップグレード後

やったこと

Rocket.Chat を 4.0.3 にアップグレード

MongoDB を 4.2 にアップグレード

MongoDB を 4.4 にアップグレード

MongoDB を 5.0 にアップグレード

参考 URL

MongoDB でフィールド同士を比較したい

参考 URL

MongoDB で更新後のドキュメントを返したい

環境

サンプルコード

参考 URL

[python] MongoDB を操作する

環境

インストール

クライアントの作成

書き込み

読み込み

ID を指定して読み込み

削除

全ドキュメントの削除

参考 URL

[Pytnon] pymongo で一括処理（Bulk Method）を行う