Nginx on ポンコツ地方エンジニアの技術ブログ

Nginx の proxy_pass で名前解決されない

Tue, 14 Mar 2023 00:00:00 +0900

nginx を Docker コンテナとして動かしており、ホスト側へリバースプロキシを行おうとした際にはまってしまいました。

環境

docker 20.10.21
nginx 1.23.3

問題と対策

Docker コンテナ内からホストにアクセスする際には host.docker.internal を指定します。
これについては以下の記事を参照してください。

https://kuttsun.blogspot.com/2022/06/docker.html

その上で、nginx の設定で以下のようにリバースプロキシの設定を行いました。

server {
 listen 80 default_server;
 server_name _;

 location /hoge {
 resolver 127.0.0.11 valid=30s;
 set $dummy_var http://host.docker.internal:5000;
 rewrite /hoge/(.*)$ /$1 break;
 proxy_pass $dummy_var;
 proxy_http_version 1.1;
 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header Connection keep-alive;
 proxy_set_header Host $host;
 proxy_cache_bypass $http_upgrade;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header X-Forwarded-Proto $scheme;
 }
}

すると、以下のように名前解決できないというエラーが表示されました。

尚、コンテナ内に入って curl などを使ってテストすると、きちんと host.docker.internal の名前解決がされていました。
いろいろ調べてみると、どうやら proxy_pass では /etc/hosts が参照されないそうです。

どのように対応しようか悩んでいたところ、upstream の設定ではきちんと /etc/hosts が参照されるようでしたので、以下のように設定して回避することにしました。

upstream backends {
 server host.docker.internal:5000;
}

server {
 listen 80 default_server;
 server_name _;

 location /hoge {
 resolver 127.0.0.11 valid=30s;
 set $dummy_var http://backends;
 rewrite /hoge/(.*)$ /$1 break;
 proxy_pass $dummy_var;
 proxy_http_version 1.1;
 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header Connection keep-alive;
 proxy_set_header Host $host;
 proxy_cache_bypass $http_upgrade;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header X-Forwarded-Proto $scheme;
 }
}

参考 URL

Nginx で upstream の名前解決を無効化（回避）する方法

Thu, 16 Feb 2023 00:00:00 +0900

Docker で動かしている Nginx でリバースプロキシの設定を行い、別の Docker コンテナに転送するように設定したときにちょっとはまったのでメモです。

コンテナ同士はコンテナ名を使ってアクセスできるので、Nginx の設定では以下のようにリバースプロキシの設定を行っています。

location /some_path {
 proxy_pass http://container-name.docker-network:port;
}

このとき、Nginx は起動時に upstream の名前解決を行っているので、上記の URL の名前解決ができない場合（つまり転送先のコンテナが起動していない）と host not found in upstream というエラーが表示されて起動に失敗します。

私の場合、仕様によって起動するコンテナの数が異なったり、開発中は一部のコンテナだけ起動して確認したりするので、その都度 Nginx の設定を変えるのは面倒です。
なので、名前解決できなくても Nginx が起動できるように回避策がないかと調べた所、以下の記事に書いてありました。

https://serverfault.com/questions/700894/make-nginx-ignore-site-config-when-its-upstream-cannot-be-reached

resolver のディレクティブを使って名前解決してやることで回避できるそうです。

location /some_path {
 resolver 127.0.0.1 valid=30s; 
 # resolver 8.8.8.8 valid=30s; # or some other DNS
 # resolver 127.0.0.11 valid=30s; # or Docker's DNS server
 set $dummy_var http://container-name.docker-network:port;
 proxy_pass $dummy_var;
 }

私の場合、Nginx を Docker で動かしているので、127.0.0.11 をリゾルバに指定することで、転送先のコンテナが起動していなくても Nginx が起動できるようになりました。

参考 URL

Ubuntu に nginx を入れてリバースプロキシとして使用する

Fri, 05 Aug 2022 00:00:00 +0900

環境

Ubuntu 20.04

インストール

$ sudo apt install nginx

http://localhost にアクセスして nginx が起動していることを確認します。

設定

nginx の設定ファイルは /etc/nginx/nginx.conf ですが、この中を見ると、http ディレクティブの中に以下の記述があります。

##
# Virtual Host Configs
##

include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;

conf.d と sites-enabled の中に置いた設定ファイルが読み込まれるようになっています。
２つの使い分けについては以下のページが参考になりました。

https://qiita.com/tomokon/items/e782636c1e5ec6b5dfdc

というわけで、sites-available に設定ファイルを作成して、sites-enabled にシンボリックリンクを作成します。

conf ファイルの追加

$ sudo nano /etc/nginx/sites-available/sample.conf

以下を追記します。

server {
 listen 80 default_server;
 server_name _;
 location / {
 proxy_pass http://localhost:5000;
 proxy_http_version 1.1;
 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header Connection keep-alive;
 proxy_set_header Host $host;
 proxy_cache_bypass $http_upgrade;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header X-Forwarded-Proto $scheme;
 }
}

server_name の _; は catch-all の意味らしく、任意の URL に対して有効になります。

http://nginx.org/en/docs/http/server_names.html

proxy_pass が遷移先の URL です。
その他の設定については以下を参考にさせてもらいました。

https://lh182051.hateblo.jp/entry/2019/11/22/010641

デフォルトの設定の削除

sites-enabled の中には最初から default という設定へのシンボリックリンクがあります。
設定内容次第ではこの default の設定が邪魔になることもあるので、そのような場合は削除しておきます。

今回の場合は default_server と server_name _; が重複しているので、削除しておかないと上手くルーティングできません。

$ sudo rm /etc/nginx/sites-enabled/default

シンボリックリンクの作成

$ sudo ln -s /etc/nginx/sites-available/sample.conf /etc/nginx/sites-enabled/sample

nginx を再起動します。

$ sudo systemctl restart nginx

以上で完了です。

参考 URL

GitLab CI/CD で Uploading artifacts to coordinator... too large archive のエラーが表示された

Fri, 08 Jul 2022 00:00:00 +0900

GitLab CI/CD で成果物をアップロードする際に、サイズが大きすぎるとのエラーが表示されました。

ERROR: Uploading artifacts to coordinator... too large archive id=XXXX responseStatus=413 Request Entity Too Large status=413 Request Entity Too Large token=XXXXX
FATAL: too large 
ERROR: Job failed: exit status 1

GitLab の設定

まずは GitLab の以下の設定を確認します。

「Settings > Continuous Integration and Deployment > Maximum artifacts size (MB) 」

デフォルトでは 100MB に設定されているので、必要ならここを変更します。

しかし、今回は 7MB 程度のファイルだったので、これが原因ではありませんでした。

リバースプロキシの設定

今回 nginx でリバースプロキシの設定を行っていたのですが、client_max_body_size の設定を行っていなかったのが原因でした。
client_max_body_size のデフォルト値は 1MB だそうです。
とりあえず以下のように 0 を設定して無制限にしておきました。

server {
 listen 80;
 server_name example.com;
 client_max_body_size 0;
}

参考 URL

https://pauledenburg.com/gitlab-ci-upload-artifact-fails-large/

リバースプロキシの背後で Grafana を動かす

Fri, 24 Jun 2022 00:00:00 +0900

サーバー側だけでなく Grafana 側の設定も行う必要があったのでメモです。

一応公式ドキュメントに方法が載っています。

https://grafana.com/tutorials/run-grafana-behind-a-proxy/

今回はサブディレクトリで設定したかったのと、Grafana を docker-compose で動かしていたので、docker-compose.yml の環境変数で以下のように設定しました。

environment:
 - GF_SERVER_ROOT_URL=%(protocol)s://%(domain)s:%(http_port)s/grafana/
 - GF_SERVER_SERVE_FROM_SUB_PATH=true

サーバー側の設定は普通にリバースプロキシの設定を行うだけなので省略します。

参考 URL

Docker + Traefik でリバースプロキシサーバーを立てる

Tue, 14 Jun 2022 00:00:00 +0900

最初 nginx でリバースプロキシサーバーを構築していたのですが、いろいろ調べていく中で Traefik というサーバーの存在を知りました。

https://doc.traefik.io/traefik/

公式ではエッジルーターという言い方がされていますが、要はリバースプロキシ＋ロードバランサーという感じらしいです。
nginx より後発で、Docker との親和性が高いとのことで試しに使ってみました。

環境

Docker: 20.10.12
Traefik: v2.7

Traefik 自身も Docker で動かします。

docker network の作成

アプリと Traefik で共通で使用するネットワークを作成しておきます。

$ docker network create sample-network

Traefik の設定

Traefik の設定は /etc/traefik/traefik.yml に記述する方法と、docker-compose.yml で指定する方法があるようです。
前者の例が多いですが、後者の方が docker-compose.yml 一つで設定が完結して良いと思うのは私だけでしょうか？

設定ファイルに記述する例

traefik.yml というファイルを作成して、以下のように記述します。

# Providers config
providers:
 # Docker との連携を有効にする
 docker:
 # false に指定することで Label 付けしていない docker コンテナを Traefik が無視するようになる
 exposedByDefault: false
 # 使用するネットワーク
 network: sample-network
entryPoints:
 # http という任意の名前のエントリーポイントを定義し、80番ポートをリッスンするよう指定
 http:
 address: ':80'
 https:
 address: ':443'
# API/Dashboard config
api:
 # WebUI にアクセスできるように設定
 insecure: true

Trafik を起動します。
ネットには docker-compose を使った例が多いですが、とりあえず docker run で動かしてみます。

$ docker run -it --rm \
 --name reverse-proxy \
 --network sample-network \
 -v /var/run/docker.sock:/var/run/docker.sock \
 -v $(pwd)/traefik.yml:/etc/traefik/traefik.yml \
 -p 80:80 \
 -p 8080:8080 \
 traefik:v2.7

とりあえずこれで、http://localhost:8080 にアクセスすると Traefik の WebUI が表示されるかと思います。

docker-compose.yml で設定する例

上記の設定を docker-compose.yml のみで行った場合の例です。

version: '3.9'
services:
 reverse-proxy:
 image: traefik:v2.7
 volumes:
 - /var/run/docker.sock:/var/run/docker.sock
 # ファイルで設定する場合は以下
 #- type: bind
 # source: ./traefik.yml
 # target: /etc/traefik/traefik.yml
 ports:
 - 80:80
 - 8080:8080
 networks:
 - sample-network
 command:
 # traefik.yml の代わりに command で設定
 - --providers.docker.exposedByDefault=false
 - --providers.docker.network=sample-network
 - --entryPoints.http.address=:80
 - --entryPoints.https.address=:443
 - --api.insecure=true
networks:
 sample-network:
 external: true

アプリケーション側の設定

ルーティングの設定などは全てコンテナのラベルで設定します。他のサーバーだとサーバー側の設定を変更する必要がありますが、 Traefik+Docker だとコンテナの増減に対して対応しやすいなと思いました。

とりあえず docker run で動かしてみます。

docker run -it --rm \
 --network sample-network \
 -l "traefik.enable=true" \
 -l "traefik.http.routers.api.entrypoints=http" \
 -l "traefik.http.routers.api.rule=Host(\"api.localhost\")"
 sample_app

これで http://api.localhost/ に該当のアプリにアクセスすれば繋がると思います。
解説は次に書いてあります。

docker-compose での例

上記の設定は、docker-compose.yml で以下のように設定します。
コメントで簡単な解説をつけておきました。

labels:
 # Traefik の有効化(exposedByDefault:false に設定した場合に必要)
 - traefik.enable=true
 # api という名前のルーターを定義し、
 # エントリーポイント http (traefik.yml で定義した名前) と関連付け
 - traefik.http.routers.api.entrypoints=http
 # ルーター api のホスト名を "api.localhost" に設定
 - traefik.http.routers.api.rule=Host(`api.localhost`)

基本は以上です。
他の詳細な設定については追々記事を書こうかなと思っています。

Nginx on ポンコツ地方エンジニアの技術ブログ

Nginx の proxy_pass で名前解決されない

環境

問題と対策

参考 URL

Nginx で upstream の 名前解決を無効化（回避）する方法

参考 URL

Ubuntu に nginx を入れてリバースプロキシとして使用する

環境

インストール

設定

conf ファイルの追加

デフォルトの設定の削除

シンボリックリンクの作成

参考 URL

GitLab CI/CD で Uploading artifacts to coordinator... too large archive のエラーが表示された

GitLab の設定

リバースプロキシの設定

参考 URL

リバースプロキシの背後で Grafana を動かす

参考 URL

Docker + Traefik でリバースプロキシサーバーを立てる

環境

docker network の作成

Traefik の設定

設定ファイルに記述する例

docker-compose.yml で設定する例

アプリケーション側の設定

docker-compose での例

参考 URL

Nginx で upstream の名前解決を無効化（回避）する方法