サーバー側だけでなく Grafana 側の設定も行う必要があったのでメモです。
一応公式ドキュメントに方法が載っています。
今回はサブディレクトリで設定したかったのと、Grafana を docker-compose で動かしていたので、docker-compose.yml の環境変数で以下のように設定しました。
environment:
- GF_SERVER_ROOT_URL=%(protocol)s://%(domain)s:%(http_port)s/grafana/
- GF_SERVER_SERVE_FROM_SUB_PATH=true
サーバー側の設定は普通にリバースプロキシの設定を行うだけなので省略します。