AI on ポンコツ地方エンジニアの技術ブログ

Ollama で Gemma4 12B を動かして VS Code から使う

Fri, 12 Jun 2026 00:00:00 +0900

環境

Ubuntu 22.04
CPU: Intel Core i7-11700
GPU: RTX 4070 12GB

Ollama のインストール

以下のページにコマンドが記載されているので、実行します。

https://ollama.com/download/linux

$ curl -fsSL https://ollama.com/install.sh | sh

確認

$ ollama --version
ollama version is 0.30.7

Gemma4 12B のインストールと起動

以下のコマンドを実行するとモデルのダウンロードが始まり、完了後に起動します。

$ ollama run gemma4:12b

>>> が表示されて入力受付待ちになるので、何かメッセージを入力すると応答が返ってきます。
日本語でもいけました。
終了するには Ctrl + d を入力します。

尚、ダウンロードだけしたい場合は pull を使います。

$ ollama pull gemma4:12b

VS Code から使う

状態確認

Ollama はインストールすれば勝手にサービスとして登録されます。
以下のコマンドで Ollama is running と返ってくれば OK です。

$ curl http://localhost:11434
Ollama is running

ollama run を実行しておく必要もありません。

GitHub Copilot Chat から使う

📝 注記

先に結論として、GitHub Copilot Chat からは上手くいかなかったので、後述の Continue を使いました

以下に説明がありますが、ollama launch vscode を実行します。

https://docs.ollama.com/integrations/vscode

Ollama が VS Code を検出し、ローカルモデルとの連携設定を支援してくれます。
実行後、以下のような設定画面が表示されます。

$ ollama launch vscode
Select models for Visual Studio Code: Type to filter... 
 
 Recommended 
 minimax-m3:cloud 
 State-of-the-art coding & agent capabilities with multimodal reasoning and support for up to 1M context
 kimi-k2.6:cloud 
 State-of-the-art coding, long-horizon execution, and multimodal agent swarm capability 
 glm-5.1:cloud 
 Long-horizon agentic engineering with autonomous execution and sustained iteration 
 qwen3.5:cloud 
 Reasoning, coding, and agentic tool use with vision 
 nemotron-3-super:cloud 
 Reasoning, coding, and agentic tool use 
 gemma4:31b-cloud 
 Agentic workflows and multimodal reasoning 
 gemma4 
 Agentic workflows and multimodal reasoning, ~12GB, (not downloaded) 
 qwen3.6 
 Agentic software engineering model with multimodal capabilities, ~28GB, (not downloaded) 
 
 More 
 ▸ gemma4:12b 
 
 1 models selected - press tab to edit

すでにダウンロード済みの gemma4:12b を選択します。

VS Code を再起動すると、GitHub Copilot Chat のモデル選択で gemma:12b が選択できるようになっています。

レスポンスでエラー

試しに GitHub Copilot Chat から gemma4:12b にメッセージを送ると以下のエラーが返ってきました。

Sorry, your request failed. Please try again.

Client Request Id: 11cba335-5cfd-41d2-93ac-26d191e904f8

Reason: Response too long.: Error: Response too long. at _G._provideLanguageModelResponse (/usr/share/code/resources/app/extensions/copilot/dist/extension.js:1710:13790) at process.processTicksAndRejections (node:internal/process/task_queues:104:5) at async _G.provideLanguageModelResponse (/usr/share/code/resources/app/extensions/copilot/dist/extension.js:1710:14793)

GitHub Copilot Chat の Local Models 機能はまだ比較的新しく、上手くいかない等の報告も多数あるようです。

なので、GitHub Copilot Chat から使うのは諦めて、後述の continue を使いました。

Continue から使う

VS Code の拡張機能から Continue をインストールします。

インストールしたらサイドバーにアイコンが追加されるので、クリックします。
Select model から Add Chat model を選択します。

以下のように選択肢、Connect を押します。

Provider: Ollama
Model: Autodetect

すると、モデルで gemma4:12b が選択できるようになっています。

これで使えるようになります。

モデルのロード・アンロードについて

Ollama は、リクエストが来るとモデルをメモリにロードし、一定時間使われなければ自動でアンロードするそうです。
公式FAQでは、デフォルトではモデルはメモリ上に5分保持され、その後アンロードされると説明されています。

https://docs.ollama.com/faq?utm_source=chatgpt.com

Stable Diffusion web UI を動かしてみた

Tue, 10 Dec 2024 00:00:00 +0900

ローカル環境で画像生成AIを使いたかったので、docker を使って Stable Diffusion web UI を動かしてみました。

環境

Ubuntu 20.04
docker 24.0.7

手順

Stable Diffusion web UI のリポジトリは以下になります。

https://github.com/AUTOMATIC1111/stable-diffusion-webui

Docker 版のリポジトリは以下です。

https://github.com/AbdBarho/stable-diffusion-webui-docker

まずはクローンしてきます。

$ git clone https://github.com/AbdBarho/stable-diffusion-webui-docker.git

あとは基本的に Setup に記載されている通りにすすめるだけです。

$ cd stable-diffusion-webui-docker
$ docker compose --profile download up --build
$ docker compose --profile auto up --build

しかし、私の場合、docker compose --profile auto up --build を実行したときにいくつかエラーが発生しました。

最初に発生したエラーは以下です。

@workspace Step 12/28 : RUN --mount=type=cache,target=/var/cache/apt apt-get update && apt-get install -y fonts-dejavu-core rsync git jq moreutils aria2 ffmpeg libglfw3-dev libgles2-mesa-dev pkg-config libcairo2 libcairo2-dev build-essential
the --mount option requires BuildKit. Refer to https://docs.docker.com/go/buildkit/ to learn how to build images with BuildKit enabled
ERROR: Service 'auto' failed to build : Build failed

生成AIに聞いてみた結果、どうやら buildx を手動でインストールする必要があるみたいでした。

まずバイナリをダウンロードします:

curl -SL https://github.com/docker/buildx/releases/download/v0.10.4/buildx-v0.10.4.linux-amd64 -o ~/.docker/cli-plugins/docker-buildx

ダウンロードしたファイルに実行権限を付与します:

chmod a+x ~/.docker/cli-plugins/docker-buildx

Docker Buildx が正しくインストールされたことを確認します:

docker buildx version

これで docker buildx コマンドが利用できるようになります。
再度 docker-compose --profile auto up --build を実行したところ、今度は以下のエラーが発生しました。

auto-cpu_1 | Installing extension dependencies (if any)
auto-cpu_1 | Traceback (most recent call last):
auto-cpu_1 | File "/stable-diffusion-webui/webui.py", line 13, in <module>
auto-cpu_1 | initialize.imports()
auto-cpu_1 | File "/stable-diffusion-webui/modules/initialize.py", line 23, in imports
auto-cpu_1 | import gradio # noqa: F401
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/gradio/__init__.py", line 3, in <module>
auto-cpu_1 | import gradio.components as components
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/gradio/components/__init__.py", line 3, in <module>
auto-cpu_1 | from gradio.components.bar_plot import BarPlot
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/gradio/components/bar_plot.py", line 7, in <module>
auto-cpu_1 | import altair as alt
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/altair/__init__.py", line 649, in <module>
auto-cpu_1 | from altair.vegalite import *
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/altair/vegalite/__init__.py", line 2, in <module>
auto-cpu_1 | from .v5 import *
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/altair/vegalite/v5/__init__.py", line 2, in <module>
auto-cpu_1 | from altair.expr.core import datum
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/altair/expr/__init__.py", line 11, in <module>
auto-cpu_1 | from altair.expr.core import ConstExpression, FunctionExpression
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/altair/expr/core.py", line 6, in <module>
auto-cpu_1 | from altair.utils import SchemaBase
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/altair/utils/__init__.py", line 14, in <module>
auto-cpu_1 | from .plugin_registry import PluginRegistry
auto-cpu_1 | File "/opt/conda/lib/python3.10/site-packages/altair/utils/plugin_registry.py", line 13, in <module>
auto-cpu_1 | from typing_extensions import TypeIs
auto-cpu_1 | ImportError: cannot import name 'TypeIs' from 'typing_extensions' (/opt/conda/lib/python3.10/site-packages/typing_extensions.py)

これについては現時点でのバグっぽいですが、以下に回避策がありました。

https://github.com/AbdBarho/stable-diffusion-webui-docker/issues/729

これで上手くいき、http://localhost:7860/ にアクセスすれば使用できました。

SDXLモデルの設定

SDXL モデルの設定については以下が参考になりました。

https://soroban.highreso.jp/article/article-042#651d4816a6d63105f25c3c7e-1aca58d91345337803792bb7

ただ、モデルと VAE の配置場所は現在のバージョンだと少し異なるようです。

モデル: data/models/Stable-diffusion
VAE: data/models/VAE

参考 URL

^ https://soroban.highreso.jp/article/article-042#651d4816a6d63105f25c3c7e-1aca58d91345337803792bb7

YOLOv8 を動かそうとしたら ImportError: libGL.so.1: cannot open shared object file: No such file or directory のエラーが出た

Wed, 28 Feb 2024 00:00:00 +0900

python で YOLOv8 を動かそうとしたら以下のエラーが出ました。

from ultralytics import YOLO

Traceback (most recent call last):
 File "/workspace/yolov8/test1.py", line 1, in <module>
 from ultralytics import YOLO
 File "/usr/local/lib/python3.11/site-packages/ultralytics/__init__.py", line 5, in <module>
 from ultralytics.data.explorer.explorer import Explorer
 File "/usr/local/lib/python3.11/site-packages/ultralytics/data/__init__.py", line 3, in <module>
 from .base import BaseDataset
 File "/usr/local/lib/python3.11/site-packages/ultralytics/data/base.py", line 12, in <module>
 import cv2
 File "/usr/local/lib/python3.11/site-packages/cv2/__init__.py", line 181, in <module>
 bootstrap()
 File "/usr/local/lib/python3.11/site-packages/cv2/__init__.py", line 153, in bootstrap
 native_module = importlib.import_module("cv2")
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 File "/usr/local/lib/python3.11/importlib/__init__.py", line 126, in import_module
 return _bootstrap._gcd_import(name[level:], package, level)
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
ImportError: libGL.so.1: cannot open shared object file: No such file or directory

このエラーは、OpenCV が GPU の OpenGL ライブラリを見つけられないことが原因で起きているエラーのようです。

YOLOv8 (ultralytics) をインストールすると依存関係にある OpenCV もインストールされるようですが、以下のページによれば、検出結果の可視化などを行ったりする場合のみ OpenCV が必要で、他のコア機能は OpenCV に依存しないとあります。

しかし、私の場合、検出結果の可視化とか何もしていない、というかそもそも最初の import 文のところでエラーになってしまっています。

尚、opencv-python ではなく、opencv-python-headless をインストールすれば解決できる場合もあるそうですが、私の場合、それでも上記のエラーが発生しました。

仕方がないので、OpenGL のライブラリをインストールして解決しました。

$ sudo apt update
$ sudo apt install -y libgl1-mesa-glx libglib2.0-0

参考 URL

`ImportError: cannot import name '_compare_version' from 'torchmetrics.utilities.imports'` のエラーが出る

Mon, 21 Aug 2023 00:00:00 +0900

Stable Diffusion を動かそうとして以下のエラーが出ました。

ImportError: cannot import name '_compare_version' from 'torchmetrics.utilities.imports'
(/usr/local/lib/python3.8/site-packages/torchmetrics/utilities/imports.py)

以下に対策が載っており、torchmetrics を 0.11.4 にダウングレードすれば解決しました。

https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/11648

$ pip install torchmetrics==0.11.4

参考 URL

https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/11648

[python] Tesseract を使った OCR

Tue, 29 Jun 2021 00:00:00 +0900

最も基本的なコードのメモです。

pyocr を使ったサンプル

from PIL import Image
import pyocr
 
# OCR エンジンの取得
tools = pyocr.get_available_tools()
tool = tools[0] # 今回は Tesseract しかないので、0番目に入っている

# ビルダーの作成
builder = pyocr.builders.TextBuilder(tesseract_layout=6) # デフォルト値は3

#OCR対象の画像ファイルを読み込む
img = Image.open("test.jpg")
 
#画像から文字を読み込む
result = tool.image_to_string(img, lang="jpn", builder=builder)
 
print(result)

pytesseract を使ったサンプル

from PIL import Image
import pytesseract

# pytesseract を使ったサンプル
 
#OCR対象の画像ファイルを読み込む
img = Image.open("test.jpg")
 
#画像から文字を読み込む
result = pytesseract.image_to_string(img, lang="jpn")
 
print(result)

参考 URL

Tesseract が動作する docker イメージを作成する

Mon, 28 Jun 2021 00:00:00 +0900

Tesseract を使って OCR を行うための環境を、Docker を使って構築しました。開発言語は Python を想定しています。

環境

Ubuntu 20.04

Dockerfile の作成

Dockerfile のサンプルです。

USB カメラのキャプチャ画像に対して OCR を行いたかったので、OpenCV と GUI の表示に必要なパッケージもインストールしています。

FROM ubuntu:20.04

# Tesseract、訓練済みモジュール、その他必要なパッケージをインストール
RUN apt -y install \
 tesseract-ocr \
 tesseract-ocr-jpn \
 git \
 python3-pip \
 libgl1-mesa-dev \
 libsm6

# python パッケージをインストール
RUN pip3 install pyocr pytesseract opencv-python

# aptのクリア
RUN apt clean && rm -rf /var/lib/apt/lists/*

# bash起動
CMD [ "/bin/bash" ]

これをビルドします。

$ docker build -t tesseract-dev .

コンテナ起動

以下のようにして起動します。

docker run -it --rm \
 --name tesseract-dev \
 -e DISPLAY=${DISPLAY} \
 -v /tmp/.X11-unix/:/tmp/.X11-unix/ \
 --device /dev/video0:/dev/video0 \
 tesseract-dev

確認

Tesseract がインストールされていることを確認します。

$ tesseract 4.1.1
 leptonica-1.79.0
 libgif 5.1.4 : libjpeg 8d (libjpeg-turbo 2.0.3) : libpng 1.6.37 : libtiff 4.1.0 : zlib 1.2.11 : libwebp 0.6.1 : libopenjp2 2.3.1
 Found AVX2
 Found AVX
 Found FMA
 Found SSE
 Found libarchive 3.4.0 zlib/1.2.11 liblzma/5.2.4 bz2lib/1.0.8 liblz4/1.9.2 libzstd/1.4.4

ついでに Tesseract で OCR 出来ることを確認します。

$ tesseract test.jpg output -l jpn

参考 URL

OpenVINO で "DeprecationWarning: 'inputs' property of IENetwork class is deprecated. To access DataPtrs user need to use 'input_data' property of InputInfoPtr objects which can be accessed by 'input_info' property." の警告が表示された

Fri, 25 Jun 2021 00:00:00 +0900

OpenVINO を使って推論を行うサンプルプログラムを動かしていると、以下の警告が表示されました。

DeprecationWarning: 'inputs' property of IENetwork class is deprecated. To access DataPtrs user need to use 'input_data' property of InputInfoPtr objects which can be accessed by 'input_info' property.

使用している OpenVINO のバージョンは 2021.2 ですが、IEPlugin が現在の OpenVINO からは削除されていることに関連している？

https://github.com/openvinotoolkit/cvat/issues/1830

とりあえず以下のように修正すれば動きました。

修正前

input_blob = next(iter(net.inputs))

修正後

input_blob = next(iter(net.input_info))

参考 URL

https://github.com/openvinotoolkit/cvat/issues/1830

OpenVINO が動作する Docker イメージを作る

Thu, 24 Jun 2021 00:00:00 +0900

Docker Hub に OpenVINO の公式イメージがあるので、それを使って画像解析を行うための開発環境をサクッと構築します。

https://hub.docker.com/u/openvino

いろいろなイメージがありますが、開発用なので、サンプルやデモアプリなども入っている openvino/ubuntu18_dev を使います。

また、開発言語は Python を想定しています。

環境

Ubuntu 20.04
Docker 20.10.2
Visual Studio Code 1.57.1
OpenVINO 2021.2

Dockerfile の作成

公式イメージをそのまま使ってもいいですが、開発用として git や pip などは欲しいので入れておきます。
また、依存パッケージのインストール、サンプルやデモアプリのビルドも済ませておきます。

FROM openvino/ubuntu18_dev:2021.2

USER root

# 依存パッケージのインストール
RUN cd /opt/intel/openvino/install_dependencies && ./install_openvino_dependencies.sh

# サンプル、デモアプリのビルド
RUN cd /opt/intel/openvino/inference_engine/samples/cpp && ./build_samples.sh
RUN cd /opt/intel/openvino/inference_engine/demos && ./build_demos.sh
# /opt/intel/openvino_2021/deployment_tools/demo にデモアプリがある

# 他に必要なものを適宜インストール
RUN apt -y install wget git python3-pip
RUN pip3 install onnxruntime flask
RUN git clone https://github.com/ultralytics/yolov5

# aptのクリア
RUN apt clean && rm -rf /var/lib/apt/lists/*

USER openvino

# bash起動
CMD [ "/bin/bash" ]

これを myopenvino としてビルドしました。

$ docker build -t myopenvino:2021.2 .

コンテナ起動

例えば、以下のように起動します。

docker run -it --rm \
 --name openvino
 -e DISPLAY=${DISPLAY} \
 -v /tmp/.X11-unix/:/tmp/.X11-unix/ \
 -v /dev/bus/usb:/dev/bus/usb \
 --privileged --device /dev/dri:/dev/dri \
 --device-cgroup-rule='c 189:* rmw' \
 myopenvino:2021.2

-e DISPLAY=${DISPLAY} と -v /tmp/.X11-unix/:/tmp/.X11-unix/ は推論結果を描画するために指定しています。
-v /dev/bus/usb:/dev/bus/usb は USB カメラなどを使えるように指定しています。
--privileged --device /dev/dri:/dev/dri --device-cgroup-rule='c 189:* rmw' は GPU や Movidius Myriad などで推論を行う場合にも対応できるように指定しています（全部必要なわけではないと思いますが・・・）。
詳細は以下を参考にしてください。

https://docs.openvinotoolkit.org/2021.2/openvino_docs_install_guides_installing_openvino_docker_linux.html#use_a_docker_image_for_gpu

VSCode + Remote-Containers で起動できるようにする

実際に開発するとなると VSCode でデバッグしたいことが多々あると思うので、Remote-Containers を使って起動できるようにします。

Dockerfile は上記と同じものを使うとして、devcontainer.json で上記のコンテナ起動時の引数と同じものを指定すれば OK です。

例えば、以下のような感じです。

{
	"runArgs": [
		"-e", "DISPLAY=${env:DISPLAY}",
		"--privileged",
		"--device", "/dev/dri:/dev/dri",
	],

	"mounts": [
		"source=/tmp/.X11-unix/,target=/tmp/.X11-unix/,type=bind",
	 	"source=/dev/bus/usb,target=/dev/bus/usb,type=bind",
	],
}