Ollamaメモ

LLM（いわゆるAI）で使われるOllamaのメモ。

概要

Ollama(オラマ)は、ローカルLLMを実行するOSSのツール。

ChatGPTやClaudeといったLLM（大規模言語モデル、いわゆるAI）はクラウド（インターネット）上のサービスとして提供されており、リモート接続して実行する。
これに対し、自分のPC上で実行できるLLMがローカルLLM。
ローカルLLMは色々な会社が様々なモデル（機械学習したデータ）を公開しており、それらを同じ操作で実行できるのがOllama。

モデルによって日本語に対応しているかどうかや賢さが違う。
どのようなモデルが使えるかはLibraryに一覧がある。

Ollamaはollamaコマンドで実行する。

ollamaコマンドでLLMを実行する際には使用するモデルを指定する。
指定されたモデルはollamaコマンド実行時にダウンロードされる。
モデルは種類によってサイズが異なる。（1〜百数十GB）

LLMはGPUを使って動くが、GPUがLLMに対応できない場合やメモリーサイズが足りない場合は、モデルによってはCPUを使って実行される。
GPUを使う方が高速。

インストール

Windowsへのインストール

1. Ollamaのサイトの「Download」ボタンを押す。
2. 「Windows」アイコンを押す。
3. 「Download for Windows」ボタンを押す。（OllamaSetup.exeがダウンロードされる）
4. OllamaSetup.exeを実行する。
5. モデルのダウンロード場所（デフォルトはCドライブ（%USERPROFILE%\.ollama\models））を変えたい場合は、環境変数OLLAMA_MODELSでディレクトリーを指定しておく。
   • 大抵の環境ではCドライブは容量がシビアなので、余裕があるドライブを指定する方が良いと思う。
   • 存在しないパスを指定した場合は実行時にディレクトリーが作られる。
   • Ollamaはバックグラウンドプロセスも存在してるので、それも再起動しないと環境変数は読まれない。

これで、ollama.exeが使えるようになる。（自動的に環境変数PATHに追加される）

Linuxへのインストール

Ollamaのダウンロードページで「Linux」アイコンを押すと、インストール方法（インストールコマンド）が表示される。

1. 以下のコマンドを実行する。

   curl -fsSL https://ollama.com/install.sh | sh

ollamaコマンド

ollamaコマンドはサブコマンドを指定して実行する。