Modelli offline

Offline non si fa ollama pull: i modelli sono file. Si scaricano su una macchina connessa e si trasferiscono.

Metodo 1 — copia dello store

Lato connesso:

ollama pull qwen2.5:14b-instruct

tar -C ~/.ollama -czf ollama-qwen2.5-14b.tgz models/manifests/registry.ollama.ai/library/qwen2.5/14b-instruct $(cd ~/.ollama && jq -r '.layers[].digest, .config.digest' models/manifests/registry.ollama.ai/library/qwen2.5/14b-instruct | sed 's/sha256:/models\/blobs\/sha256-/')

shasum -a 256 ollama-qwen2.5-14b.tgz > ollama-qwen2.5-14b.tgz.sha256

Così archivi solo manifest e blob di quel modello. Per copiare tutto lo store:

tar -C ~/.ollama -czf ollama-models-all.tgz models

Lato offline:

sha256sum -c ollama-qwen2.5-14b.tgz.sha256

mkdir -p ~/.ollama && tar -C ~/.ollama -xzf ollama-qwen2.5-14b.tgz

ollama list

Metodo 2 — import da GGUF

Controllo totale su origine e versione (repo Hugging Face + commit).

Lato connesso:

pip install -U "huggingface_hub[cli]"

huggingface-cli download Qwen/Qwen2.5-7B-Instruct-GGUF qwen2.5-7b-instruct-q4_k_m.gguf --local-dir ./gguf

ollama show qwen2.5:7b-instruct --modelfile | sed -n '/^TEMPLATE/,/^"""$/p' > template.txt

Lato offline:

printf 'FROM ./gguf/qwen2.5-7b-instruct-q4_k_m.gguf\nPARAMETER num_ctx 16384\n' > Modelfile && cat template.txt >> Modelfile

ollama create qwen2.5-7b-local -f Modelfile

Senza il TEMPLATE corretto il modello risponde, ma il tool calling non funziona.

Metodo 3 — registry OCI con oras

Il registry interno (Harbor, Quay, MSR, Nexus) diventa la fonte unica, come per le immagini.

brew install oras

oras login registry.internal

oras push registry.internal/ai-models/qwen2.5-14b-instruct:q4_k_m ollama-qwen2.5-14b.tgz:application/gzip ollama-qwen2.5-14b.tgz.sha256:text/plain

oras manifest fetch registry.internal/ai-models/qwen2.5-14b-instruct:q4_k_m | jq

oras pull registry.internal/ai-models/qwen2.5-14b-instruct:q4_k_m -o ./model

Il deploy in-cluster che scarica da qui è in Ollama in-cluster.

Provenienza

Registra per ogni modello: repo e commit HF (o tag Ollama), quantizzazione, sha256 dei blob, data di import. Pinna per digest:

oras resolve registry.internal/ai-models/qwen2.5-14b-instruct:q4_k_m