Arnoštovo Doupě

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.
===== Ollama =====

https://ollama.com/

==== Instalace ====

Protoze Fedora obsahuje stare verze, osvedcil se mi nasledujici setup:

  - nainstalovat Fedora //ollama// <code bash>$ dnf install ollama</code> (vytvori uzivatele, SystemD sluzbu, atd.)
  - manualne nainstalovat posledni ollama <code bash>$ sudo tar -C /usr/local -x --zstd -f ~/Stažené/ollama-linux-amd64.tar.zst</code>
  - pridat se do //ollama// skupiny <code bash>$ sudo usermod -a -G ollama $(whoami)</code>
  - v pripade problemu se //SELinux// - napr.: pouziti NVIDIA graficke karty - je nutne je explicitne povolit (v pripade potreby dalsich chyb opakovat) <code bash>$ sudo ausearch -c 'ollama' --raw | audit2allow -M my-ollama
$ sudo semodule -i my-ollama.pp</code>
  - vypnout //ollama// <code bash>$ sudo systemctl stop ollama</code>
  - //(volitelne)// vytvorit env soubor pro server <code bash>$ sudo vim /etc/ollama/serve.conf</code> <file ini serve.conf>
# The list of supported env variables could be found by running: ollama serve --help
#OLLAMA_DEBUG=1
#OLLAMA_HOST=0.0.0.0:11434

OLLAMA_API_KEY=...

OLLAMA_CONTEXT_LENGTH=128000</file>
  - upravit puvodni SystemD unit, aby ukazovala na posledni ollama //instalaci// <code bash> $ sudo systemctl edit ollama</code> <file ini ollama.service>[Unit]
Description=Ollama Service
After=network-online.target

[Service]
;ExecStart=/usr/bin/ollama serve
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
# Restart=always
RestartSec=3
Environment="PATH=$PATH"
EnvironmentFile=/etc/ollama/serve.conf
# WorkingDirectory=/var/lib/ollama
StateDirectory=ollama
UMask=0077
Restart=on-failure

# ProtectSystem=full
ProtectHome=true
PrivateTmp=true
NoNewPrivileges=true
CapabilityBoundingSet=
AmbientCapabilities=
LockPersonality=true
# MemoryDenyWriteExecute=true

MemoryDenyWriteExecute=false
DeviceAllow=char-nvidiactl rw
DeviceAllow=char-nvidia-uvm rw
DeviceAllow=char-nvidia-modeset rw

[Install]
WantedBy=multi-user.target</file>
  - znovu spustit //ollama// <code bash>$ sudo systemctl start ollama</code>
  - zkontrolovat zda vse bezi <code bash>$ sudo systemctl status ollama
$ sudo journalctl -xeu ollama</code>

==== Update ====
  - zastavime sluzbu <code bash>$ sudo systemctl stop ollama</code>
  - smazeme starou verzi <code bash>$ sudo rm -rf /usr/local/bin/ollama /usr/local/lib/ollama</code>
  - rozbalime novou verzi (je dulezite pouzit stejnou slozku jako pri instalaci) <code bash>$ sudo tar -C /usr/local -x --zstd -f ~/Stažené/ollama-linux-amd64.tar.zst</code>
  - overime ze se vse povedlo <code bash>$ ollama --version</code>
  - sluzbu opet zapneme <code bash>$ sudo systemctl start ollama</code>
  - a overime ze vse bezi <code bash>$ sudo systemctl status ollama</code>