Arnoštovo Doupě

https://ollama.com/

Protoze Fedora obsahuje stare verze, osvedcil se mi nasledujici setup:

1. nainstalovat Fedora ollama

   $ dnf install ollama

   (vytvori uzivatele, SystemD sluzbu, atd.)

2. manualne nainstalovat posledni ollama

   $ sudo tar -C /usr/local -x --zstd -f ~/Stažené/ollama-linux-amd64.tar.zst

3. pridat se do ollama skupiny

   $ sudo usermod -a -G ollama $(whoami)

4. v pripade problemu se SELinux - napr.: pouziti NVIDIA graficke karty - je nutne je explicitne povolit (v pripade potreby dalsich chyb opakovat)

   $ sudo ausearch -c 'ollama' --raw | audit2allow -M my-ollama
   $ sudo semodule -i my-ollama.pp

5. vypnout ollama

   $ sudo systemctl stop ollama

6. upravit puvodni SystemD unit, aby ukazovala na posledni ollama instalaci

    $ sudo systemctl edit ollama

   [Unit]
   Description=Ollama Service
   After=network-online.target
    
   [Service]
   ;ExecStart=/usr/bin/ollama serve
   ExecStart=/usr/local/bin/ollama serve
   User=ollama
   Group=ollama
   # Restart=always
   RestartSec=3
   Environment="PATH=$PATH"
   EnvironmentFile=/etc/ollama/serve.conf
   # WorkingDirectory=/var/lib/ollama
   StateDirectory=ollama
   UMask=0077
   Restart=on-failure
    
   # ProtectSystem=full
   ProtectHome=true
   PrivateTmp=true
   NoNewPrivileges=true
   CapabilityBoundingSet=
   AmbientCapabilities=
   LockPersonality=true
   # MemoryDenyWriteExecute=true
    
   MemoryDenyWriteExecute=false
   DeviceAllow=char-nvidiactl rw
   DeviceAllow=char-nvidia-uvm rw
   DeviceAllow=char-nvidia-modeset rw
    
   [Install]
   WantedBy=multi-user.target

7. znovu spustit ollama

   $ sudo systemctl start ollama

8. zkontrolovat zda vse bezi

   $ sudo systemctl status ollama
   $ sudo journalctl -xeu ollama