https://ollama.com/

Protoze Fedora obsahuje stare verze, osvedcil se mi nasledujici setup:

1. nainstalovat Fedora ollama

   $ dnf install ollama

   (vytvori uzivatele, SystemD sluzbu, atd.)

2. manualne nainstalovat posledni ollama

   $ sudo tar -C /usr/local -x --zstd -f ~/Stažené/ollama-linux-amd64.tar.zst

3. pridat se do ollama skupiny

   $ sudo usermod -a -G ollama $(whoami)

4. v pripade problemu se SELinux - napr.: pouziti NVIDIA graficke karty - je nutne je explicitne povolit (v pripade potreby dalsich chyb opakovat)

   $ sudo ausearch -c 'ollama' --raw | audit2allow -M my-ollama
   $ sudo semodule -i my-ollama.pp

5. vypnout ollama

   $ sudo systemctl stop ollama

6. (volitelne) vytvorit env soubor pro server

   $ sudo vim /etc/ollama/serve.conf

   serve.conf

   # The list of supported env variables could be found by running: ollama serve --help
   #OLLAMA_DEBUG=1
   #OLLAMA_HOST=0.0.0.0:11434
    
   OLLAMA_API_KEY=...
    
   OLLAMA_CONTEXT_LENGTH=128000

7. upravit puvodni SystemD unit, aby ukazovala na posledni ollama instalaci

    $ sudo systemctl edit ollama

   ollama.service

   [Unit]
   Description=Ollama Service
   After=network-online.target
    
   [Service]
   ;ExecStart=/usr/bin/ollama serve
   ExecStart=/usr/local/bin/ollama serve
   User=ollama
   Group=ollama
   # Restart=always
   RestartSec=3
   Environment="PATH=$PATH"
   EnvironmentFile=/etc/ollama/serve.conf
   # WorkingDirectory=/var/lib/ollama
   StateDirectory=ollama
   UMask=0077
   Restart=on-failure
    
   # ProtectSystem=full
   ProtectHome=true
   PrivateTmp=true
   NoNewPrivileges=true
   CapabilityBoundingSet=
   AmbientCapabilities=
   LockPersonality=true
   # MemoryDenyWriteExecute=true
    
   MemoryDenyWriteExecute=false
   DeviceAllow=char-nvidiactl rw
   DeviceAllow=char-nvidia-uvm rw
   DeviceAllow=char-nvidia-modeset rw
    
   [Install]
   WantedBy=multi-user.target

8. znovu spustit ollama

   $ sudo systemctl start ollama

9. zkontrolovat zda vse bezi

   $ sudo systemctl status ollama
   $ sudo journalctl -xeu ollama

1. zastavime sluzbu

   $ sudo systemctl stop ollama

2. smazeme starou verzi

   $ sudo rm -rf /usr/local/bin/ollama /usr/local/lib/ollama

3. rozbalime novou verzi (je dulezite pouzit stejnou slozku jako pri instalaci)

   $ sudo tar -C /usr/local -x --zstd -f /home/nost/Stažené/ollama-linux-amd64.tar.zst

4. overime ze se vse povedlo

   $ ollama --version

5. sluzbu opet zapneme

   $ sudo systemctl start ollama