Ho avuto lo stesso problema, ho trovato la risposta su https://www.evonide.com/non-root-gpu-passthrough-setup/. Devi aggiungere -cpu host,kvm=off alla riga di comando di qemu. Sto usando Ganeti, quindi quanto segue ha risolto il problema:
gnt-instance modify -H cpu_type="host\,kvm=off"
Se ho capito bene questo flag non disattiva l'accelerazione KVM per l'ospite, che viene attivata con -machine pc,accel=kvm . Ma disattiva l'accelerazione KVM nidificata per il guest (quindi non sarai in grado di eseguire una macchina virtuale KVM all'interno del guest).
Non so se posso contribuire molto, mi sembra che nvidia stia attivamente sabotando i tentativi di passthrough pci (dovresti comprare una scheda Quadro).
Prova a falsificare gli ID del dispositivo pci aggiungendo x-pci-vendor-id=0x10DE,x-pci-device-id=0x11BA,x-pci-sub-vendor-id=0x10DE,x-pci-sub-device-id=0x0965 al -device vfio-pci, discussione. Questo farà finta di essere una Quadro K5000.