Nel mio caso il problema era causato dal fatto che un altro servizio (vale a dire, timidity, avviato a livello di sistema) utilizzava la scheda audio, quindi pulseaudio (avviato a livello utente) non la utilizzava.
Per verificarlo, puoi eseguire sudo fuser /dev/snd/* e vedere se un altro processo sta usando la scheda audio. Se sì, dovresti fare in modo che il processo non si avvii e questo risolverà il problema.
Per fornire maggiori dettagli, sono stato in grado di isolare il problema modificando /etc/pulse/daemon.conf per impostare log-level = debug , riavviando pulseaudio con pulseaudio -k (quindi pulseaudio viene automaticamente rigenerato da systemd), ed è così che ho notato il problema:
Aug 7 11:37:34 zeta pulseaudio[22178]: D: [pulseaudio] module-udev-detect.c: /devices/pci0000:00/0000:00:1f.3/sound/card0 is busy: yes