Il diritto di accedere a una porta seriale è determinato dalle autorizzazioni del file del dispositivo (ad es. /dev/ttyS0 ). Quindi tutto ciò che devi fare è fare in modo che il dispositivo sia di tua proprietà, o (meglio) metterti nel gruppo che possiede il dispositivo, o (se Fedora lo supporta, cosa che penso faccia) fare in modo che il dispositivo appartengono all'utente che ha effettuato l'accesso alla console.
Ad esempio, sul mio sistema (non Fedora), /dev/ttyS0 è di proprietà dell'utente root e il gruppo dialout , quindi per poter accedere al dispositivo seriale, mi aggiungerei al dialout gruppo:
usermod -a -G dialout MY_USER_NAME