Non c'è modo:la pagina man di ls ti mostrerà che l'impostazione predefinita (per --color) è 'none' - ie. non usare mai il colore.
C'è qualche motivo per cui non vuoi usare gli alias? Sono un utente Red Hat in recupero, quindi ogni volta che installo una nuova distribuzione imposto tre alias ls in questo modo:
## Colorize the ls output ##
alias ls='ls --color=auto'
## Use a long listing format ##
alias ll='ls -la'
## Show hidden files ##
alias l.='ls -d .* --color=auto'