Soluzione 1:
Sono stato in grado di utilizzare lsof per ottenere il descrittore di file, quindi esegui stat /proc/<PID>/fd/<file descriptor> per ottenere la data.
Soluzione 2:
Una combinazione di lsof e /proc come suggerito da @opsguy dovrebbe fare il lavoro:
lsof -P -i tcp | awk '{print $2,$4}' | tr -d 'u' | sort -u \
| while read pid fd; do stat --printf "%z %N\n" /proc/$pid/fd/$fd ; done | sort -r