Capisco che stai usando Hyper-V, ma i concetti sono simili. Forse questo ti metterà sulla strada giusta.
Il problema è probabilmente dovuto al ballooning della memoria virtuale, una tecnica utilizzata dall'hypervisor per ottimizzare la memoria. Vedere questo collegamento per una descrizione
Ho osservato i tuoi stessi identici sintomi con le mie VM in vSphere. Una macchina 4G senza nulla in esecuzione riporterebbe 30 M utilizzati dalla cache, ma oltre 3G "utilizzati" nella riga "-/+ buffer".
Ecco un esempio di output dal comando delle statistiche di VMWare. Questo mostra quanto vicino al 3G viene aggiunto al mio importo "utilizzato":
vmware-toolbox-cmd stat balloon
3264 MB
Nel mio caso, ovviamente, il mio autista di mongolfiera utilizzava ~3G
Non sono sicuro di quale sia il comando simile in Hyper-V per ottenere le statistiche del fumetto, ma sono sicuro che otterrai risultati simili