Innanzitutto, assicurati che il tuo kernel e lo spazio utente BTRFS siano aggiornati.
Secondo le FAQ BTRFS, non è possibile ridimensionare la dimensione del blocco dei metadati. Puoi, tuttavia, provare a eseguire btrfs balance start -m
Se ciò non funziona, potrebbe essere necessario eseguire il backup dei dati e ricreare il filesystem. (Dai un'occhiata a questo per maggiori informazioni.)