Ma la giacca l'hai provata anche col paraschiena o no? Se l'hai provata senza ti consiglio di provarla anche col paraschiena, che comunque ingombra e lo usi sempre (o almeno dovresti ). Dalla descrizione che hai fatto mi sembra di aver capito che non l'avessi, quindi considerando anche i tuoi ingombri forse sarebbe meglio una 50 (anche se la vestibilità e le taglie variano da marca a marca).

Io sono circa 170cm x 60kg, ho una giacca in pelle Dainese tg. 48 che veste correttamente d'estate senza imbottitura rimovibile e con sotto solo maglietta e paraschiena; chiaramente d'inverno con l'imbottitura del giubbino e la felpa divente un po' più costringente, ma non tanto da limitare i movimenti. Dovresti valutare in che periodo la useresti di più (credo in estate) e regolarti di conseguenza, in modo da essere a tuo agio per la maggior parte del suo utilizzo.
Considera che d'inverno come soluzione contro il freddo piuttosto che una classica felpa puoi mettere una maglia intima termica ed un'altra maglia termica antivento, ce ne sono di diversi produttori, sono un po' elastiche e vestono attillate, quindi ingombrano poco e sono molto efficaci.