Mason begon op negenjarige leeftijd met voetballen bij Plymouth Argyle, de club uit zijn geboortestad. In mei 2009 tekende hij zijn eerste profcontract. Hij debuteerde op 5 december 2009 in Home Park tegen Sheffield United. Hij werd na 65 minuten vervangen door Craig Noone onder een staande ovatie. In januari 2010 tekende hij een contractverlenging. Op 27 februari 2010 scoorde hij zijn eerste profdoelpunt tegen Sheffield United op Bramall Lane. In 53 competitiewedstrijden scoorde hij 10 doelpunten voor Plymouth Argyle.
Op 8 juli 2011 tekende Mason een driejarig contract bij het WelsheCardiff City. Hij debuteerde op 7 augustus 2011 tegen West Ham United. Op 22 oktober 2011 scoorde hij zijn eerste doelpunt voor Cardiff City tegen Barnsley. Drie dagen later scoorde hij opnieuw in de League Cup tegen Burnley, waardoor de club voor het eerst sinds 1965 de kwartfinale haalde. Cardiff City stootte zelfs door naar de finale van de League Cup, waar Liverpool pas na strafschoppen te sterk bleek. Joe Mason scoorde het openingsdoelpunt van de wedstrijd. In zijn eerste seizoen scoorde hij 9 doelpunten uit 39 competitiewedstrijden. In zijn tweede seizoen scoorde hij 5 doelpunten uit 22 competitiewedstrijden. In 2013 werd Cardiff City kampioen in de Championship, waardoor ze naar de Premier League stegen.