Allen studerade juridik och inledde 1827 sin karriär som advokat i Ohio. Han representerade Ohios sjunde distrikt i representanthuset 1833-1835. Han efterträdde 1837 Thomas Ewing som senator för Ohio. Han omvaldes 1843. Allen kandiderade 1849 igen till omval men förlorade mot Salmon P. Chase.
Allen var känd för sina hetsiga tal och anses vara upphovsman till slagordet "54° 40’ eller krig!" i Oregongränstvisten med Storbritannien 1846. Som guvernör var han förfäktare av "Ohio-idén" om oinlösbart pappersmynt.