Entre 1787 e 1788 Madison escribiu xunto con Alexander Hamilton e John Jay unha serie de ensaios publicados en distintos xornais do estado de Nova York chamados The Federalists Papers que axudaron á ratificación da Lei Fundamental e están considerados, aínda hoxe en día, entre os escritos máis importantes para a interpretación constitucional. De feito, Madison foi o autor máis prolífico dos tres e escribiu os dous capítulos máis importantes da serie, Federalist No. 10 e Federalista No. 51.
Como representante do Congreso traballou co presidente George Washington nas tarefas de formar o primeiro goberno dos Estados Unidos. Ademais, creou xunto con Thomas Jefferson o primeiro Partido Republicano (posteriormente coñecido como Partido Demócrata-Republicano) que se opoñía ás teses defendidas polo Partido Federalista.