Pallois slaagde er niet in om zich door te zetten bij SM Caen en trok in 2008 naar amateurclub US Quevilly. In mei 2010 tekende hij een driejarig contract bij eersteklasserValenciennes. Aangezien de Fransman in zijn eerste jaar maar tot 11 competitieoptredens kwam, werd hij in zijn tweede jaar uitgeleend aan tweedeklasserLaval. In juni 2012 tekende Pallois een tweejarig contract bij Chamois Niortais. Na 71 competitiewedstrijden in het shirt van Niort werd hij in juni 2014 beloond met een transfer naar de Ligue 1. Op 17 juni 2014 tekende de verdediger een vierjarig contract bij Girondins Bordeaux. Op 9 augustus 2014 debuteerde hij voor Les Girondins in de uitwedstrijd tegen Montpellier.[2]