Vanuit de jeugdopleiding van VVV werd Van der Zwan in 1994 door trainer Remy Reijnierse toegevoegd aan de selectie van het eerste elftal. Daar maakte hij op 26 november 1994 als linksbuiten zijn profdebuut in een met 1-0 verloren uitwedstrijd bij BV Veendam. Van der Zwan slaagde er niet in een vaste plaats in de hoofdmacht te veroveren en verkaste in 1997 naar amateurclub Wilhelmina '08.