De club ontstond op 6 september 1865 na een fusie tussen Harburger Turnerschaft 1858 en Männerturnvereins 1861 Harburg. Een van de eerste activiteiten van de club was de bouw van een turnhal. In 1879 werd deze hal door de stad Harburg, toen nog zelfstandig, overgenomen en verder uitgebouwd voor scholen. In 1883 splitste Männer Turnverein 1883 Harburg zich van de club af. Sinds 1907 zit de club in het huidige sportcomplex Jahnhöhe. In 1910 breidde de sportclub uit met afdelingen in voetbal en vechten. In 1921 volgde ook een handbalafdeling. In 1924 richtten de leden van HTB 1865 en MTV 1883 de sportclub SV 1924 Harburg op. Dit fenomeen voltrok zich in heel Duitsland omdat de overheid aandrong op een scheiding tussen turnclubs en sportclubs. Toch bleef HTB een voetbalafdeling hebben, maar die mocht enkel nog spelen in de competitie van de Deutsche Turnerschaft. In 1928 werd de voetbalploeg zelfs kampioen van Duitsland.
HTB 1865 startte in 1922/23 in het nieuwe kampioenschap van Noord-Hannover. In 1924 werd de voetbalafdeling zelfstandig onder de naam SV 1924 Harburg. In 1929 plaatste de club zich voor de Noord-Duitse eindronde en verloor daar van Arminia Hannover. In 1930/31 werd de club kampioen van Noord-Hannover en plaatste zich opnieuw voor de Noord-Duitse eindronde. Deze keer versloeg de club Victoria Hamburg, maar werd dan door Hamburger SV verslagen. In het team speelde onder andere Rudolf Noack, die later nog voor de nationale ploeg zou spelen. In 1934 ging de club opnieuw op in de grotere sportclub.