當鄭氏收回紅毛城以至清初,淡水尚屬荒蕪邊疆,成為流放犯人 之所在,紅毛城「惟安平水師,撥兵十人,率半歲一更,而水師并卒 又視為畏途,遍舟至社信宿即返,十五六年城中無戍兵之跡矣!」但到了乾隆末年,台北盆地和淡水逐漸開發,日益增多的民變和 海寇,迫使清廷開始正視海防的需要和紅毛城的用途;1710年淡水設 防駐兵,並定三年一換。雍正二年(1724)淡水同知王汧修葺已荒費 四十年之久的「紅毛砲城」,並修築城牆及增闢四座外圍城門,包括 東、西大門及南、北小門。1868年,英國租下紅毛城,重築圍牆拆除 了各門,僅留下這「南門」作為出口。
南門為紅毛城內唯一的中國式建築,也是北部台灣最古老的城門 ,全為石條砌成,上建有稚堞以便防禦,門上有楷書「南門」二字( 但經常為爬藤所蓋滿不易看見)。英國租用期間,上掛有一盾形皇家 紋式。南門也是紅毛城內不用門票,即可觀賞的古蹟。