淡水開港之後,外商洋行接踵而至,一時「帆檣林立,洋樓客棧 ,闤闠喧囂」。同時,本地行郊也改變傳統經營方式加入競爭,淡水 河岸船頭商行雲集。由於西風東漸,他們發跡後,不論是建商館或厝 宅都仿洋樓樣式,紅樓即是代表。紅樓確實之興建年代不詳,當在清末日初之際。據傳是由經商往 來福州船行生意的商賈李阿透所建。六年後李氏經營之船隊遇風浪沉 沒,不得不將「紅樓」轉予當時淡水第一任街長洪以南先生,洪氏為 清末之秀才。他將紅樓取了個極為風雅的名號「達觀樓」,因這裡展 望淡水,東起關渡,西迄紅毛城,一目千里毫無遮阻,日治時代極多 淡水港埠和街景的照片都由本處攝得。
戰後六○年代,洪氏後人再將紅樓轉售同姓洪之現任屋主,洪姓 屋主遂進行整修,將原有斜瓦四坡落之屋定改為鋼筋水尼之平屋頂, 也將遭風化並留有二次大戰彈孔的紅磚牆,以淺黃色水泥砂漿粉平, 紅樓成了黃樓。不久,屋主將「黃樓」分租學生,二十年前又增建石 棉瓦屋頂,至此外貌已與原有風格迥異。爾後,黃樓就一直廢棄至今 。 紅樓之造型可能仿當時的領事官邸而建。它和已被拆除的「白樓」 一樣,象徵過去淡水的繁華,見證淡水的黃金時代。今日的荒廢和即 將拆除也無情的說明淡水沒落與衰微。