1908年縱貫線通車後不久,「打狗停車場」在此設立,做為南部的端點站,當時站房為木造建築。1920年由於打狗改名為高雄,車站亦改稱為「高雄驛」。1941年將客貨運分流,高雄驛搬遷至愛河東邊的大港地區,原址則改稱為高雄港驛,成為貨物站。

二次大戰末期的1945年1月,美軍開始大規模且頻繁轟炸台灣,被認為是台灣工業與軍事重鎮的高雄,以及肩負運輸樞紐大任的高雄港站,當然成為主要的攻擊目標,建於1908年的木造站房也因此嚴重毀損。戰後,台鐵局於1947年重建高雄港站的站房,其位置較原址稍微偏南。結構採RC樑柱及磚牆,屋架為木桁架;屋頂覆蓋水泥瓦,樣式仍為「寄棟式」(四披水),但不如舊站體花俏。「高雄港站」於2003年2月26日登錄為高雄市歷史建築。