在威远炮台旧址我们可以看到，这里由26个石砌暗炮位、3个露天炮位、20间清兵营房、1间火药局、4间暗室、2条三合土通道及围墙等组成，是虎门要塞中规模最大、配炮最多的炮台之一。整座炮台背山面海，地势险要。
威远炮台的前身是威远岛上南山左脉的南山炮台，始建于清康熙年间。道光十五年（1835），广东水师提督关天培将其扩建，称其为威远炮台。威远炮台与靖远、镇远炮台互为犄角，形成“品”字之势，并与横档、永安、巩固等炮台同属于虎门要塞三重防线的第二重。
在1841年2月的虎门之战中，潮州镇总兵李廷钰率守军在威远炮台迎战英国舰队。在关天培殉国，靖远炮台陷落后，英军调转炮位全力攻打威远炮台，致使李廷钰部因弹尽粮绝伤亡惨重，被迫撤退。
虎门之战后，威远炮台被英军破坏。道光二十三年（1843）威远炮台重建，但在第二次鸦片战争中的咸丰六年（1856）10月再次被英军摧毁，直到光绪八年（1882）由两广总督张树声奏准再次重建。