In 1593 had prins Maurits al de suggestie gedaan om een fort te bouwen aan de ingang van de haven. Volgens hem was dat een strategisch geschikte plaats. In 1624 kreeg de drossaard van Steenbergen van Prins Maurits een brief waarin hij schreef dat het noodzakelijk was dat Steenbergen een vesting bleef. Steenbergen zou een behoorlijke geldelijke bijdragen moeten leveren aan de bouw van de vesting.
Het werd grondig aangepakt omdat de Spanjaarden in 1625 Breda wederom hadden ingenomen. David van Orliëns maakte het ontwerp. Het definitieve besluit werd op 17 april 1626 genomen door de Raad van State en Prins van Oranje. Jacob Vleugels was bij de bouw van het fort betrokken. Hij was woonachtig in Steenbergen en was vestingbouwkundig ingenieur. Het werd een vijfhoekig fort met aan de oostkant een hoornwerk. Het hoornwerk werd met drie kleine bastions verbonden aan de noordzijde van de stad Steenbergen. Begin 1627 meldde David van Orliëns dat het fort gereed was. Het fort kreeg de officiële naam: Fort Henricus, genoemd naar graaf Hendrik III van Nassau. Het fort was tot einde 80-jarige oorlog in gebruik. Daarna werd het gebruikt als er een dreiging was. In 1809 is het fort voor het laatst in paraatheid gebracht in verband met een mogelijke Britse invasie in Zeeland. In 1827 werd het terrein aan een particulier verkocht ten behoeve van de landbouw. In 2008 ontstonden er plannen voor een grondige restauratie en in 2017 werd met subsidie van de Vereniging tot behoud van Natuurmonumenten in Nederland i.s.m. de Stichting Menno van Coehoorn en de vrienden van de West‑Brabantse Waterlinie, het fort opgeknapt. Jammer dat het fort grote afwijkingen heeft van wat uit de historische gegevens bekend is. Beklim de uitkijktoren ‘De Liniekijker’ en geniet van het uitzicht over de polders van West- Brabant.
