For at forsvare Marstrand belsuttede Carl X Gustav at bygge en fästning på øens højeste top.
Først byggede man et firkantet tårn med murer rundt en lille borggård.
Omkring 1680 blev fæstningen forstærket, idet tårnet blev gjort rundt som forhøjedes. De omgivne mure forhøjedes også.
I begyndelsen af 170-tallet var voldene omrking den store borggård færdige.I 1860 var fæstningen færdigbygget.
Siden 1937 har fæstningen været åben for besøgende, samt fungerer som kursuslokaler for det svenske forsvar.
Tordenskjold har gjort fæstningen kendt gennem sin erobring i 1719, hvor det lykkedes ham at erobre fæstningen ved list.
Gennem mange år blev fæstningen brugt som fængsel. I 1840 blev der indrettet 3 forsøgsceller, hvor fanger var indespærret uden kontakt til andre end præsten, som besøgte dem en enkelt gang om året.
