I årene derefter blev fortet udvidet og ombygget til den form den har i dag.
Allerede i Christian IV, tid blev der i 1643 bygget et hus på øen. Den strategiske beliggenhed gør det muligt at spærre for indsejlingen til Oslofjorden.

Oscarsborg er opført efter det Monttalembertske befæstningssystem. Den franske general og militæringeniør Marquis Marc-René de Montalembert (1714-1800) fornyedebefæstningskunsten på 1700- og 1800-tallet. Han mente at de stjerneformede festningsanlæg havde udspillet deres rolle. De var for defensive. Nu skulle der bygges lodrette mure med skydeskår og kanonporte i flere etager. Se også Karlsborg.

Da fortet stod færdig i 1856 blev Oscarsborg anset som et af Nordeuropas mest moderne forter. Den tekniske udvikling med udvikling af det riflede skyts gik imidlertid hurtigt og allerede i 1864 var fortet forældet. Det oprindelige anlæg var beregnet til forsvar mod angreb fra søsiden, mens der ikke var forsvar mod landsiden.

Omkring 1890 gennemgik Oscarsborg derfor en modernisering hvor et nyt hovedbatteri blev opført og forsynet med 3 stk. 28 cm kanoner Ved losningen faldt den ene kanon i vandet og den blev derfor døbt Moses, mens de andre fik navnene Moses, Aron og Josva. For at supplere fortet blev der i 1901 opført et torpedobatteri . Dette batteri skulle 40 år senere få en afgørende betydning under den tyske besættelse af Norge.

Fortet er mest kendt for begivenhederne der fandt sted d. 9. april 1940, hvor de 50 år gamle kanoner sænkede den tyske krydser Blücher, der var på vej ind gennem fjorden på vej mod Oslo for at tage kongen og regeringen til fange.

Det lykkedes ikke, idet Oscarsborg åbnede ild med de gamle kanoner fra. Der var kun mandskab til at betjene de 2 af kanonerne, men Blücher blev ramt af flere granater fra fortet og skibets bro samt et benzinlager på dækket blev ramt og en voldsom brand brød ud . Branden bredte sig hurtigt til hele skibet, der ikke stod til at redde. Langsomt drev skibet længere ind i Oslofjorden og med 2 torpedoer fra torpedobatteriet på Oscarsborg, blev skibet sænket. Af en besætning på1600 mand og 800 soldater omkom ca. 1000 .

Forsinkelsen gjorde det muligt at evakuere den norske konge, stortinget samt regeringen
På Oscarsborg er der bevaret kanoner fra flere perioden. På Østra Strandbatteri findes de 4 originale 16,7 cm kanoner, der har stået her siden 1878. Hovedbatteriet indeholder de 3 store - tyske producerede kanoner - som var med til at sænke den tyske krydser Blücher.

Efter anden verdenskrig blev Oscarsborgs betydning mindre og mindre og fortet blev nedlagt i januar 1993. Fortet er nu blevet åbnet for arrangerede rundvisninger. Ligeledes er der etableret et museum, som viser fortets betydning gennem årene.

Turene arrangeres af turistkontoret i Drøbak