Svenske Villa blev bygget på bestilling af den svenske stat og udstillet i 1888 i København på den store Nordiske Industri-, Landbrugs- og Kunstudstilling som et eksempel på klassisk svensk træbygningskunst.

Den daværende dronning Louise syntes godt om villaen og hun købte den til opførelse i Bernstorffsparken, når udstillingen var færdig.

I Bernstorffsparken lå Bernstorff Slot, der blev bygget i årene 1760-65 af udenrigsminister J. H. E. Bernstorff til sommerbolig til sig selv og hans familie. Siden 1854 – da han blev tronfølger – havde Chr. d. IX brugt slottet som sommerbolig. Det var hans yndlingsopholdssted, der passede til hans enkle vaner, og skønt pladsforholdene var trange, elskede han at samle sin store slægt fra de fleste af Europas kongehuse her om sommeren. Ikke uden grund blev Chr. d. IX kaldt “Europas svigerfar”.

Dronning Louise opførte Svenske Villa som gæstehus. Som sådan fungerede villaen indtil kongens død i 1906, hvor kongeparrets yngste søn, prins Valdemar, overtog Bernstorff Slot som sommerbolig indtil sin død i 1939.

Prins Valdemars og prinsesse Maries fem børn Aage, Axel, Erik, Viggo og Margrethe voksede op i slottets dejlige omgivelser og prins Axel og prinsesse Margaretha er bisat i Bernstorffsparkens nord-vestlige hjørne. Over gravkammeret er der rejst en mindesten.

Efter prins Valdemars død overtog Statens civile Luftværn slottet som befalings- mandsskole. Det anvendtes indtil 2008 af Beredskabsstyrelsen.

Fra 1939 – 85 har Svenske Villa været lejet ud til forskellige formål. Villaen tilhører staten og administreres af Slots- og Ejendomsstyrelsen under Boligministeriet.

Svenske Villa blev – til trods for den allerede dengang dårlige vedligeholdelse – fredet i 1987.

Svenske Villa stod tom fra 1985 til 1995, hvor Svenske Villa i 1995 på privat initiativ blev restaureret og taget i anvendelse som kulturhus.