Op 14 december 1861 stierf prins Albert, op 42-jarige leeftijd, in Windsor Castle plots aan buiktyfus. Zijn dood was waarschijnlijk het gevolg van de primitieve sanitaire omstandigheden in Windsor Castle. Zijn dood was een verwoestende slag voor koningin Victoria, die nog steeds zeer aangeslagen was door de dood van haar moeder eerder dat jaar. Ze nam een lange periode van rouw in acht en droeg voor de rest van haar leven zwarte kleding. Ze vermeed openbare optredens en was nog zelden te zien in Londen. Door haar afzondering kreeg ze de bijnaam ‘de weduwe van Windsor’. Ze verweet haar zoon Eduard, de prins van Wales, zijn vaders dood. Het nieuws van Eduards slechte gedrag was in november 1861 zijn vader ter ore gekomen, waardoor die naar Cambridge gegaan was om een bezoek te brengen aan zijn zoon.
Het door Victoria zelf opgelegde isolement verminderde sterk de populariteit van de monarchie en moedigde zelfs de groei aan van de republikeinse beweging. Hoewel ze wel haar officiële taken uitvoerde, verkoos Victoria, tot toenemende ergernis van haar ministers, teruggetrokken te blijven leven in haar koninklijke residenties, Balmoral Castle in Schotland, Osborne House op het Isle of Wight en Windsor Castle. Niettemin bleef ze binnen haar Huis onbetwist diegene die de leiding had. Ze bemoeide zich intensief met de partnerkeuze van haar kinderen en zelfs kleinkinderen. Veel potentiële kandidaten werden gewogen en te licht gevonden. Haar kleinkinderen Victoria Melita van Saksen-Coburg en Gotha en Ernst Lodewijk van Hessen en aan de Rijn zagen zich door de oude vorstin gedwongen met elkaar een – ongelukkig – huwelijk aan te gaan. De overlevering wil dat zij haar dochters op de eerste huwelijksnacht placht voor te bereiden met de woorden:
‘Close your eyes and think of England’
Naarmate de tijd voorbij ging, begon koningin Victoria zich steeds meer te hechten aan een knecht uit Schotland, John Brown. Geruchten over een romantische verbintenis en zelfs een geheim huwelijk hebben in het verleden vaak stof doen opwaaien. Aan beide mogelijkheden wordt echter sterk getwijfeld. Op Victoria’s verzoek werden bij haar stoffelijk overschot in de kist twee sets herinneringen gelegd: aan haar rechterkant een kledingstuk van Albert en aan haar linkerkant een foto van Brown en een stuk van zijn haar.