Император Адриан начал строить его в 135 г. как мавзолей для себя и членов своей семьи. Завершил строительство в 139 г., после смерти Адриана, его преемник Антонин Пий. Мавзолей был подобен этрусскому тумулусу: на квадратном основании (длина стороны — 84 м) был установлен цилиндр (диаметр — 64 м, высота около 20 м), увенчанный насыпным холмом, а на его вершине скульптурная группа — император в виде Гелиоса, управляющего квадригой. В мавзолее были установлены погребальные урны императоров начиная с Адриана и кончая Септимием Севером. Затем это гигантское сооружение было включено в построенные при Аврелиане стены, окружающие город, и стало использоваться в военных и стратегических целях.

Согласно преданию, в 590 г., во время эпидемии чумы, папа Григорий Великий увидел на вершине крепости архангела Михаила, который вложил меч в ножны, что означало конец бедствия, — отсюда и произошло название замок Святого Ангела. В средние века замок был соединён с Ватиканом пассетто, укрепленным коридором. Римские папы превратили его в настоящую крепость: Климент VII в 1527 г. укрылся в замке, когда войска императора Карла V вторглись в Рим. В осаждённом замке находился в это время и принимал самое деятельное участие в отражении атак Бенвенуто Челлини, скульптор, ювелир, автор известных мемуаров. Несколькими годами позже он был заключён в замке как узник и сумел совершить невозможное — бежал из тюрьмы. За всю историю замка это единственный человек, которому это удалось.