La Specola è uno dei simboli più rappresentativi della città di Padova e della sua storia: l'alta torre ricorda infatti la tirannia di Ezzelino III da Romano che nel 1242 aveva edificato un castello con due torri di cui la maggiore, come narrano le cronache del tempo, era il luogo in cui il tiranno teneva rinchiusi e torturava i suoi prigionieri.
I successivi signori di Padova, i Carrara, nel 1374 costruirono un nuovo castello-fortificazione sui resti del vecchio come baluardo difensivo e splendido edificio decorato all'interno e all'esterno.
Il 21 maggio 1761 il Senato della Repubblica di Venezia emanava un decreto con il quale istituiva un osservatorio astronomico all'Università di Padova, da adibire anche a luogo di addestramento dei futuri astronomi.
Nell'archivio storico dell'Osservatorio sono ancora conservati gli antichi registri delle osservazioni astronomiche e la biblioteca.