Quando Lagos se tornou a capital do Algarve, foi construído um castelo como residência do governador. Este ficava colado às muralhas da cidade, cujas origens remontam à época romana, e era defendido pelo Forte da Ponta da Bandeira, que se encontra mesmo em frente. Atualmente, apenas uma pequena parte das muralhas e do castelo sobrevivem. As muralhas têm sido restauradas ao longo dos anos e uma passagem entre duas torres de vigia, conhecida como “Porta de São Gonçalo”, é agora uma das entradas para o centro histórico. O que resta do castelo foi transformado em hospital e não se encontra aberto ao público. No entanto, do exterior pode-se admirar uma curiosa janela manuelina. Diz-se que foi desta janela que o rei D. Sebastião fez o seu último comunicado em 1578, antes de se juntar às tropas portuguesas, espanholas, alemãs e holandesas numa desastrosa cruzada ao Norte de África (acabou morto em Alcácer Quibir, em Marrocos). No jardim junto às muralhas encontra-se uma estátua de Gil Eanes, o explorador de Lagos que foi o primeiro europeu a navegar além do Cabo Bojador, um passo importante para a descoberta da rota marítima para o Oriente.