Edifício medieval que terá sofrido algumas transformações arquitetónicas realizadas pelos engenheiros militares, durante os séculos XVII e XVIII.

A Casa dos Condes é de arquitetura simples; a singularidade deste edifício deve-se à escadaria de duplo acesso que interrompe a via pública. No interior existe um pequeno pátio onde também se pode observar um belo poço.

Antiga residência dos Condes de Alcoutim este edifício foi remodelado em 1997/8 pela autarquia e instalado no seu interior a biblioteca municipal e a sala de exposições temporárias.