A construção do Castelo de Alcoutim iniciou-se no reinado de D. Dinis, no século XIV, para defender a fronteira e controlar o comércio no rio Guadiana.

No século XVI foi aberta a porta ogival do lado do rio e construídos diversos edifícios adoçados à muralha Norte. Na segunda metade do século XVII e século XVIII, os engenheiros militares construíram neste castelo uma plataforma para albergar uma bateria para sete canhões apontados para a povoação de Sanlúcar de Guadiana.

Em 1992/1993 a Câmara Municipal de Alcoutim desenvolveu um projeto de recuperação desta fortaleza, de onde resultou o aparecimento de alguns vestígios arqueológicos: Estes vestígios foram estudados e valorizados com a criação em 2000 do Núcleo Museológico de Arqueologia. Em 2005 o paiol recebeu a exposição Jogos Intemporais – Exposição de Tabuleiros e Pedras de Jogos do Castelo Velho de Alcoutim.