Edifício de dois pisos de linhas austeras. Foi construído no século XVIII pelo Conde de Vimioso, D. Francisco Paula Portugal, em terrenos do Convento de São José de Ribamar.

O Palácio teve vários proprietários, os Condes do Lumiar, os Marqueses de Valença, o Conde Cabral, que o comprou em 1872 e o doou ao Conde Foz.

Entre 1920 e 1928 foi utilizado como casino. Mais tarde as suas instalações albergaram uma escola secundária. Em 1962 o imóvel foi adquirido pela CMO, recuperado e adaptado a outras funções: biblioteca municipal, galeria municipal e escola de dança.