Em 1984, a Secretaria Regional da Educação e Cultura, adquire o atual edifício para nele ser instalada a Casa Etnográfica que em 1991 é inaugurada com a designação de Museu de S. Jorge.
O edifício data de 1811 e foi mandado construir a Norte do então existente forte de São João Batista ou da Ponta do Açougue, (de que já não se encontram vestígios), pelo Beneficiado e Ouvidor Padre Francisco de Azevedo Machado Neto, descendente do Capitão-mor Gaspar Nunes Neto, natural da freguesia da Ribeira Seca para aí fazer a sua habitação, soalheira e fronteira ao mar.
Conta, porém, a lenda que nos rés-do-chãos há um compartimento onde os antigos proprietários executavam quem lhes desagradasse. Uma das paredes é irregular, com grandes pedras à vista porque um dos executados, na última agonia, ali encostou a mão ensanguentada deixando marcas que a cal não conseguiu cobrir.