Ao contrário de muitos outros palácios e residências nobres que a vila de Sintra viu crescer durante o período da Renascença, o Paço dos Ribafrias não resultou da fortuna de nenhuma grande família. Pelo contrário, o seu promotor, Gaspar Gonçalves, provinha mesmo de origens humildes. Contudo e por merecer a confiança da Casa Real, detinha uma apreciável fortuna pessoal que se avolumou com o passar do tempo.

O facto de estar ligado diretamente à Casa Real – nomeadamente ao próprio Rei – permitiu-lhe uma significativa ascensão social e consequente riqueza pessoal. O seu irmão, Diogo Gonçalves, desempenhava funções de Almoxarife do Paço Real. Este facto revela-se importante na análise do desenvolvimento da carreira pública de Gaspar Gonçalves, uma vez que foi no mesmo Paço que esta teve início ao serviço de D. Manuel I.

Em 1518, o monarca concedeu-lhe o importante cargo de Porteiro-Mor da Câmara Real. Este facto, por si só, não teria muita importância para o monumento em causa, não fosse o caso do Rei passar largas temporadas em Sintra. Damião de Góis, cronista real, numa das suas obras, corrobora esta informação quando diz que a corte se deslocava de Évora para Sintra “por causa das calmas”, e por ali ser um dos lugares mais frescos da Europa e agradável sítio para qualquer Príncipe; ou seja, o Rei e a sua Corte passavam grandes temporadas em Sintra. Gaspar Gonçalves, na sequência das novas funções que desempenhava junto do Rei, mandou erguer – na década de 1530 – a sua casa próxima do Palácio Real na vila de Sintra, já que ele próprio também teria que passar muito do seu tempo naquela vila.

Apesar da escassa informação relativa à construção do palácio, admite-se que Gaspar Gonçalves tenha encomendado a obra ao arquiteto e mestre de obras Pêro Pexão. Um dos capitéis que coroa uma das colunas do átrio abobadado da entrada tem a seguinte inscrição: «Esta obra fez Pêro Pexão no anno de myl e Quinhêtos XXXIIII annos».

O edifício divide-se em vários registos escalonados, e acompanhando o acidentado relevo da serra de Sintra, sendo as suas coberturas de 2, 3 e 4 águas. A fachada do palácio, de claro vinco renascentista, ostenta uma frontaria bastante austera, desprovida de elementos decorativos. A entrada para o interior do edifício é feita por um portão elaborado a partir de uma grossa cantaria chanfrada e rematada superiormente por uma coroa de arcos intercetados. Ainda na fachada principal distribuem-se ordenadamente - para além de uma janela marcadamente manuelina que encima o portal principal -, para a esquerda e para a direita janelas pombalinas, fruto das intervenções que a estrutura sofreu já no século XVIII. As influências da renascença italiana aliadas ao gótico final, sob o signo do manuelino, articulam-se para unir os três volumes paralelepipédicos dispostos em forma de U e permitem ao conjunto um resultado harmonioso de rara beleza estética por estas paragens sintrenses.

Um dos exemplos da união entre as duas correntes artísticas - gótico e renascimento - que acabamos de referir é o extraordinário átrio abobadado, para o qual se acede a partir do portal principal. A abobada assenta num complexo jogo de arcos e nervuras, que se organizam a partir de vários locais da estrutura, e que lhe servem de sustentação. As pedras de fecho das nervuras da abobada apresentam decorações inspiradas em programas claramente góticos como elementos fitomórficos ou simbologia associada ao cristianismo. A abobada abre-se para o pátio seguinte através de dois arcos de volta perfeita - constituídos por uma coluna e duas pilastras adossadas às paredes laterais. Os capitéis de origem italianizante - de significativa qualidade plástica, diga-se, apresentam volutas e carrancas na sua ornamentação, tendo o central a referida inscrição com indicação referente a Pêro Pexão que supracitamos. Ainda nos espaços arquitetados entre os pátios de ligação podemos encontrar um outro átrio, igualmente com abóbadas nervadas, que neste caso dá acesso direto à grande loggia. Neste pátio encontramos também uma magnifica estrutura baldaquinada, apoiada numa parede integralmente revestida com azulejos mudéjares e um tanque renascentista, com dois baixos relevos representando a cabeça de dois elementos antropomórficos. As gramáticas góticas e renascentistas harmonizam-se com a envolvente decoração vegetal que emprestam ao conjunto uma voluptuosidade cénica impar.

Em 1541, a Coroa institui o morgadio de Ribafria. O Rei D. João III concedeu a Gaspar Gonçalves carta de brasão e o título de Senhor de Ribafria - título nobiliárquico de grande significado sobretudo para quem descendia de modestas famílias. É também a partir desta data que o novo nobre inicia as obras da Torre dos Ribafria. Num vale junto ao sopé da serra, local onde certamente nenhuma torre teria alguma serventia, nasceu assim um novo palácio que serviria de sede à nova casa dos Ribafria. Em 1569, Gaspar Gonçalves, acabou por receber, já durante o reinado do Rei D. Sebastião, o cargo de Alcaide-mor de Sintra. Esta importante função, de grande responsabilidade, foi desempenhada durante várias gerações por membros da sua família.

Até ao século XVIII o palácio permaneceu nas mãos dos seus familiares. O seu filho André Gonçalves contraiu matrimónio com uma nobre donzela da casa Albuquerque. Habitaram o Paço dos Ribafrias e ali viram nascer o seu descendente André de Albuquerque Ribafria que, infelizmente, viria a falecer como militar no cerco de Elvas durante a Guerra da Restauração.

Século XVIII, concretamente em 1727, o sucessor, Pedro de Saldanha Castro Ribafria vendeu a propriedade a Paulo de Carvalho Ataíde, religioso pertencente à Santa Igreja Patriarcal, que por sua vez a legou ao seu sobrinho Sebastião José de Carvalho e Melo, Conde de Oeiras e Marquês de Pombal, que desempenhou funções de ministro no reinado de D. José I e principal responsável pela reconstrução da cidade de Lisboa após a tragédia do megaterramoto de 1 de Novembro de 1755. No tempo do marquês o paço sofreu obras de beneficiação e modernização. Novos elementos foram introduzidos à estrutura quinhentista, sobretudo ao nível dos exteriores, como por exemplo janelas de guilhotina.

No século XX, no ano de 1924, temos notícia do paço ter passado para as mãos do Capitão Alfredo da Silva. Porém, não houve alterações significativas à sua estrutura. Atualmente o Paço dos Ribafrias é pertença de um particular que é responsável pelo seu estado de conservação e preservação.