A origem do Convento do Carmo, remonta a 1449, quando o sobrinho do Condestável D. Nuno Alvares Pereira, Frei Constantino Pereira deu começo, no Casal da Torre à edificação do cenóbio, num terreno doado àquela Ordem por Mestre Henriques, físico do rei D. Duarte, mas pouco tempo depois do início das obras os monges, ao terem-se apercebido que aquele não era o local indicado para tal construção, abandonaram o inacabado convento e optaram por instalar-se numa outra propriedade que lhes foi concedida por Sebastião Vaz e de sua mulher Inês Esteves, por escritura de 16 de Julho de 1457, atestado pelo tabelião de Sintra Braz Anes.

O novo terreno situava-se no termo da vila de Colares, num local chamado Boca da Mata, e foi exatamente aí que os monges Carmelitas Calçados da Ordem do Carmo construíram um novo convento Eleito, em 1508, Frei João de Santa Ana, deu um impulso significativo às obras em curso. Finalmente, em 1528, o bispo D. Frei Cristóvão Moniz consagrou a igreja conventual. Como aliás, podemos comprovar pela inscrição que consta na base de um cruzeiro no exterior do próprio.

Em 23 de Agosto de 1612, o bispo de Viseu, Leiria e Guarda, D. Dinis de Melo e Castro, obteve o padroado da capela-mor da igreja conventual com o objetivo de assegurar, para si e para os seus herdeiros, um lugar naquele espaço sagrado. Dois anos mais tarde, no dia 30 de Janeiro de 1614, foi a vez de António Rodrigues da Rocha e de sua mulher Leonor Coelho, se constituírem padroeiros da capela de Santa Ana, sendo mais tarde, sepultados na nave. Ainda no mesmo ano, a 7 de Maio, foi sepultada na capela de Santa Luzia, de quem era padroeira, Brites Vaz.

Na primeira metade do século XVII, a estrutura conventual assistiu a uma campanha de obras que reedificou, quase na totalidade, o edifício foi também alvo de obras de beneficiação, sobretudo na capela-mor e nos claustros.

D. Dinis de Melo e Castro foi o principal impulsionador da reforma pós–tridentina de que o Convento foi alvo na primeira metade do século XVII. Havia, pois, que adaptar a igreja a uma nova estética que acompanhasse os novos tempos e a ideologia contrarreformista. Devido às obras então realizadas, o estilo arquitetónico do edifício enquadrar-se-á entre o maneirismo e o estilo-chão. O exterior apresenta-se despojado de qualquer motivo decorativo. A planta do cenóbio dispõe-se em L, ainda que irregular. A igreja, adossada ao edifício conventual, apresenta nave única e capelas laterais profundas. A fachada principal apresenta-se delimitada por pois contrafortes laterais, recortados.

Despojado de qualquer motivo decorativo o portal axial é simples e encimado por três janelões, sendo o do meio maior e rematado com um nicho, com emolduramento entalhado, onde se expõe a imagem de Nossa Senhora do Carmo. A torre sineira apresenta ventanas rasgadas com arcos de volta perfeita e rematada por pináculos. O edifício conventual, a Sul, articula-se numa volumetria irregular, escalonada e articulada em torno de dois claustros.

Em 1834, e na sequência do decreto liberal que determinou a expulsão das ordens religiosas, a propriedade foi adquirida pelo conde do Lavradio e transformada em residência.