Até o século XIX, as atuais terras compreendidas nos limites do município de Carmo eram caracterizadas pela presença marcante da Mata Atlântica original e pertenciam a uma sesmaria existente no município de Cantagalo. Por volta de 1832, iniciou-se o povoamento da região através de colonos vindos do norte-fluminense, subindo o rio Paraíba do Sul, dentro do contexto do ciclo econômico do café.
Foi então promovida a derrubada da floresta no local, construindo ali a primeira igreja matriz em homenagem à Nossa Senhora do Carmo, surgindo assim o Arraial de Samambaia, que depois veio a se chamar Arraial de Cantagalo.
Com o desenvolvimento da região, o arraial tornou-se a freguesia de Nossa Senhora do Monte do Carmo, ganhando o nome de Vila do Carmo de Cantagalo. Em 16 de agosto de 1877, é inaugurada a nova matriz da vila, cujos trabalhos de construção tinham se iniciado em 16 de julho de 1863 e que só foram concluídos em 1876.
A emancipação política da vila só foi ocorrer através do Decreto Provincial nº 2.577 de 13 de outubro de 1881 e, finalmente, Carmo torna-se cidade no ano de 1889.
Em 1921, a Light obtém uma concessão para explorar o potencial hidráulico do rio Paraíba do Sul, na Ilha dos Pombos.
O desenho atual da cidade foi planejado e dispõe de uma aprazível praça.
Além da sede, possui outros dois distritos: Córrego da Prata e Porto Velho do Cunha. Porém possui outras localidades importantes, tais como Influência, Ilha dos Pombos, Aurora, Santo Antônio do Quilombo, Barra do São Francisco, Bacelar e Paquequer.
Carmo tem como uma de suas principais atrações a Igreja Matriz de Nossa Senhora do Carmo, construída em 1876 e que foi tombada como patrimônio histórico nacional pelo Instituto do Patrimônio Histórico e Artístico Nacional – IPHAN em 1964.
Praça do Carmo