A construção de uma capela, em meados do século XIX, deu origem à colonização das terras compreendidas pelo município de Carmo, quando vários proprietários da região, então pertencente ao município de Cantagalo, mandaram fazer uma derrubada no local onde deveria surgir o Arraial de Samambaia, posteriormente denominado de Arraial do Carmo de Cantagalo.
Distrito criado com a denominação de Nossa Senhora do Monte do Carmo, pela lei provincial nº 369, de 25 de abril de 1840 e pelos decretos 1, de 8 de maio de 1892, e 1-A, de 3 de junho de 1892, subordinado ao município de Cantagalo.
Elevado à categoria de vila, com a denominação de Nossa Senhora do Monte do Carmo, pela lei provincial ou decreto provincial nº 2.577, de 13 de outubro de 1881, foi desmembrado de Cantagalo e Nova Friburgo. Instalado em 26 de fevereiro de 1886, foi elevado à condição de cidade com a denominação de Carmo, por força do decreto estadual nº 8, de 12 de dezembro de 1889. A emancipação política da vila só vai ocorrer em 1881 e, finalmente, Carmo torna-se cidade no ano de 1889. A transformação em cidade trará profundas conseqüências para o traçado dos logradouros da localidade, a qual passou por um planejamento urbano a fim de projetar o seu futuro crescimento.
Em divisão administrativa referente ao ano de 1911, o município é constituído de três distritos: Carmo, Córrego da Prata e Porto Velho do Cunha. Em 1921, a Light obtém uma concessão para explorar do potencial hidráulico do Rio Paraíba do Sul, na Ilha dos Pombos. Carmo possui uma área em torno de 320 km². Sua população atual é de 17.187 mil habitantes.