Em 1894, Joaquim e Vicente Coimbra, exploradores oriundos de Grão Mogol, à procura de pedras preciosas, fixam-se na região e constroem uma capela em homenagem a São José. Ao redor da mesma, surge o povoado, inicialmente denominado São José do Lajedo e também chamado São José dos Coimbras, em referência a seus fundadores. O povoado se desenvolve a partir da agricultura e da descoberta de lavras de pedras preciosas e, em 1911, passa a distrito de Araçuaí, com a denominação de São José dos Coimbras. Neste mesmo ano, seu nome é alterado para São José de Caraí e, em 1938, passa a chamar-se somente Caraí, nome de origem tupi que significa o "homem branco", o "astuto", o "manhoso" e ainda o "rio do Cará". Posteriormente, é desmembrado do município de Araçuaí e passa a distrito de Novo Cruzeiro. Finalmente, em 1948, se emancipa.