Från de allra flesta platser i centrala Borås kan man se Caroli kyrkas bruna, rundade torn. Sin plats, mitt i staden, har den ärvt av minst två föregångare. I ena väggen finns delar av den sandstenskyrka från 1200-talet, Torpa kyrka, som Caroli kyrka ersatte när den stod klar 1669. Vid grävningar och förstärkningsarbeten under kyrkan har man dessutom påträffat en stengrund till vad man tror är en ännu tidigare träkyrka
Det är den 14 juli 1827. Hela Borås står i lågor, bara fem år efter att det inträffade senast. Fem års hårt arbete med att bygga upp sin stad är förgäves. Vid Caroli kyrka pågår en intensiv räddningsinsats. En lång langningskedja skickar vatten från Viskan upp mot kyrkan. Högst uppe på kyrktaket står drängen Andreas Olofsson från Trandared och sliter för att hålla lågorna i schack. Aktionen lyckas relativt väl. Skadorna på kyrkan blir denna gång betydligt mindre än under de tidigare tre bränderna. För sin hjältemodiga insats fick Andreas Olofsson ta emot en silverbägare från ingen mindre än kungen själv. På silverbägaren fanns inskriptionen "Såsom bevis på hans välbehag över hans i olyckans och farans stund ådagalagda oförskräckthet och rask het".

Caroli kyrka med sitt dåvarande pyramidformade torn från ca år 1700. Koppastick av J van der Aveelen.
EFTER ATT BORÅS 1621 fick sina stadsprivilegier växte staden fort. Torpa kyrka, som staden var anlagd kring, var för liten och man behövde få ihop tillräckligt med pengar för att bygga en ny. I Stockholm äskade Borås utsända representanter medel ur tullkassan och på hemmaplan startade en insamling. Det första bidraget donerades av borgmästare Johan Svensson Wijndrufva och han lånade även ut ytterligare medel till församlingen för byggnadsarbetet. 1661 kunde arbetet påbörjas. Åtta år senare var själva kyrkan färdig och nu påbörjades arbetet invändigt. Orgel, altarsats och predikstol kom på plats. Kyrktornet byggdes inte direkt. Från den gamla kyrkans torn togs klockorna ner innan det revs och dessa hängdes i en klockstapel intill den nya kyrkan. Men Borås invånare klagade på att man inte kunde höra kyrkklockorna. Ett torn var helt nödvändigt. De mer förmögna borgarna anmodades att bidra med tio lass sten vardera och de med lite mindre resurser skulle lämna fem.
 

Nuvarande kyrkklockorna i Caroli kyrktorn.
Murarmästare Hans Schmidt påbörjade tornarbetet under hösten 1681. Under lucianatten samma år utbröt den första av Borås fyra stora stadsbränder. Kyrkans stenmurar klarade sig men taket och inredningen förstördes.
FÖR BORÅSARNA var det bara att kavla upp ärmarna och börja bygga upp sin stad igen. Staten bidrog till viss del. Till kyrkans återuppbyggnad togs kollekt upp i andra kyrkor runt om i landet. Kung Karl X I skänkte personligen 500 riksdaler silvermynt och även borgarna i Borås bidrog med ansenliga summor. I samband med kungens donation kom också namnet Caroli kyrka att användas parallellt med det mer allmänna namnet Borås kyrka.