Torget har en kort och relativt anonym del i stadens historia eftersom torget bara fanns i 80 år. Lilla Torget kallades ibland för trätorget, vilket avslöjar vad som såldes här. År 1893 hade Södra Torget inte sett dagens ljus och handeln pågick ännu på Lilla Torget. Bilden är fotograferad år 1891 och torget skapades i samband med att Borås stadsplanerades efter 1822-års stadsbrand. Det nya rådhuset i Borås fick från år 1831 en placering på Stora Torget som innebar en ny torgyta mellan Rådhuset och Västerlånggatan. Namnet på det nya torget blev alltså Lilla Torget och i folkmun fick torget namnet ”Trätorget” och troligtvis såldes det trävaror som möbler och hemslöjd. När Södra Torget skapades år 1895 så flyttade man över denna handel dit och Lilla Torget försvann i samband med att Rådhuset revs år 1911. I ungefär 4 års tid införlivades Lilla Torget med Stora Torget och sedan byggde Borås Enskilda Bank på den plats som Lilla Torget hade haft i 80 år. Borås Enskilda Bank uppgick senare i Svenska Handelsbanken. År 1914 började bygget av det stora bankhuset.
Kvarteren vid Stora Torget har alltid haft stadens högsta tomtvärden. I den likartade träbebyggelsen som uppfördes i Borås efter stadsbranden år 1827 markerades invånarnas status främst genom att de hade sin bostad vid eller i omedelbar närhet till Stora Torget. Det flesta hus var byggda i ”Karl-Johanstil” och det gamla Rådhuset från 1831 var det förnämligaste byggnadsverket vid Stora Torget, byggnaden stod på själva torget och var ett stenhus byggd med så kallad stöphusteknik och tillsammans med Hans Nellsons stenhus på den motsatta sidan av torget där nuvarande Rådhuset står, var det de två byggnaderna stadens enda hus i två våningar.
Efter år 1857 så tilläts trähus i två våningar samt inredd vind. Vid Stora Torget tillkom det några nya byggnader och den äldre träbebyggelsen från 1830- och 40-talen dominerade ända fram till år 1900.