Trots konfektionsindustrins tillväxt inleddes på 1950-talet en minskning av den svenska grundtextila tillverkningen (dvs. färgeri, spinneri och väveri) på grund av en allt starkare importkonkurrens. Anrika företag som Druvefors Väfveri, Dalhems Väfveri och Nordens Textilfabrik lades ned 1956, följt av AB Rory 1958. Tekoindustrins snabba omstrukturering fortsatte även på 1960-talet med nedläggningar av Libo 1961 och Wiskadal 1968 samt stora nedskärningar på bl.a. Svenskt Konstsilke och Saxylle-Kilsund. Flera företag såldes även till utländska ägare och flyttade helt eller delvis ut sin produktion ur landet t.ex. konfektionsföretaget Merkur 1966. Åren 1965-66 var ett speciellt ödesår för industristaden Borås då 48 företag sammanlagt sade upp inte mindre än 2 200 anställda. De gamla fabriksbyggnaderna återanvändes emellertid ofta av småföretag och handel. Speciellt småföretagarverksamheten blomstrade på 1950- och 60-talen och skapande därmed nya arbetstillfällen. Traditionen med småföretag hade grundlagts på 1930- och 40-talen då den kraftiga expansionen inom industrin skapade underlag för en mängd nya företag som utgjordes av bl.a. underleverantörer till textilindustrin, maskinimportörer och grafisk industri. Grundarna av dessa småföretag var ofta tidigare verksamma inom någon av de större industrierna.
Nystartade, mindre verksamheter fanns ofta i källarlokaler i flerbostadshus som utnyttjades för småskalig tillverkning. Behovet av verksamhetslokaler var stort och många av de större flerbostadshus som uppfördes i Borås under perioden 1930-1950 försågs med ändamålsenliga lokaler redan på ritbordet. Med mindre företag som målgrupp uppfördes även ett antal flexibla s.k. industrihus, eller industrihotell i staden under främst 1950-och 60-talet.
Vid inledningen av 1960-talet expanderade emellertid också ett antal textilföretag. De satsade på ny modern teknik och för att kunna hysa nya maskinparker uppfördes nya, volymmässigt mycket stora och rationellt formgivna fabriksbyggnader, exempelvis Wäfveribolagets nya beredningsverk på Ryda (1961) och Fodervävnaders fabrik i kvarteret Kilsund (1962). Dessa nytillskott dominerar idag flera av de äldre fabriksanläggningarna, vars ursprungliga byggnader i några fall revs för att lämna plats åt de nya.
Postorderverksamheten, som hade ökat i takt med att konfektions- och trikåindustrin expanderade, bestod av många företag vars grund bestod i "källarföretag", som drevs inom familjer på fritiden. Omkring 1950 fanns ett hundratal postorderföretag registrerade i Borås. Många av dagens storföretag startade vid denna tidpunkt. Mest kända är Ellos och Halens. På 1960-talet genomled branschen en svår kris då landets detaljhandelsstruktur med ett stort nät av mindre affärer förändrades i samband med att stora varuhus etablerades och gjorde de traditionella postorderföretagens grosshandelsrecept omodernt. Bland annat lades storföretaget Allmänco ned 1969. Ett flertal fusioner genomfördes, exempelvis då Josefssons köpte Marks AB 1965 och när Ellos övertog Wiskadal 1967. Den småskaliga strukturen försvann och en handfull företag, Ellos, Josefssons, Halens, Rowells och Borås Textil blev dominerande. Några av de stora postorderföretagen etablerade sig i det område som senare utvecklades till Knalleland, ett handelscentrum som kom att bli ett av landets större turistmål mellan åren 1970 och 1990.
Borås klarade krisen inom industrin på ett relativt bra sätt genom att många arbetskraftsinvandrare lämnade staden och att ett antal ersättningsindustrier etablerade sig. Nämnas kan verkstadsföretaget Monsun-Tison AB som etablerade sig i Borås Yllekoncerns fabriksbyggnader (nuvarande Viskastrandsgymnasiet), och däcktillverkare Firestone som byggde en ny fabriksanläggning på Sjöbo 1968. Även andra företag valde att bygga nya
anläggningar i stadens ytterområden. Ett exempel är Sandwalls nya bryggeri på Hulta. Så sent som 1972 var textilindustrin fortfarande dominerande bland företag med flest anställda: Algots 2000, Eiser 1400, Borås Wäfveri 800, Erlabolaget 500 etc. Bland övriga stora företag var Firestone 1200, L M Ericsson 550 och Monsun-Tison 290.