I februari 1884 började arbetena på Kindsbanan trots alla motigheter, som hade föregått. Som entreprenör antogs först civilingenjören Jonas Vessel, vilken hade avsett att påbörja arbetena redan i december året innan. Genom att han drabbades av sjukdom, tvingades han överlåta entreprenaden till den ryktbare järnvägsbyggaren greve Fredrik Arvidsson Posse. Denne hade helt nyligen avslutat arbetena på järnvägen Gävle-Ockelbo. Ofta hade byggnadsentreprenörerna "egna" lag, som följde med från bygge till bygge. Så var också fallet med Posse. Med honom följde t.ex. schaktmästare Axel Jansson, senare stins vid Roppered, stationsingenjören Johan Jansson, blivande trafikchef vid Kindsbanan, och rälsläggarbasen Johan August Brundin. Från samma banbygge kom också bolagets kontrollant, ingenjör J. Danielsson.
Det var vanligt att den första personaluppsättningen vid en bana i järnvägens barndom rekryterades från dem, som byggde banan. Man hade ingen annan möjlighet att få utbildad järnvägspersonal. Statens kontrollant för bygget var chefen för västra väg- och vattenbyggnadsdistriktet, major E. G. A. Atterbom. Danielsson kom att göra bolaget stora tjänster. Det var bl. a. han som stakade om banan mellan Borås och Buttorp, varvid den kom att sträckas genom Kovradalen. Besparingen, som blev en följd härav, uppgick till 490.000 kronor, en nödvändig åtgärd med hänsyn till det begränsade statslånet.

En hästvandring som lyfter upp stenblocken och till vänster järnvägsspåret mot Svenljunga och i vänstra bildkanten Alvestabanans banvall som ännu inte kommit fram till brofästet. Under denna tid man byggde viadukten så var järnvägstrafiken på Kindsbanan i trafik under bygget
En annan förändring av den ursprungliga planen gjordes på sträckan Borås-Kråkered. Från början skulle banan haft gemensam sträckning från Borås med Varbergsbanan, för att sedan fortsätta över Viskan förbi Gässlösa till Kråkered. I stället ändrades den till att gå i nuvarande Spårgatan för att få en sydlig riktning mellan nuvarande stadsdelarna Hedvigsborg och Dammsvedjan förbi Transåssjöarna. Under Posses erfarna ledning tog arbetena fart redan från början. I februari arbetade 193 man på banan, men redan i mars hade arbetsstyrkan ökat till 566 man. I april var antalet 803, i maj 937 och i juni hade, den nått sitt maximum 1.042 man. Avsikten var att genom en stor arbetsinsats under sommarhalvåret hinna med så stor del av jordarbetena som möjligt. Redan i november kunde därför major Atterbom konstatera: "att alla terrasseringsarbeten äro i det närmaste fullbordade, ej mindre för själva banan än äfven för vägöfvergångar, väganläggningar, stationsvägar och planering af stationsområdena ..."
Vidare hade man lagt grunden till alla byggnader och stationshusen var redan under tak. Slutligen hade man också hunnit lägga ut skenor på hela sträckan Borås -Roppered, 15 km. Det var på denna sträcka banan passerade den djupa dalgång, i vilken Kovrabäcken rinner. Här krävdes mycket stora arbeten. Det gällde att bygga en väldig bank för att komma över till själva Kovraberget, där banan placerades på en utsprängd klipphylla. Innan man nådde fram till själva bäckravinen, måste ett bergmassiv genomsprängas. Sprängmassorna kom väl till pass som fyllnadsmaterial. I sitt färdiga skick blev banken cirka 30 meter lång och ungefär 15 meter hög. Arbetena på Kindsbanan började just här på "'Kovrabankar" i februari och var avslutade den 14 juni.