Då tillverkningen tog sin början i Rydboholm 1836, bestod fabriksanläggningarna av en väveribyggnad av trä i två våningar (80 x 22,5 alnar), som upptogs av en stor sal i vardera våningen. Mitt på väveribyggnadens ena långsida fanns ett skjul utbyggt för vattenhjulet som drev fabriken. Vid väveriets södra gavel var ett ångkokningshus i resvirke uppfört, för uppvärmning av lokalerna vintertid. Tio alnar söder om väveribyggnaden byggdes en envåningsbyggnad för blekning och appretering. Denna byggnad (63x10 alnar) var också försedd med ett skjul för vattenhjul. Byggnaderna uppfördes av timmermän från Ale, s.k. Aleknottar.
År 1837 var 144 vävstolar i verksamhet och ca 130 personer var anställda vid fabriken. Produktionen var främst inriktad på finare bomullsvävnader som cambric och sherting. Arbetsförhållandena var svåra under vintertid p.g.a. bristfällig uppvärmning. Man hade också svårt att behålla personalen, som ofta avvek från arbetet. År 1838 uppges 51 av de 74 väverskorna och samtliga 24 barn som arbetade vid fabriken ha kommit från den närmaste trakten. Dessa personer var troligen inte vana vid den typ av disåplin som var nödvändig vid fabriksarbete. Då många av arbetarna till en början hade lång väg att gå till fabriken och arbetstiden var lång, troligen ca 11 timmar, var det ordnat med mathållning för de anställda. Mellan 1841-43 uppfördes en ny väveribyggnad på Viskans nordvästra sida och gasbelysning leddes in. År 1845 tillkom en färgeribyggnad. De anställdas antal uppgick nu till ca 300 och omkring 300 vävstolar var i drift. Under 1845 började fabriken också tillverka mollskinn, som efterhand skulle bli en av dess huvudprodukter. Väveri- och färgeribyggnaden drabbades 1847 av eldsvåda och ersattes 1848 av en ny fabriksbyggnad i gråsten, uppförd enligt shedsystemet d.v.s. med sågtandsliknande tak. Den var då en av de första i Sverige av denna byggnadstyp, som hade utvecklats i Storbritannien. År 1852 flyttades vävningen från Rydboholm till Skrapered, något längre ned för Viskan, där vattentillgången var rikligare. I Rydboholm koncentrerades således produktionen till de senare leden i tillverkningen: blekning, färgning och appretur.