Det finnes skäl för antagandet, att Sven Erikson under sin förläggarverksamhet ganska tidigt kommit underfund med denna produktionsforms begränsning och svagheter, såsom ojämn kvalitet hos vävnaderna, tung organisation, svårighet att utöva effektiv kontroll över användningen av utlämnat garn liksom över de färdiga vävnadernas kvalitet och omöjligheten att genom hemvävnad täcka landets hela behov av olika slag bomullsvävnader, då många av dessa ej kunde tillverkas genom hemarbete. Den stora insmugglingen av engelska bomullstyger talade därvid sitt tydliga språk. Att få tillstånd en fabriksmässig tillverkning av bomullstyger efter engelskt mönster hade säkerligen länge lekt honom i hågen, innan han år 1834 tillsammans med två kompanjoner grundade Rydboholms Konstväfveribolag, som satte i gång byggande av ett väveri för tillverkning av olika slags bomullsvävnader vid Rydboholm, beläget ungefär 8 km. söder om Borås. Det var den första anläggningen i sitt slag i Sverige. Platsen hade valts framför allt på grund av möjligheten att där få disponera erforderlig vattenkraft. Driften kunde sättas i gång i dec. 1835 med ett fåtal vävstolar, men antalet ökades ganska raskt och uppgick år 1837 till 148. Antalet anställda synes sistnämnda år ha uppgått till 130. Något färgeri hade fabriken icke, för färgning anlitades under de första tio åren färgeriet i Borås. Fabrikationen inriktades i början främst på tillverkning av kambrik och shirting samt foderlärft. Senare tillkom mollskinn, som länge blev en av fabrikens stora standardvaror.
Från början ägde Sven Erikson 1/3 i företaget, han nödgades efter hand av olika anledningar övertaga kompanjonernas andelar och blev sålunda 1845 ensam ägare av hela fabriken. Rydboholms konstväverifabriker hade stora svårigheter av olika slag att kämpa mot både vid dess första början och under många år framåt. Teknisk personal kunde ej anskaffas inom landet utan måste engageras i England. Engelsmännen, som kom att inneha nyckelposter inom fabrikationen, hade på grund av språkliga och andra skäl svårt att finna sig till rätta i den nya miljön, och samarbetet med dem var långtifrån alltid lätt. Det tog även en avsevärd tid att utbilda en svensk arbetarstam. Vävnadernas kvalitet var under åtskilliga år framåt ganska ojämn, vilket föranledde många klagomål från kunder. Företaget hade också belastats med betydande skulder, då anläggningen visade sig bli långt dyrare än som beräknats. En del tekniska missöden bidrog också till bekymren. Dåliga tider ha ävenledes spelat in. Särskilt kritiskt synes läget för fabriken och Sven Erikson ha varit år 1845, då man på vissa håll synes ha befarat, att företaget skulle nödgas inställa driften. Sven Erikson lyckades emellertid rida ut stormen och bemästra svårigheterna. Detta berodde på hans stora anseende för redbarhet i affärer och hans goda förbindelser, varigenom han hade möjligheter till kredit, samt ej minst den förträffliga försäljningsorganisation som han förfogade över.