I 1654 års ansökan hade Johan beskrivits som "skicklig och försiktig". Detta skulle visa sig vara en felbedömning. Johan Wijndrufs eftermäle har blivit mycket mörkt. Klart är att han var en energisk man. Som hos fadern fanns en strävan att slå vakt om Borås intressen genom att "ligga bra till" hos de makthavande i Stockholm. Bland annat skall antagligen hans besök vid 1672 års riksdag ses i detta ljus. Efter ungefär 15 år vid makten började vissa negativa karaktärsdrag bli synliga hos Johan Wijndruf. Genomgående blir ett häftigt och okontrollerat temperament. I slutet av 1672 klagades det i riksdagens borgarstånd på att han betett sig oförskämt mot några kungliga kommissionärer. Vid samma tid retade han också upp göteborgarna genom att i en diskussion angripa dem för att använda en bedräglig skäpperäkning i sin handel - "ett sacramentske skinneri" enligt Borås borgmästare. Även inom staden blev Johan Wijndruf allt oroligare. Hans konflikt med sin tidigare förtrogne, stadsläkaren Mikael Freischmidt är symptomatisk. 1674 hade en av borgmästarens pigor stulit en guldkedja, diverse textilier m.m. och dolt tjuvgodset i Freischmidts hus. Wijndruf antastade nu denne på stadskällaren och på stadens torg och beskyllde honom för delaktighet i stölden. Vid ett tillfälle attackerade han stadsläkaren utanför det borgmästarens hus vid torget där Freischmidt hade hyrt in sig. "Packa dig ut. Jag vill intet hava Eder längre i mina hus. Jag vill hava annat folk där och inte sådana tjuvar och skälmar, som du är." Freischmidt svarade: "Låt mig vara i fred. Det är tids nog att kalla mig tjuv, när jag blivit överbevisad." Men Wijndruf fortsatte: "En tjuv är du!" och bad honom se på den stolpe vid torget, kåken, där förbrytare brukade piskas och hotade att den påstådde hälaren skulle få löpa gatlopp.
Vid ytterligare ett tillfälle hotade han Freischmidt med galgen men fick svaret: "Vi få se, vilken som skall hänga av oss båda." Vid ett annat tillfälle gav borgmästaren sin antagonist en örfil. Vid en följande rättegång dömdes pigan och Freischmidts hustru till döden för tjuvnaden och Freischmidt själv ålades att fria sig med s.k. tolvmannaed. Det innebar att han måste få tolv andra borgare att intyga att han var så pålitlig att han inte gärna kunde vara skyldig. Den anklagade vägrade dock edgången eftersom Wijndruf tvärt emot all dåtida juridisk praxis lät sina söner och sin svåger vittna. Freischmidt fängslades. I arresten behandlades han illa, fick dålig mat och nekades köpa dricka. Borgmästaren var högst inblandad i fängslandet och lät bl.a. under förolämpande former undersöka om Freischmidt hade bojorna ordentligt på sig.