沈万山的繁荣转向衰落。

沈万三那么有钱，连朱元璋都嫉妒；然而，在遭受朱明王朝的三次沉重打击后，它迅速衰落了。第一次进攻是在明朝洪武六年(公元1373年)左右。据《周庄镇志》、《明史》。洪武时，富民的沈秀哲帮助修建了三分之一的都城，并要求皇帝臣服于军队。皇帝忍日:凡夫臣服，天下之军也乱，罚之宜也。谏日之后，不祥之人天罚，陛下不罚！是石秀，住在云南。

除了沈万三被流放到云南，他的二女婿于世社也被流放到潮州。在此之前，沈万三修建了洪武门至水西门的城墙。他还用龙角出资，献白金2000锭，黄金200斤，甲土10人。十车马，建筑南京走廊，餐厅等等。这一打击不仅让沈阳失去了沈万三的头颅；而且富裕程度也减少了一大半，可谓人财两空。而且当时沈万三被抓的时候，周庄镇有很多株连，据说周庄的居民都被惩罚了。幸运的是，镇上的人徐岷没有躲过斧头，所以他去了首都:只有这样他才拯救了整个周庄镇。第二次打击是在明洪武十九年(公元1386年)，洪武十九年春，哥哥去做家仆，所以我去秋官的时候，伯希也在京城给了罪，他适合和哥哥一起坐牢(《周庄镇志》卷三。墓)。这一次，沈万三的儿子的两个儿子和沈庄(伯)又因田赋入狱。那一年伯·Xi死在狱中，后来葬在周庄邢村。这样，沈阳的传承就从根本上动摇了。

第三次进攻是在洪武三十一年(公元1398)。饰演的文雪与蓝玉合谋抓捕颜洵，杀了他的妻女，杀了72个家庭。三十一年二月，遭呼兰党责难，连三千玄孙德全六人，顾家在同日(《周庄镇志》卷六杂注)。这次，沈万三的女婿顾，一家六口和沈家近八十口人全部被杀，他们的田地也被没收。沈万三苦心经营的庞大家族企业急剧衰落。沈万三的家在周庄，那栋破旧的房子还在，不怎么气派。沈家三次遭受如此沉重的打击，只有家破人亡。

就这样，被称为江南首富的周庄沈万三由盛而衰，但毕竟是一个值得研究和借鉴的人物，他在周庄的遗迹也深受中外游客和专家学者的兴趣。