徐渭被后人誉为“明朝三大才子”之一，以博学多才著称。虽然杨、解两位大才子的仕途也颇为坎坷，但相比起徐渭的倒霉人生，杨、解两人不及徐渭的十分之一二。
徐渭的岳父叫潘克敬，是广东阳江典史，一个不入流的佐杂官。他非常欣赏徐渭的才华，不要一分聘礼，把14岁的女儿嫁给20岁的徐渭，于是徐渭也跟随岳父去到岭南。他和潘氏琴瑟和谐，过着美满的日子。然而，上天并不想让徐渭的生活一直平顺下去，他们成婚5年后，潘氏因肺病去世，徐渭只有离开这个伤心地再次回到家乡。此时，他的兄长已经逝世，家产也被人霸占。
活了二十多年，徐渭除了一身才华，还是一无所有。妻子离世，兄长离世，科举无望，徐渭的人生跌入低落，不知该往何方，唯有靠开私塾糊口。
这时，浙闽总督胡宗宪慕名前来请他入府充当自己的幕僚，徐渭多次推辞，皆因当时胡宗宪是严嵩一派系，而徐渭非常讨厌严嵩及其党羽，于是他开出严苛的条件，比如允许他随意衣着、随意来去，没想到，胡宗宪都应承了下来。徐渭见胡宗宪如此诚恳，终于答应入幕府，开始了他一生中最辉煌的五年戎幕生涯。
徐渭早年曾潜心研究兵法，去到胡宗宪的军中后，徐渭建议对倭寇实行剿抚兼行政策及反间计，帮助胡宗宪成功剿灭了倭寇集团。胡宗宪对徐渭非常信任，礼遇有加，还为他购置房产，为他续娶妻子。
然而，徐渭并不开心，他说自己“深以为危”。原因何在？皆因严嵩爬得太高、太嚣张，早就有人看他不顺眼想除掉他了，胡宗宪作为亲严一派，也是烈火烹油。果然，徐渭还没有来得及离开幕府，严嵩就倒台了，胡宗宪也被人诬陷下狱。
于是42岁的徐渭返回家乡绍兴。第二年，礼部尚书李春芳听说徐渭的才名，托人带了60两聘银，邀请他进京担任幕僚。徐渭进京后，发现李春芳和胡宗宪不同，李春芳可没有容人之量，对于徐渭不羁的行为，他极为不喜。而徐渭同样忍受不了李春芳的霸道，于是辞职回老家。哪知好面子的李春芳认为徐渭是对他不尊敬，于是派人到绍兴威胁徐渭回京。倒霉的徐渭只好变卖家产凑了60两银子还给李春芳，以图花钱消灾。可李春芳并不是在乎银子而是面子。当李春芳再次要求他进京时，徐渭不得不返回京中。
好在在友人的调停下，徐渭终于得以脱身。然而，此时的徐渭身心备受折磨，当他听到胡宗宪在狱中自杀身亡的消息时，他终于也崩溃了。徐渭想到了自戕，他先用斧子劈头，血流满面，未死。再用铁钉贯入耳中，鲜血狂喷，还未死。又用锥子敲击肾囊，剧痛难忍，还死不了。他一共自杀九次，都未能死去。
死不了的徐渭长期饱受精神上的折磨，因此也患上了严重的癔症，他总是产生各种各样的幻想，进而开始痛苦地自我摧残。他又怀疑妻子出轨，将她杀死了，结果，徐渭被下狱并准备处死。在同乡好友张元忭、诸大绶营救，徐渭免于一死，后来又得以减刑。在狱中，徐渭反而自得其乐，当被允许解除枷锁后，他写下了《前破械赋》和《后破械赋》，他还作画，狱中无颜料，遂泼墨为之。
在狱中坐了几年牢，恰逢万历皇帝即位大赦天下，徐渭被赦出狱，此时，他已经53岁了。出狱之后，徐渭更加肆无忌惮，随心所欲地过日子。没钱时作画度日，手头稍宽裕便不肯再作。虽然他的生活时常陷入贫困，时常有人慕名而来，高价求他的字画，但是徐渭完全是看心情而作，一点也不在乎自己吃了上顿没下顿。
他与儿子们的关系很恶劣，常年处于独居状态，他的疯病还时不时发作，但他狷傲愈甚。就在这样病困交加中他苟延残喘十多年。直到1593年，徐渭终于走完他的一生，终年73岁。
天才的另一面是狂傲，狂傲的另一面是苦难。徐渭一生都在磨难中渡过，然而他的艺术成就却极大，或许，这是上帝给徐渭关上了一扇门，却给他留下了几扇窗，终使得他人生不幸艺术幸。
