时间斗转星移，玩了一辈子权术的太皇太后窦氏薨，窦氏家族也随之衰落。武帝决心继续改革，以竟当初未竟之事业，遂任命他的舅舅田蚡为丞相，同是外戚的窦婴却闲置在家。

太史公对窦婴的评价是“任侠自喜”，意思是窦婴是一个非常任性的人。七国之乱的时候，景帝想启用窦婴，任他为将勘定叛乱。窦婴却推脱有病，不能胜任。其实，这是因为反对景帝传位梁王，后被窦太后疏远，所以在跟她赌气。景帝劝他，说这是国家兴亡的关键时刻，你身为国家重臣，怎么可以推却责任呢？于是窦婴才出山，后来与周亚夫一起立了大功，列侯中没有敢跟这两个人平起平坐的。

景帝七年的时候，栗太子刘荣无罪，景帝却因为其母栗姬的关系想要把他废掉。魏其侯窦婴是刘荣的老师，所以多次为刘荣求情争辩。可是争来争去，景帝只是一个不听，栗太子就这样被废了。窦婴于是再次称病，几个月都不来朝，只躲在蓝田县南山下隐居。许多人来劝他，他都一概不听，继续窝在那里钓鱼散步。有一天，一个叫高遂的也来劝他。

高遂说道：“您过去是太子太傅，太子被废不能为他力争挽回，尽了力又没有效果，也不能因此自杀殉职。能使您富贵的是皇上，与您亲近的是太后，您现在这样托病不出，整日拥着美女，岂不是要彰显皇帝的过失？若太后和皇帝都来加害您，那不仅您无法自保，妻子儿女也要株连殆尽。”

窦婴听高遂所说，惊出一身冷汗，于是起身回朝，如往常一样侍奉景帝。

丞相刘舍被景帝罢免，窦太后这时想起了自己的侄子窦婴，几次向景帝推荐他。景帝却对太后说，您真以为我舍不得把相位给他吗？只不过窦婴这个人，沾沾自喜草率轻浮，丞相上承天子下领百官，责任重大，不是魏其侯这样的人能够胜任的。景帝说的很对。

天下熙熙，皆为利来，皆为利往。窦婴“不中用了”，在他身边也没什么机会了，于是窦婴辉煌之时依傍在左右的宾客和朋友一下子走得一干二净，纷纷去投奔正炙手可热的新丞相田蚡，只余窦婴一个人独自发呆，看着萧瑟秋风卷起院子中的枯叶。

现在魏其侯从高高的相位上掉落下来，其失落是不言而喻的。倘若这时候他能静一静，仔细想想自己来时的路，也许就会顿悟，超脱名利等外物的羁绊而立地成佛。可是他偏偏没有这样一个静一静的机会，因为同样失意的将军灌夫来到他的身边，两个失意人很快无话不谈，成了可在对方身上取暖的“患难之交”。然而交上灌夫这个人，实在可以说得上是交友不慎。