可是局势急转直下：他在后宫的支柱之一雷允恭，在监督修建宋真宗的陵寝的时候引起相当大的非议，钩索追溯之下，丁谓也被牵扯其中。他的晚辈、追随者和枢机同事王曾随后背叛了他，直接面见刘太后，指责丁谓弄权不法、阴谋作乱。危机随即爆发，雷允恭伏诛，刘太后和宋仁宗接见辅臣，他们告发丁谓曾经委托雷允恭让宫匠为自己打造金器。随后，丁谓逢迎宋真宗的各种手段曝光，他立刻被黜职、籍家，党羽被清洗―此时此刻，所谓熏天的权势不过是不堪一戳的肥皂泡。作为一个典型的失败权臣，丁谓依旧没有偏离中国历史的模式。作为将寇准流放到崖州（今海南岛）的报复，丁谓也被贬谪到了崖州。这时候，丁谓已经56岁了，距离他离世还有15年。
没有这最后的15年，丁谓就不是我们现在所讨论的丁谓。他和其他失败的权臣，如杨廷和、严嵩等人别无二致。他们的政敌急切地盼望他们死去，以快复仇之心；他们曾经的同党也希望他们彻底消失，从而使整个事件落幕；而他们唯一的政治靠山早就厌弃了他们的无趣和累赘，清洗掉他们，正好掩盖皇帝的昏庸和政治的腐败―如果他们能够尽早去世，便是所有政治斗争最完美的收场。所以在我们看来，所有失败的权臣、告老的宰辅都笼罩在一片愁云惨雾和潦倒落魄之中。他们的求生之心和还残留的一点政治智慧不断相互斗争，直到消耗掉最后一口气。这些权力树枝上寄生的怪物，一被攀折下来，就立刻枯萎了。
可是丁谓没有，他先被贬到海南岛，3年后又转到雷州半岛居留5年。在这8年期间，他除了如传统文人一般吟咏唱和之外，还坚持表现出一种优雅和清明―他集中精力研究在广东流通的各色香料，特别是沉香。他将搜集的资料汇编成一本《天香传》―这是有史以来第一部有关沉香的专著，也是两宋研究沉香的最好著作。在这本书里，他不疾不徐地讲述如何分辨各色沉香，偶尔笔头一转，铺陈他尚在权力中枢时的华贵：“祥符初，奉诏充天书状持使，道场科醮无虚日，永昼达夕，宝香不绝，乘舆肃谒则五上为礼（真宗每至玉皇真圣祖位前，皆五上香也），馥烈之异，非世所闻。”随即谈到他的贬谪，语气也非常平淡：“圣即政之六月，授诏罢相，分务西雒，寻迁海南。”“忧患之中，一无尘虑，越唯永昼晴天，长霄垂象，炉香之趣，益增其勤。”―所谓“忧患”，就好像香头刚点起来的些微火气，随之就飘逝进一片寂然喜悦之中了。
在此之前，国人所知道的沉香，多垄断于番禺与阿拉伯半岛的诸香料交易商手里。当时海外的沉香产地主要为中南半岛（占城）。商人既多，货源也杂，所以不同的人以不同的名字称呼各种等级、各种类型的沉香，哗众取宠以得高价。丁谓《天香传》的贡献在于第一个提出沉香“凝腴清长”的“文人香”标准，认为海南沉香品质远超过昂贵的舶来品南洋沉香。此后，所有评价沉香以至其他香料的著作，都不出这个藩篱。他也澄清了有关沉香的诸多误解，解释所谓“沉栈生结黄熟，凡四名十二状，皆出一本”，又详细解释了生香与熟香的区别，认为自然形成的沉香树脂由于各种原因脱落母本之后，经过长期的自然熟化，品质会得到非常大的提高。这些言论和评判，一直到现在，依旧是东亚鉴定、使用沉香的不二标准。
若是故事到此为止，我们也不过是看见了丁谓散淡自执、乐观达命的一面。他日日笔耕不辍，写有《知命集》《青衿集》，他沉浸老禅，有“梦幻泡影，知既往之本无；地水火风，悟本来之不有”之叹。这些固然是他的养气静修功夫，所谓“流窜十五年，髭鬓无斑白者（当时他已经62岁）”，甚至可以与东坡被贬到海南后的“老人与过子相对如两苦行僧尔，然胸中亦超然自得，不改其度”相提并论，不过依旧是在“庙堂之高，江湖之远”的窠臼之内。丁谓让我们惊讶的是，他不断突破那些传统的权臣、失败政客和达观儒者的形象，超脱别人对他的掌控而得到真实的解放，也因此，我们可以观察到一个超脱时代的智者的游戏。
刘太后逝世（1033年）后，宋仁宗亲政―这里不得不说，丁谓被放逐海南，也有一部分原因是他企图限制刘太后的权力，而使刘太后不满。宋仁宗亲政，对刘太后还是稍有芥蒂，这也是丁谓的一丝机会。但是当时是他的政敌李迪、王曾等当道，即使丁谓有所陈述，也难以上达天听。所以，丁谓写了一封信，交给自己的亲信，让他在王曾宴客时公开交给他。王曾害怕别人谈论他交接外人，所以直接把没有开封的信件交给了刚亲政的仁宗以显示自己的清白，没想到这封信就是丁谓写给仁宗的奏折，其中一句“虽迁陵之罪大，念立主之功多”打动了仁宗，仁宗把他从雷州迁回湖南，又特许他在河南光州（今信阳，离开封300多公里）致仕养老。王曾在丁谓死后说：“斯人智数不可测，在海外犹用诈得还。若不死，数年未必不复用。”―幸亏丁谓在皇帝决定重新用他之前就死了，让我们这个故事不必重新回到权力斗争的旧轨道之内，也让他能够以无道德的旷达、不可归类的自在，在那些蛮荒恶乱之天地、颠沛流离之生涯里，重新开出一片世界，更让后人在做此类研究的时候，根本无法绕开他独特而且唯一的身影。
“旷达”二字，在中国人的普遍认识里，向来是跟奸臣没有丝毫关系的。所谓奸臣，自是孜孜LL奉迎主上、铲除异己、陷害忠臣、谋权夺利而已。种种政治斗争会把他的才气和豁达涂抹得一干二净，到最后，在中国非善即恶的两分法之下，只剩下两个字：“坏”和“奸”。或者这不能算错，中国的传统是不会给权力圈子之外的人树碑立传的。而一旦进入权力圈，不想被淘汰掉的话，除了你的好运气，那么就只有种种斗争的手段了。而区分“正人”与“奸邪”的，也不过是一线之间的有所为和有所不为而已―或者还要有一点点运气。《宋史》里的某些“奸臣”放在《明史》里，可能都可以算得上与“三杨”（杨士奇、杨荣、杨溥）比肩的正人；如果和某些名气更大的正人有过冲突、有过倾陷，又得罪了一些师生关系广阔的大儒，又使过一些不光明的手段，又结交过宦官―在明朝，你还有可能做张居正，可是在宋朝，你就是实打实的奸贼了。 可是正史里的“名臣”更难和旷达沾边。在这个多忧患而少安乐的国度，旷达是一种奢侈品，是装点清平的隐士、高僧、道人的特权，以保证自己的离经叛道不被庙堂里的儒生所忌惮；或者是破罐子破摔的逸民的姿态，他们或者是因彻底失去一切而心灰意冷，或是不得不在新的权力体系里掩盖自己的存在―他们所能表达的旷达，更像是杜鹃的悲啼。此外还有一种人，在我们的错觉里，认为是旷达，或者该表现得旷达―这就是那些被驱逐到权力边缘的看客，中国历史里绕不掉的贬谪官僚、迁客流人们。在我们心目中，他们失去一切，被驱赶到千里之外，如果在这种环境里，还不能摆出哪怕只是姿态的胸怀豁达、万物皆空出来，那么所谓风骨，不都是谎话了么？
可是在中国的权力体系里，贬官流放并不一定是坏事―你输掉的是官职，而不一定是政治前途。庙堂之上的斗争起起伏伏，谁也不知道压制你的人什么时候会突然倒台，而换上你的朋友来执掌大权。所以，只要你还有一个官位，哪怕是边疆的九品小吏，再次进入权力核心也是有可能的。你当然可以借致仕逃避斗争的辛苦，但是很少有人能够在致仕之后还进入权力核心―除非你得到最高层的青睐，他不惜为你打破权力的惯例。
另外，贬谪是一种惩罚，你需要摆出一种惭愧和后悔的态度，才可以让当权者不至于加重你的罪责。一般来说，只有那些已没有体力和精力去等待下一轮政治博弈的失意者，才敢抛弃一切去表示对政治的轻视和对人生的彻悟。可是这种轻视和彻悟会被现实迅速击得粉碎―蛮荒之地的残酷气候和低劣的饮食使得他们的身体迅速衰竭，这也正是他们的政敌所期望的。黄庭坚被流放到宜州，只能栖息在城楼的破屋子里，有一天下雨，他把脚从楼台的栏杆里伸出去洗脚，跟别人说“信中，吾平生无此快也”。这是多么凄凉的、接近疯癫的“豁达”？没多久，他就去世了。
对于正人君子来说，流放固然使他们脱离了政治的束缚，但是也摧毁了他们心中的价值观念。在饱受折磨的最后一刻，他们纷纷认识到，以种种“旷达”麻痹自己毫无必要，还不如直接表现出受害人的痛苦，这样更方便自己在中国的非黑即白的历史里留下正确的痕迹。可是对于所谓的“奸邪”来说，他们的无原则、现实主义，反而能够支持他们在新的环境里更好地生活下去。如果他们能够抛弃那些所谓的恩仇，那么漫长的流放之旅倒成了修炼的道场，让他们在五色斑斓的迷乱里，开出我们文化中最不一样的花朵，就像丁谓在乾兴元年一样。
丁谓曾经说：“古今忠臣孝子事，皆不足信。乃史笔缘饰，欲为后代美谈者。”这种现代怀疑论者的精神以及对物质世界的种种好奇，也许就是成全他15年的长途旅行的唯一原因吧。
