事已隔十年，白敏中便想乘唐宣宗怨怒唐文宗、唐武宗及李德裕之机，授意一心腹重提这事，上告李德裕贪赃府库钱帛四十万贯匹，且诬陷时任宰相的牛僧孺。他思来想去，认为永宁县尉吴汝纳尚能听令，肯为己用，便派人找他前来授意，命他出面上告李德裕。这吴汝纳本寒族出身，在朝中并无靠山，自己也深知在朝无人援引。但他和白敏中的往来，只是公事公办，并无私交。当他听到白敏中授意后，当即一口回绝说：“卑职毫不知情，不敢言其有无，望端公见谅！”白敏中便威胁利诱，吴汝纳就是不答应。白敏中大怒，便将他下于京兆大狱，日夜用刑，要他承认是李德裕私党，知道李德裕贪污巨额钱帛事，吴汝纳矢口否认。白敏中无奈，却打听出李德裕在淮南时的府佐魏还在，就将他逮进京，命他诬告李德裕贪污四十万贯匹钱帛事。谁知魏也和吴汝纳一样硬，干脆回绝：“并无此事。”白敏中震怒，命用大刑。这件事搞得满城风雨，但朝廷公卿无一人出面为他们辩冤。吴汝纳至死不渝，绝死于狱中，魏仍在杖刑下，紧咬牙关，不变口供。吴汝纳死后，白敏中也怕魏再死狱中，风声太大，便将他流放岭南，竟死于岭南。
尽管如此，白敏中仍不放过李德裕。大中二年（848）冬，白敏中又上奏唐宣宗贬李德裕为崖州司户，为从六品上。崖州（今海南琼山县东南）是当时最僻远的地方，有唐以来，宰相被贬往崖州，李德裕是第一个。李德裕共有三个儿子，长子李烨时任检校祠部员外郎、汴宋亳观察判官，品级并不高，时为正七品下。李德裕被贬崖州时，李烨也被株连贬为象州立山（广西柳州市东南）尉，为正九品下，是品级里边最低的一级。李德裕的另外两个儿子都还年幼，李德裕本想设法将刘夫人及二幼子留在平泉庄，刘夫人坚决不答应，一定要同往贬所。李德裕再三劝阻道：“去往崖州前途凶险，横江渡海，障气满天，你等如何能受此颠沛流离之苦？”刘夫人道：“相公去得，我母子就去得，好歹有个照应，一家人生死与共”。便依然决然起行。起行日，潮州地方同僚唯恐避之不及，无人敢来送行。仓皇颠沛之中，李德裕还留心著述，写杂文数十篇，编辑成集，名曰《穷愁志》，其自序名为《论冥数》，其文曰：
仲尼罕言命，不语神，非为无也。欲人严三纲之道，奉五常之教，修天爵而致人爵，不欲信富贵于天命，委福禄于冥数。昔卫卜协于沙丘，为谥已久，秦塞属于临洮，名子不悟；朝歌未灭，而国流丹乌；白帝尚在，而汉断旦夕蛇。皆兆发于先，而符应于后，不可以智测也。周、孔与天地合德，与神明合契，将来之数，无所遁情。而狼跋于周，凤衰于楚，岂亲戚之义，不可去也；人伦之教，不可废也。条候之贵，邓通之富，死于兵革可也，死于女室可也，唯不宜以馁终，此又不可理得也。命偶时来，盗有名器者，谓祸福出于胸怀，荣枯生于口吻，沛然而安，溘然而笑，曾不知黄雀游于茂树，而挟弹者在其后也。
乙丑岁，予自荆楚，保里东周，路出方城间，有隐者困于泥，不知其所知，谓方城长曰：“此官人居守后二年，南行万里。”则知憾予者必因天谴，谮予乃自鬼谋。虽抱至冤，固不为恨。予尝三遇异人，非卜祝之流，皆遁世者。初掌记北门，管涔隐者谓予曰：“君明年当在人君左右，为文翰之职，须值少主。”予闻之愕然变色，隐者亦悔失言，避席求去。予问曰：“何为事少主？”对曰：“君与少主已有宿缘。”其年秋登朝，至明年正月，穆宗缵绪，召入禁苑。及为中丞，闽中隐者叩门请见，予下榻与语，曰：“时事非久，公不早去，冬必作相，祸将至矣。若亟请居外，则代公者受患。公后十年终当作相，自西而入。”是秋，出镇吴门，时年三十六岁。经八稔，寻又仗钺南燕。秋暮，有邑子于生引邺郡道士至。搀升阶，未及命席，谓予曰：“公当为西南节制，孟冬望舒前，符节至矣。”三者皆与之协，不差岁月。自宪闱竟十年居相位，由西蜀而入，代予持宪者，俄亦窜逐。唯再谪南荒，未尝有前知之士为予言之。岂祸患不可移者，神道所秘，莫得予闻。
这篇自序，假借天命，述人际沧桑，是自己一生仕途的总结，终不免遭“鬼谋”之谮，远贬崖州。李德裕被贬崖州的消息一传出，朝野震惊，尤其在士子中引起无尽的感喟，当时风行天下有两句诗道：“八百孤寒齐下泪，一时回首望崖州。”寒士中有人道：“宰相白敏中闻知此诗句，不知可有地自容乎？”李德裕携家人由大中二年冬自潮阳起程，到大中三年（849）正月，方才到达崖州，一路寒风凛冽，云山茫茫，瀚海渺渺，饥寒渴饮，舟车劳顿自不必说。
唐宣宗自即位以来十分节俭，可对外也吝啬之至，将李德裕所定援助尚婢婢军粮饷等事，一律废止。论恐热闻知大喜，认为这是天赐其便，就率已于河州征集起来的十三万大军向北进发。尚婢婢军得不到唐的粮援，移军于河源军（今青海省西宁东南）。河源军本为唐高宗仪凤二年（677）所置，设烽戍七十余所，屯田五千余顷。尚婢婢率军于河源军屯垦刚一年，军中粮荒还未从根本上得到解决。时值大中三年二月，河源尚是天寒地冻季节，论恐热便率军来攻，尚婢婢聚众商议。众将因以前数败论恐热，军中不免产生轻敌情绪，众将就要求主动出击，尚婢婢说：“不可。今河源不比鄯州，处高原空旷地带，极利铁骑展开冲突，只应依城坚守，乘隙出击，积小胜以大胜。”遂不听众将之情，只令坚守。论恐热率军入居鄯州，他也吸取前几次失败的教训，先坚守鄯州，只派出部将恭罗急藏领兵二万向西略地，稳步推进。尚婢婢闻报大喜，便派大将拓怀光率四万军，出南谷，以倍于恭罗急藏的优势兵力迎战。双方于南谷对阵，拓怀光只率一万军正面迎敌，却分兵三万绕道于恭罗急藏军的左右两翼包抄。拓怀光与恭罗急藏接战不久，鄯州军忽从急藏军左右翼突出，漫山遍野一片喊杀声，急藏军见状胆寒，四处逃散。恭罗急藏见部下四处逃散，忙要回马而逃，但拓怀光却令亲军将其包围。急藏知道自己孤身被围，已无法脱身，只得下马投降。
拓怀光押解着恭罗急藏回到河源城，尚婢婢急忙下阶相迎，急藏忙倒身下拜说：“败将恭罗急藏诚心相投，望军帅接纳。”尚婢婢急忙上前亲为解缚、将其扶起说：“论恐热祸国殃民，人人得而诛之，婢婢素无割据一方之夙愿，只想解民于倒悬。今得将军相助，当共谋利民之策。”说着拉着恭罗急藏的手，一同进入军衙，与之坐谈。尚婢婢问起论恐热军中的情况，恭罗急藏说：“论恐热今尽起大军来攻，沿途各州军已被调之一空，此次若败，再无军可调了。我吐蕃出兵，历来自备二至三匹马，口粮自带，必不能持久。然论恐热此次出兵，严令河、湟各州各自征粮，不断运往军前，似要作长期相持的打算。各州尤其是百姓近年来屡被强征军粮，已苦不堪言，但迫于论恐热之兵势，敢怒而不敢言。为今之计，军使可诱论恐热军进入河源一带，鄯州必空，军使可率军回取鄯州，断论恐热之粮道。目今正值天寒地冻季节，其粮道被断，人无粮、马无草，军必自乱，届时必大败。”尚婢婢闻言大喜道：“将军之计甚善，我当与将军协力，共图大事。”
论恐热得败军报，知恭罗急藏已投降尚婢婢大怒道：“我当尽起大军，一举荡平浑源。”翌日便整军尽出，向西挺进。尚婢婢知论恐热此来，必要摆开决战架势，便要据城坚守，闭门不出。众将见昨日又败论恐热军，更加轻敌，就纷纷前来请战，要求领兵出击。徐舍人更想急于求成，说道：“论恐热千里奔袭，粮草不济，其势必败。今如若听凭其率军围了河源军城，我军久困粮必乏，恐难以持久。不若主动出击，乘其粮运尚未到达之际，将其击溃，依恭罗急藏之计，回军鄯州断其粮道，其必将被困饿至死。”尚婢婢道：“我已细思，论恐热大军随军携带粮草已将待尽。我军骤胜而轻敌，彼若置之死地而后生，处此穷困之时竭力死战，我将战而不利。”诸将纷纷道：“其军素无死战之例，今又是东拼西凑之军，兵无战心，败则投降。”尚婢婢说：“不论其兵势如何，我且避其锋芒，待其粮尽兵疲，方可出战。”徐舍人道：“其军合围之势一旦形成，我军被困日久将粮尽被擒。而其军继运粮草再到，对我将更加不利。不若军使率军守城，分一半军于末将等迎战，如我不胜，提头来见。”众将也纷纷坚请出战，尚婢婢见众愿难违，只得分兵五万命徐舍人等率领，还往南谷去迎敌。
论恐热此次出兵，志在必胜，他有备而来，鼓励众将说：“攻下河源，我大军即可得食，将士前进者生，后退者死！”就于南谷列阵，摆成月牙形，三面可攻。果如尚婢婢所料，骄兵必败。论恐热阵势已摆好，徐舍人等率军才慢腾腾来到，自以为这一战必胜，但他们忽略了论恐热前日虽败，尚有十万以上人马，力量是他们所领军的两倍多，优势明显，再加上以逸待劳。等到徐舍人等领军到来后，见对方严阵以待，急令鄯州军列阵。论恐热哪能等他消消停停列阵，正当他等摆布时，就下令发起攻势，其军逞包裹时，自两翼至中军席卷而来。尚未列好阵的鄯州军只得仓促应战，哪里挡得住对方铁骑的冲锋，被杀者无数。徐舍人见状大吼一声，死战不退，而其部下逐渐被杀，他被对方军困在核心，直到力尽死于马下。
