元朝科举长期废而不举，仁宗时才实行科考取士，考试严格而复杂，几乎断了士人的仕进之路。成遵所在的乡里“先辈无治进士业”，乡人视科举为畏途。但成遵不怕艰苦，他慨然说：“《四书》、《五经》，吾师也。文无过于《史》、《汉》、韩、柳。区区科举之作，何难哉。”他顽强自励，作文数十篇，毛遂自荐，晋见科举及第而出任穰县知县的杨惠。杨惠抚卷大喜：“凭着这种本领去参加科考，就像俯首拾芥一样容易。”
至顺二年（1331），成遵来到京师，就学于国子监，欲得名师指点。当时国子监助教陈旅对他的文章很是欣赏，多次向名儒宗师奎章阁大学士虞集推荐，虞集急于见到他。陈旅即以坐骑载至。虞集平易近人，当时患有眼疾，见成遵到来后非常器重：“前观生文，今见生貌，公辅器也。吾老矣，恐不得见，生当自爱重也。”成遵确不负厚望，两年之后，便进士及第，授为将仕郎、翰林国史院编修官。
成遵入仕之初，还是比较顺利的，很快便升至监察御史。当时他年轻气盛，血气方刚，以为在元末政治舞台上大可一显身手。
当时正值元朝末年统治腐败，政治黑暗，也许是初生牛犊不怕虎，成遵不畏强权，照常极力整顿百官百司，甚至有时并把矛头直指天子。
顺帝妥懽帖睦尔于至顺四年登临帝位，年仅十三。他即位之后没有把精力放在治国方面，而是过起了糜烂的生活，对此，成遵十分动情地上书言事，希望天子“宜慎起居，节制嗜欲，以保养圣躬，只有圣躬安才能使宗社安。”其言切切，连顺宗也为之感动，认为他说得很对。
针对司法、监察制度的腐败，尤其是御史台的腐败，成遵上书，尖锐地指出以上部门存在的四大疾患：一是差遣台臣，越职问事；二是左迁御史，杜塞言路；三是御史不思尽言，循序求进；四是体覆廉访事迹不实，贤愚混淆，奏疏所提的意见及建议，得到顺宗称善嘉纳，并获赔褒奖。成遵并没有由此而罢手，对国体的关心，促使他连连上书王廷，在论及时务大策时，他提出四个方面的建议：一为效法祖宗，二为节用财赋，三为压抑奔竞，四为明确激劝，顺宗对于成遵所上的疏奏，阅后很是欢喜，良久沉浸在对成遵奏章的赞叹中，随即命令中书省尽快讨论施行。成遵仅在他任监察御史的第一年，就举劾了七十余事，事事切中时弊，而且非常深刻。但是，在一个王朝的衰败末世，许多良言良策，很难施行，尤其是元朝末年这样一个时代里，成遵的意见要施行，无疑要侵犯一大批官僚权臣的既得利益，得到的必然是仇视和打击。因此，成遵不仅没有实现鸿鹄之志，反而在至正三年降为刑部员外郎，后母亲亡故，又守庐戴孝，从此过起了普通百姓的生活。
二、致力监察多面出击
至正八年，服丧期满，成遵被擢为淮东肃政廉访使，不久改授礼部郎中，奉命出使山东、淮北，察访各地官员政绩，重操惩恶劝良、严肃政纪的监察旧业。在重新出仕后，成遵一如既往，满腔热血，一身扑在事业上，兢兢业业、执著追求，很快访得政绩显著、名高声良者九人，同时也察得贪赃懦弱、道德败坏、徇私枉法者二十一人，如实上奏，使善者推发，恶者悉黜，在一定程度上抑制了恶势力的发展。
次年改刑部郎中，不久又升任御史台都事，回到旧日的职位上。成遵遵循儒家的伦理学说，主张以孝治天下，这主张对于元廷统治者来说，也是很合胃口的，所以他的主张甚得御史台长官的赞誉，时间不长又升为户部侍郎。
至正十年，成遵迁为中书司郎中，这个职位既是个中书省的部门行政长官，又是监察商辂兵、刑、工等机构的监察官员，因而具有司法方面的监察权。元朝本来就缺少完整的法典，断狱量刑一般是因时立制因事制宜，再加上当时吏治败坏，违法乱纪，断案量刑随心所欲，因而当时或无法可依，或有法难施，“别部狱案久而不决者积数百”，狱案堆积如山。成遵受命于危难之时，与僚属同心协力，分别阅视，共议罪之轻重，量罪定刑，各当其罚。很快将积压的案件处理完毕，使刑部无有遗事，朝野为之拭目，无不叹服。
不久，成遵上书朝廷，指斥输粟补官及其弊病，元末统治者昏庸无能，但敛财有法，为了应付佛事、赏赐等的巨额耗费，使得过去的卖官鬻爵又时髦起来。成遵力排众议：“卖官鬻爵，已成盛典，况又卖官与奸淫之人，其将何以为治，必夺其敕，还其粟，著为令，乃可。”此番论理切中时弊，抓住了恶性循环的坏政根本，不可辩驳，中书省群臣也认为言之有理，只得表示赞同。
不久，成遵升为工部尚书。在人生道路上，他似乎又前进了一步，但前途如何，却难预测。
三、异议治河萧瑟离朝
黄河是条泥沙河，下游经常淤积改道，元朝末年，由于疏于治理，便十年九灾，民不聊生，饿殍遍野，惨不忍睹。至正四年，黄河再次暴溢，两岸堤决，一片汪洋，“大河失故道”，“生人化鱼鳖”，随之而来的又是瘟疫、饥荒，百姓无以为生，哀鸿遍野。
元朝政府不得不考虑治河方略，当时有两种方案，一为筑堤蓄水，以制横溃；二为疏塞并举，勒归故道。漕运使贾鲁力主后者，他说：“必疏南河，塞北河，使复故道，不大兴，害却能已。”两策之争颇为激烈。成遵作为主管“天下营造百工之政令”的工部尚书，肩负朝廷的使命，带领人马到黄河地区进行了实地考察。
至正十一年春，成遵巡视济宁、曹、模、汴梁、大名等地，行程数千里，掘井以量地势之高下，测岸以究水势之浅深，又遍阅史籍，博采众议，他认为修复黄河故道是不可能再做到的事情，但此时右丞相脱脱却已接纳并赞同贾鲁黄河勒回故道的方略。
脱脱时人称之为贤相，但元朝已病入膏育，无可求药；脱脱个人无力回天，又不了解真实情况，所以在治理黄河问题上也只能是随波逐流，没有己见。
成遵返朝，闻悉丞相已纳贾鲁之言，准备大兴工役，疏浚南河，恢复故道，立即与秃鲁朝觐言事，力陈不可，说：“济南、曹、郓、连岁饥馑，民不聊生，若聚二十万人于此地，恐后日之忧，又有重于河患者。”脱脱已有的计划被打乱，立时很生气地斥责成遵：“你是说我们的百姓要造反吗？”但成遵毫不妥协，据理力争，自晨至暮都不能形成结论。
第二天，有一官员打算做和事佬，对成遵说：“修河之役，丞相主意已定，并且已有人任其责任，你就毋庸多言罢了。”但成遵认为个人荣辱得失并不重要，因而坚定地说：“腕可断，议不可易也。”
最后脱脱所赞同的治河方案被通过，成遵的异议当然也就被搁置一边，当年四月，数十万民工赴疏凿黄河故道的工地。次月，工地上下传诵着：“石人一只眼，挑动黄河天下反！”后民工果然在黄陵冈附近掘得石人一具，消息传出，人心浮动，于是韩山童、刘福通等发动了规模巨大的农民起义。
成遵为之担忧的事发生了，证明他的意见是正确的。但即便如此，他还是因顶撞了丞相而被逐出京师，出为大都、河间等处都转运使。
四、卷进政争冤污身死
贬出朝廷，出仕地方，对于成遵来说只不过是家常便饭，他并不在意，在地方上，他依然踏实勤政，决心为政一地，造福一方，所到之处，政声远扬。
当时，农民起义的烈火已熊熊燃起，各地形势十分严峻，本来汝、汴二郡多富商巨贾，漕运司一向依赖他们。可是，这时汝宁时势大乱起，漫及汴境，因此舟楫不通，商贩绝迹，直接影响到国家税收。成遵处理得当，使人心稳定，富商重操舟楫，泛舟漕运，运输国税的任务顺利完成了。至正十四年，他调任武昌路总管。武昌早就战祸频仍，百姓死于兵疾者十不存三；起义军控制了大江上下，交通阻绝，城内米价极贵，人心惶惶。他来到后，先是籴米入城，平易物价，后又修葺城防，集民为兵，并且号令严肃，赏罚分明，武昌因此较为安定。
成遵的不懈努力和卓著政绩为朝廷所知，至正十五年，擢为江南行台治书侍御史，召拜为参议中书省事回到朝廷，侍位经筵，成为君主的高级顾问。成遵无论是贬仕地方，还是为宫中央，都能施政出手不凡，言论发聋振聩，甚得赞誉，因此很快擢拜参知政事，参决天下大事。
至正十六年，他与平章政事帖里帖木儿等参议变钞，挽救财政危机。本意原想稳定市场，结果物价飞涨，国家财政日趋崩溃。成遵更绞尽脑汁，呕心沥血地来应付这败乱的局面。
至正十七年，成遵官升中书左丞相，升士阶资善大夫，跻身于最高行政长官之列不久，奉命宣抚彰德，“布宣德意，询民疾苦，疏涤冤滞，蠲除烦苛，体察官吏贤否，明加黜陟。”但元朝这时已腐败至极，成遵不仅无力回天，而且自己成了统治阶级内部斗争的牺牲品。
当时宫廷发生了一场复杂而锐的斗争，即皇后奇氏、太子爱猷识理达腊与丞相太平等之间的“内禅”之争。
奇氏，顺帝次后，高丽人，品性疑黠，先为宫女，后渐见宠，被立为皇后。爱猷识理达腊，顺帝长子，奇氏所生，册为太子，此时已长大成人。由于顺帝沉溺怠政，奇氏与太子密谋内禅，逼迫顺帝传位太子，并遣内侍向丞相太平转达此意，并希望得到宰相们的支持。
太平，字允中，本名贺唯一，是元朝名臣贺仁杰之孙，其父贺胜也曾位尊名著，他本人素性开朗，光明磊落，喜荐才士。至正六年拜为御史大夫，获特诏赐名，改为太平，至正十七年五月，召为中书左丞相，成为相府最高长官之一。在内侍传达皇后和太子的意图后，他深感事关社稷江山，不敢随便发表意见；对于皇后和太子的旨意，他只是唯唯诺诺，不置可否。因而深为皇后、太子忌恨。不久，太子欲谋不轨，唆使御史中丞弹劾天子近臣。但未及中丞奏劾，近臣已被迁为他官，获得保护。太子怀疑是太平泄露机密所致，遂决意除掉太平，但枢密使纽的该坚决反对，说：“相国国之寄也，苟去之，国将何赖乎？”并多次在天子面前为太平辩护，太平暂得平安无事。
成遵与内禅之事并无直接关系，也未表明态度，但太子为了孤立、打击太平，便利用“结党营私”之名将成遵罢职。这都是因为成遵才华横溢，而太平喜荐才士，两人相处甚密。另者，成遵在议治黄河之事上与脱脱发生过激烈冲突，太平也因种种原因与脱脱矛盾比较尖锐；太子根据这些表面现象，断定成遵和太平是党朋之好，因而对他耿耿于怀，必欲去之而后快。
此时，一些趋炎附势之徒，为了讨好主子，大兴诬陷之风，至正十九年，用事者诬告成遵受贿贪赃。太子闻此，喜出望外，即遣爪牙监察御史买住、桑哥失理前去劾治、锻炼成狱。但成遵仍是镇静自若，大义凛然地前往府衙，严词驳斥，威不可犯。
进入府衙，也就进入了魔窟，纵有百口也难辩说，成遵很快被打入监狱，被拷打致死，
五年之后，至正二十四年，元朝大厦已在农民起义的烈火中风雨飘摇，在元朝行将灭亡际，统治者给成遵平反昭雪。“诏复给其所授官职、朝衔宣敕”，但此时已经毫无意义了。四年之后，元朝灭亡。
书外人评：成遵就是那种民间所谓的青天类型的官员，有才有德而且有政绩，如果遇到有作为的君主是很容易青史留名的，但很可惜，生不逢时，几番沉浮之后终于含冤枉死，从中可见，许多有能之士宁愿身背骂名，也要一伸志愿，确乎是可怜的。只是二者之间，孰优孰劣，又确实很难辨别，人生之路漫漫，我们一定要审核本心，落好自己的脚，因为有时一旦决定了，就无法回头。
