在民间，纪晓岚是一位才华四溢、忠直正义的人物，有关他的故事广为流传。他31岁中进士，入翰林院做庶吉士，继授编修，因为擅长词对而被乾隆留在身边，升为侍学士。但纪晓岚一生并未做过一天大学士，只是在临终前勉强做了一个月的协办大学士。纪晓岚一生著述甚丰，既有以官方身份主持编纂的《四库全书》、《四库全书总目提要》等，也有以私人身份著述的《阅微草堂笔记》。纪晓岚入主四库馆，惨淡经营了13年，编纂的《四库全书》几乎囊括了乾隆以前中国历史上的主要典籍。正是因为主管如此浩大的编书工程，才使他青史留名。
纪晓岚小时候，正是鬼神之说盛行的时候，人们或多或少地相信，在这大千世界上，还到处游荡着一种人类以外又非动物的精灵。纪晓岚也深信世界上有鬼，但是鬼并不可怕，它们甚至可以像人一样对待。
据传在一个秋天的夜晚，纪晓岚在塾馆中读书到深夜，一个人打着灯笼去茅房。茅房早有一个人蹲在那里，在幽暗的灯光下，纪晓岚看不清那个人是谁，就问了一声：“谁呀？”“我是鬼。”蹲着的人低头说话。
纪晓岚听了一愣，看那鬼觉得也没什么可怕的，便笑着说了一声：“鬼也会屙屎，没听说过。”那鬼低头不语。纪晓岚的灯笼没有地方放，看那鬼的大头顶平平的。于是，他就把灯笼往它头上一放，说道：“你是个善鬼，这次你干点儿好事，给我顶会儿灯笼吧！”那鬼等纪晓岚解完手，把灯笼交还给他说道：“你好大胆！”纪晓岚笑哈哈地摸摸鬼的头，说道：“小鬼小鬼你好大头！”然后他又狡猾地笑道：“小鬼儿，你为我顶灯笼，我也没什么可赏你的东西，就赏你块煎饼吃吧。”说着这话，他把一直捏在手中的那张刚才用过的手纸，塞进鬼的嘴里。鬼闻到一股臭味，明白塞进嘴里的是手纸时，嗥地大叫一声，跑出茅房不见了。
纪晓岚也不追赶，笑得腰都直不起来了。同窗的学童听到叫声赶来时，纪晓岚一走三晃地笑着，大家莫名其妙，回到屋中询问，都听得大笑起来。
纪晓岚祖籍是江苏应天，遵奉朝廷迁大户实畿辅的诏命，纪晓岚的父亲带领家人，千里迢迢奔向直隶。
从江苏到直隶，虽然仅隔山东一省，但人地两生，直隶又地面宽广，官府也未指定移民何处定居。途中，纪晓岚一家一直在盘算着，到哪儿去好呢？正当在没有主意的时候，在徐州遇上了一个算命的先生。纪晓岚立即来了兴趣，心想何不向他问上一问，请他给指个明路，心里有个实底。然而，当纪晓岚将要算的事讲明后，算命先生用手指掐算了一回，说道：“你向前走吧，待见到车上树、牛上房的地方，那便是你安家落脚的地方。”这下子，可使得纪晓岚为难了。他想，车怎么能上树，牛怎么能上房呢？看来，这是算命先生在瞎蒙人了。可是，也无奈，只好这样走着看。纪晓岚跟随着全家人，越过山东境，便入了直隶界。经吴桥，过东光，穿越交河诸县，一路上都没有见到适宜的地方。
这天，他们全家进入了献县境内，来到了一个古镇。时当初夏，天色将午，一家人只好停车，来到一棵树的树荫下歇息。树荫下，坐着几个妇女，一边说笑，一边纺线。这儿是一个偏僻的地方，从来没有见过什么大官。今天忽然有位大官从这里路过，穿着奇异，车饰华丽，马铃摇脆，自然都感到新奇无比。于是，那些在田里做活儿的，在家里闲居的，无论是大人或是小孩，都跑到这里来看官儿。那些用纺车纺线的人怕人多踩坏了纺车，于是索性便把纺车举起，挂在这棵树的树丫上了。
碰巧，在这株大树北面不远的地方，有个由高向低的坡坎。一户穷人家，在那个坡坎处盖了一个房子。这房子一面利用坡坎挖掘成墙，一面再另砌新墙，上面盖上苫。由于前来看官儿的人多，再加上喧嚷声大，把正在附近吃草的一个牛犊吓惊了。那牛犊儿没处去，就沿着那个坡坎跑到了这家房顶上了。
这时，纪晓岚抬头一望，看见了摇挂在树上的纺车；一回身，又看见了跑上地窨子房顶的牛犊儿。于是，他心机一动，拉着父亲的衣袖说：“你看，这不是车上了树、牛上了房吗？咱们就住在这儿吧！”纪晓岚的父亲看了一看，接着又打量了一下这里的地形地貌，只见这里三面环河，一面着陆，交通豁达，树木繁茂，物产丰饶，真也是个好地方。于是便在这儿定居下来。古代的人都迷信风水，纪晓岚相信，就是家人选择的这一块“风水宝地”，才有了他以后的博学才华和高官厚爵。
清代文献中都有记载，纪晓岚是个大胖子，喜欢用大烟袋锅子。他大约从30岁以后开始发胖，身材偏矮，远远地望去犹如水桶一般。而纪晓岚的对头和珅，则是乾隆年间著名的美男子，精通满、汉、藏等多种语言，尤其擅诗文。乾隆用人不仅要能干的，还喜欢长得英俊的。
相貌丑陋却偏偏又碰上乾隆，所以即使他再才华横溢，也难得到真正的重视，只能以文字安身立命。纪晓岚只能做乾隆的词臣，而难以做乾隆的宠臣、重臣。他一生中两次任乡试考官，六次任会试考官，三次任礼部尚书，均是这种际遇的体现。这种官职并无重权、实权，只是大清朝廷的摆设而已。
即便是乾隆派他出任督察院，因判案不力，本应受罚，乾隆却说：“这次派任的纪晓岚，本系无用腐儒，本来只不过是凑个数而已，况且他并不熟悉刑名等事务，又是近视眼，他所犯的过错情有可原。”可见，皇帝并不对他寄予厚望。
有一次，内阁学士尹壮图指陈弊政，称各省督抚“声名狼藉，吏治废弛。我经过各省地方，问起官吏的好坏，人们都皱眉叹息，各省风气大抵皆然”。由于这些话惹恼了年岁已高、再也听不进忠言的乾隆，结果军机大臣要将尹壮图拟斩。尹壮图之父尹松林与纪晓岚是同年进士，当纪晓岚打算为尹壮图求情时，乾隆勃然大怒，当即骂道：“朕以你文学优长，故使领四库书，实不过以倡优蓄之，尔何妄谈国事！”原来，皇帝让纪晓岚总纂《四库全书》，并不是真正把他当成独当一面的重臣。
