1928年，罗家伦得到大学院院长蔡元培和外交部部长王正廷的提名推荐，带着蒋介石的亲笔手令，于9月中旬“空降”清华，出任校长。到任之前，他答复清华学生会代表傅任敢，态度诚恳之至：“来办清华，本系牺牲个人之政治地位，自当以全副精神办理清华。”罗家伦的就职演说题目为“学术独立与新清华”，他将教育方针归纳为“四化”：学术化，民主化，纪律化，军事化。他对清华的设计是：“我们的发展，应先以文理为中心，再把文理的成就，滋长其他的部门。”在就职演说中，他还说：“我想不出理由，清华的师资设备，不能嘉惠于女生。我更不愿意看见清华的大门，劈面对女生关了！”早在1919年5月11日，罗家伦就在《晨报》上发表了《大学应当为女子开放》一文，他认为，中国文明不承认女子有人格，只能算是“半身不遂的文明”，而只给女子饭吃和屋住，不给她们受教育的权利，也不是人道主义，而是“猪道主义”。罗家伦有三点主张，“第一，为增高女子知识起见，大学不能不为女子开放”，“第二，为增高女子地位起见，大学不能不为女子开放”，“第三，为增高自由结婚的程度起见，大学不能不为女子开放”，他将女子上大学视为“人道主义的第一声”。九年后，正是由罗家伦拍板，清华大学实现了男女同校，女生入住古色古香的古月堂，垂花门下，风景这边独好。
履新之初，罗家伦先去工字厅拜访陈寅恪，送上他编辑的《科学与玄学》一书，是张君劢与丁文江的笔战实录。陈寅恪翻弄时，灵感拍马赶到，他说：“志希，我送你一联何如？”罗家伦求之不得，起身要去琉璃厂购买上好的宣纸，陈寅恪却只肯口授，这副嵌名联戏谑意味十足，上联是“不通家法科学玄学”，下联是“语无伦次中文西文”，横批是“儒将风流”，大家都觉得联语有趣，只是对横批茫然不解。陈寅恪解释道：“志希在北伐军中官拜少将，不是儒将吗？你讨了个漂亮的太太，正是风流。”
这就有必要补充交代一下，罗家伦的太太张维桢曾是沪江大学政治系的校花级美女，才学甚高，他们在五四运动爆发的那年夏天相识相恋，历经八年爱情长跑（其间两人泛洋留学，聚少离多），才结为连理。在抗战期间，张维桢担任过“中国战时儿童保育会”理事（理事长是宋美龄），致力于抚育、教养战争孤儿和难童的事业，并且多次以英语演说的方式向外界标举中国妇女的牺牲精神。有人称赞她为“女界楷模”，绝非过誉。
罗家伦当清华掌门人，在“做大做强”方面狠下了一番工夫，“做强”容或有争议，“做大”则是瞎子也无法否认的事实。1928年9月13日，蔡元培致信罗家伦，婉劝后者上任后不要把摊子铺得太开：“鄙意清华最好逐渐改为研究院，必不得已而保存大学，亦当以文理两科为限。若遍设各科，不特每年经费不敷开支，而且北平已有较完备之大学，决无需乎复重也。”罗家伦尊重恩师，在这件事情上却独持己见，他上任后把清华的工科提升到了与文、理科同等重要的地位，到梅贻琦任清华校长时，清华的工科成为了全国各大学中最好的工科，可谓由来有自。罗家伦凭仗蒋介石对自己的信任，充分利用国务会议中的人脉资源，将清华留美预备学校一举升格为国立清华大学，将清华基金转交给中华教育文化基金董事会代管，摆脱外交部的控制，归属教育部独家管辖。清华每年除了有额定的教育经费到账，还可动用基金四十万元，单就经费宽裕而论，当时的国立大学中，清华是天之骄子。有钱就好办事，罗家伦大兴土木，建造全新的图书馆（嗣后他派人购入杭州杨氏丰华堂的大量善本书尤称眼明手快）、生物馆、天文台、大礼堂、学生宿舍、教职员住宅等硬件设施。历史系主任蒋廷黻曾善意地提醒道：“我们是在创办一所大学，不是建造一座宫殿。”殊不知，罗家伦心目中有一个大清华的轮廓，为此规划宏远。1931年，梅贻琦出任清华大学校长，他之所以能够标榜“所谓大学者，非谓有大楼之谓也，有大师之谓也”，是因为清华大学的大楼已臻完善，无须再事营造，这份劳绩理应算在罗家伦头上，他用不足两年的时间做了别人耗费五年甚至十年都很难办成的事情。
大学好不好，就看明师和名师多不多。罗家伦认为“罗致良好的教师，是大学校长第一个责任”，为了提高清华教授的整体水准，他采取了重发聘书的措施。1928年10月29日送出十八份教授聘书，为期一年。原来清华有五十五名教授，这就等于解聘了其中的三十七人。最难办的是解聘某些外籍教师，有人担心会因此引起国际干涉，罗家伦则认为，只要师出有名，就能理直气壮，完全可以排除各方面的阻力。一位荷兰籍的音乐教授教女生弹钢琴而有失礼行为，罗家伦当即将他解聘，然后写信给荷兰公使，详述缘由，此事做得妥帖，什么风波也没发生。革除故弊，补充新血，罗家伦延揽了一大批学有专长的著名教授，如历史学家蒋廷黻、政治学家张奚若、萧公权、哲学家冯友兰、文学家朱自清、化学家张子高、地质学家翁文灏、数学家华罗庚等等，多达数十人。这些高手陆续到校任教，壮大了清华大学的教员阵容。刘备三顾茅庐，请动高卧南阳的诸葛亮，成为千古佳话，罗家伦罗致文科人才，也有过堪称经典的表现。美国哥伦比亚大学博士、历史学家蒋廷黻是南开大学的台柱子，罗家伦要强行挖走这棵“大树”，聘他为历史系主任，应该说希望渺茫。张伯苓校长固然不肯放人，蒋廷黻碍于情面，也不宜改换门庭。但罗家伦坐功好，耐力强，他说：“蒋先生若是不肯去清华任教，我就只好坐在你家客厅中不走了！”这可不是开玩笑的，有诚意，也有决心，蒋廷黻吃不消，只好点头。十余年后，罗家伦在贵阳清华同学会的演讲中提到这一点时还特别得意，他说，“我心里最满意的乃是我手上组织成功的教学集团”。诚然，在20世纪30年代，清华鼎盛时期的名教授中许多是由罗家伦聘请来的。
清华大学能够吸引国内的一流教授，尤其是那些想潜心做学问的教授，原因是多方面的：一是清华大学校园宁静优雅，非常宜居；二是清华的教员有法定的假期，旅费由学校提供；三是教员上课钟点较少，进修时间较多（出国深造的机会一大把）；四是图书馆、试验室的经费充足，资料和设备齐全。至于教员的薪金待遇，绝不会低于国内的其他国立大学。
罗家伦以国民党激进派人士的高姿态，挟南方新兴政治势力的威权，到北京做国立清华大学的掌门人，大刀阔斧地改革，礼聘北大出身的教授（杨振声、冯友兰、周炳琳等）担任教务长、学院院长，破坏了“清华人治清华”的老规矩，自然多方招嫉。1930年，北方军阀阎锡山与冯玉祥短期合流，处处为难国民政府，大唱对台戏，亲阎派的学界牛人为讨主子欢心，极力煽动学潮来驱逐罗家伦。有心人留下了这段历史的回忆，其中两人的文字是相对客观的。《蒋廷黻回忆录》第十二章“清华时期”中有这样一段话：
校长罗家伦是国民党忠实党员，同时他也是教育界优秀的学者。虽然他忠于国民党，把国民党的三民主义订为课程，但他毕竟是个好人，是个好学者，所以他不想把清华变成任何一党的附属品……清华教授中有些是不满罗的，因为他是个国民党员。他们认为罗的办学政治色彩太浓，不适合他们的胃口。再者罗校长过去和清华没有渊源，因此也使他遭到不利。此外，他是一个在各方面都喜欢展露才华的人，此种个性使他得罪了很多教授。所以当反罗运动一开始，多数授都袖手旁观，不支持他。
应该说，气魄宏大，作风果敢，为人坦率，是罗家伦的优点；年轻气盛，露才扬己，治校强调铁腕，较少变通，则是罗家伦的缺点。他在清华时身着戎装，秉承恩师蔡元培的军国民教育思想（北大的学生军很成气候），强推军训，起先是吓跑了张岱年（转投北京师范大学），其后又险些开除哲学系才子沈有鼎，此举自始就不受学生欢迎，终于虎头蛇尾，不了了之。但无论横看侧看，罗家伦都是功大于过，并非清华的罪人。中原大战时，阎（锡山）系势力意欲控制北平学界，给罗家伦强加“党化教育”的罪名，迅速酿成“驱罗风潮”，某些罔顾真相的清华学生推波助澜，多数教授默不援手，这种乐观其败的态度令罗家伦十分寒心。五四健将成也学潮，败也学潮，“且看剃头者，人亦剃其头”，真令人唏嘘。
三松堂主冯友兰是罗家伦进清华掌校的四人班子成员之一，他赞赏罗家伦在清华所做的四项学术改革：第一，提高教师的地位（将“职教员”修正为“教职员”，教员的待遇和地位得以大幅度提高）；第二，提高中国课程的地位；第三，压低洋人的地位；第四，放开女禁。冯友兰与蒋廷黻有一个共识：罗家伦来清华掌校以及去职都是由于政治因素居间作用。蒋介石在政治上能够掌控北京时，罗家伦在清华就能有所作为，一旦蒋介石的政治影响力暂时淡出北京，罗家伦就进退失据，难以立足，这纯属时势使然。
罗家伦执掌国立清华大学校政不足两年，执掌国立中央大学校政则长达九年，如果说他在清华大学只是小试牛刀，那么他在中央大学就是大显身手了。
自1928年建校以来，国立中央大学几经学潮和“易长风潮”的冲击，再加上办学经费捉襟见肘，困扰难除，校政长期处于半瘫痪状态，教学和研究始终未上正轨。1932年8月，罗家伦受命于危难之际，出任中央大学校长。原本他不想接下这个烫手的山芋，无奈前任中央大学校长、时任教育部长朱家骅秉承蒋介石的旨意，一再登门力劝，“以国家及民族学术文化前途的大义相责”，罗家伦有天然的爱国心，“不忍在国难期间，漠视艰危而不顾”，于是他抱定“个人牺牲非所当惜”的勇气，挑起了这副千斤重担。但他要求政府保障办学经费，给予他“专责与深切的信任”。
1932年10月11日，罗家伦在中央大学的开学典礼上发表演讲，题目为“中央大学之使命”，悬鹄甚高，“创立一个民族文化的使命，大学若不能负起责任来，便根本失掉大学存在的意义；更无法领导一个民族在文化上的活动。一个民族要是不能在文化上努力创造，一定要趋于灭亡，被人取而代之的”，“创造一种新的精神，养成一种新的风气，以达到一个大学对于民族的使命”。他以柏林大学为例，当日耳曼民族受到拿破仑的军事挤压时，一代学者积极配合政治改革，再造民族精神，贡献綦大[qídà，极大]而影响深远。他为国立中央大学撰写的校歌歌词为：“国学堂堂，多士跄跄；励学敦行，期副举世所属望。诚朴雄伟见学风，雍容肃穆在修养。器识为先，真理是尚。完成民族复兴大业，增加人类知识总量。担负这责任在双肩上。”罗家伦从歌词中取出“诚朴雄伟”四字作为新校风的关键词：“诚”，即对学问要有诚意，不以它为升官发财的途径，不作无目的的散漫动作，守着认定的目标义无反顾地走去；“朴”，就是质朴和朴实，力避纤巧浮华，反对拿学问充门面，“唯崇实而用笨功，才能树立起朴厚的学术气象”；“雄”，就是无惧无畏的气魄，改变中华民族柔弱委靡的颓状，善养吾浩然正气，男子要有雄风，女生须无病态；“伟”，就是伟大崇高，力避门户之见，敢做大事，能成大器。“诚朴雄伟”和“励学敦行”八字至今仍是南京大学（中央大学的后身）的校训。适值国家内忧外患之际，罗家伦激励中央大学师生学习柏林大学前辈，“建立有机的民族文化”，葆有独立精神，复兴中华民族。非常时期，他要引导师生回归到学术中去，校纪就不可松驰，中央大学为此采取四项措施：一是“闹学潮就开除”，二是“锁校门主义”，三是“大起图书馆”，四是“把学校搬到郊外”。罗家伦是五四健将，靠闹学潮起家，现在却反对学生闹学潮，措施无比强硬，此举确实促人深思，耐人寻味。学生离开学校，去社会上蹚政治的浑水，只会被人利用，学业的荒废固然可惜，有时激成惨祸，还会危及生命。在罗家伦身上，我们不难看出五四健将们的精神嬗变，由感性的雾散抵达理性的晶凝乃是成长和成熟的必然结果。
罗家伦的治校方略为“安定”“充实”“发展”六字，拟分三个阶段来实行，每个阶段约摸需要三年。然而形势比人强，七七事变后，中央大学内迁至重庆沙坪坝，在炸弹如雨的战争年代，安定已无从谈起，但即使得不到经费的全额支持，中央大学仍然有较大的充实和长足的发展，学生人数从一千多增加到三千多，为此开办了柏溪分校。有一次，日机轰炸沙坪坝中央大学校舍，炸塌了二十多座房屋，罗家伦的办公室也在其列，就在这间四壁仅存一面完壁的危房里，他照旧办公，并且撰成《炸弹下长大的中央大学》一文，亮出精神之剑：“我们抗战，是武力对武力，教育对教育，大学对大学；中央大学所对着的，是日本东京帝国大学。”此言掷地有声，足以廉顽立懦。身为大学校长，罗家伦胜任繁剧的事务，但他的特长仍是演讲和写作，他向学生演讲“新人生观”，多达十五次，其内容包括“动的人生观”“创造的人生观”和“大我的人生观”。1942年，重庆商务印书馆出版《新人生观》，罗家伦将它作为战时的精神礼物，“献给有肩膊、有脊骨、有心胸、有眼光而又热忱的中华儿女，尤其是青年”。此书出版后，五年间再版二十七次，是名副其实的畅销读物。他希望中国人具有“理想”“智慧”“人格”“道德的勇气”“知识的责任”“运动家的风度”和“文化的修养”，即使放在今天，这些项目中国人欲臻善境，仍是任重而道远，较之当年更加举步维艰。
有人说，罗家伦缺乏学生缘，不管他多勤勉，贡献多大，学生总是不愿意买他的账。为何如此？原因竟出在他的长相上，一个大鼻子，虽不碍事，却有碍观赡。中大学生戏称他为“罗大鼻子”，某促狭鬼作五言打油诗，极尽调侃之能事：“鼻子人人有，唯君大得凶，沙坪打喷嚏，柏溪雨濛濛。”丑化他的诗作还有更为露骨的，实在有辱斯文，不堪笔录。
1941年8月，罗家伦请辞中央大学校长。原因是什么？一说是办学经费捉襟见肘，巧妇难为无米之炊；一说是罗家伦与教育部长陈立夫之间存有嫌隙，难以调和；一说是罗家伦不肯拿大学教授的名器作人情，得罪了权贵；一说是蒋介石为了奖励汪（精卫）系归渝人士顾孟余，暗示罗家伦腾出中大校长职位，罗家伦遂欣然让贤。不管是哪种原因，罗家伦从此离开了教育界，则是不争的事实。他一派诗人光风霁月的性情和士大夫休休有容的涵养，勇于公战而怯于私斗，根本不是做政客的材料，却偏偏要去混迹于政客圈中，日日与之周旋，那种“业务荒疏”的窘态和处处吃瘪的情形就可想而知了。这位五四健将注定不是宦海中的游泳高手，呛水的时候，他更希望回到大学校园，那里才是他安身立命的地方。罗家伦执掌大学校政，处处取法乎上，是真正的斫轮高手，可惜为时势所限，未能尽展长才。
1945年9月9日（受降日），罗家伦在《新民族观》的序言中笔歌墨舞地写道：“我们要认识过去，把握现在，创造将来！”那时，他辞去中央大学校长职位已经四年，但他这番话仍是说给中华民族的青年听的，他对他们始终寄予厚望，抱有信心，不可能逆料到他们将会遭遇空前的政治劫难，竟被彻底地耗费掉。
