等李世民随李渊离开后，李元吉对李建成怫然道：“我不过是为兄长你着想，帮你除掉争夺储位的强大竞争对手。我这么干对我又有什么好处，一切都是为了你。”
李建成解释道：“父皇在场，四弟难道就不投鼠忌器吗？父皇已老，倘若因此受惊，我们兄弟俩可就犯了大罪。我看二弟始终紧跟在父皇身旁，显然是有所察觉，因此颇为警醒。他武艺不弱，倘若刺杀不成，父皇见到我们兄弟相残，必然怪罪于我们兄弟，到时废黜我太子之位，等于是把皇位拱手相让给二弟。我们万万不可鲁莽行事，除掉二弟必须要想一个万全之策，让父皇完全不会怪罪于我们兄弟，这样我们才能高枕无忧。”
一番话说得李元吉心服口服，道：“还是大哥想得周到。”
这些事情经过还是李世民安插在李元吉身边的亲信转述给李世民听的，铁纲靖听后，对李世民又是增加了几分佩服，原来他早已做了准备。既然在李元吉身边安插了亲信，那多半在李建成身边也安插了亲信。
后面发生的一件事情印证了铁纲靖的想法。
李建成暗中擅自招募了长安及四方骁勇之士两千余人为东宫卫士，分别屯在左、右长林，号称“长林兵”。又暗中派遣右虞侯率可达志前往幽州，让燕王李艺发幽州精骑三百，安置在东宫东面的各个坊市中，准备用他们来补充在东宫担任警卫的低级军官。结果被人告发，李渊重责了李建成，下令解散长林兵，把可达志流放到巂州。
这些已经表明李世民已开始对李建成伺机采取反击。只是这些事情铁纲靖并不知情，看来李世民还是非常了解铁纲靖，知道他并不擅长这类谋略。
铁纲靖也不怪李世民，他清楚自己几斤几两，勾心斗角这类事情，他身边的古人几乎都能把他摁在地上摩擦。
虽说李建成暗中蓄积骁勇之士受到重责，但李渊对他仍然颇为信任。在武德七年四月，进入初夏时节，李渊前往玉华山的仁智宫游玩，命李建成在长安居守，监理国政，李世民和李元吉则跟随李渊一起。当然随行的还有裴寂、封德彝等大臣，以及不少妃子，其中包括张婕妤、尹德妃等。
张、尹二妃正是当年在晋阳起兵之前主动献身给李渊的两位妃子，从那后傍上李渊实现了飞黄腾达。
至于李玄霸，自从窦建德被杀后，他和李渊是相互不待见，李渊甚至禁止他入宫，因此他并没有随行。
那李渊年近花甲，武德七年时已是五十八岁，在那个时代算是高龄。他自己精力也渐渐不济，时常离开长安四处游玩，放松心情，另一方面也是为了培养李建成的治国理政能力，让他做好接班准备。
可李渊正在仁智宫度假，忽然东宫的郎将尔朱焕、校尉桥公山来到仁智宫向李渊告变，称太子李建成勾结庆州都督杨文干，趁皇上不在京都之时，举兵起事，表里相应。
李渊一听，大惊，玉华山离长安三百余里，而庆州到长安不过两百多里，若太子果真与杨文干内外勾结，只怕他是回不了长安。
他仍然难以置信，问道：“何以为证？”
尔朱焕、桥公山取出一套制作精良、价值不菲的明光铠甲呈上，道：“回禀陛下，此乃太子命我等送去给杨都督的铠甲，他们还约定，见盔甲即刻起兵。”
联想起此前李建成私自招募勇士，李渊大怒：“朕还没死，他就等不及了，即刻下诏召李建成来见我。”
于是一道手诏快马加鞭送到李建成，不过手诏中没有提杨文干之事，而是称要在玉华山狩猎，命李建成同去，父子四人来一场竞技，看年迈的父亲雄风犹在，还是三个儿子年轻胜出。
李建成不明真相，接到手诏，惶惑不已，他一离开长安，朝中无人监国，李渊不可能以狩猎这种小事情召他过去，必然是发生了不得了的大事情，而且对他极为不利。
恐惧不安的他急忙召集东宫谋士聚在一起商议，太子舍人徐师谟竟然劝道：“圣上此前重责太子，如今太子不在圣上身旁，只怕是秦王在圣上耳旁中伤太子。而且我听闻秦王此次随行，带了重金，用于厚贿各个妃子，这些妃子再受秦王指使，在圣上枕边吹一些歪风邪气，只怕太子此行凶多吉少。我等岂可坐以待毙，不如据城兴兵，趁机称帝。”
一旁的太子洗马魏征急了，道：“太子，万万不可行此下下之策。如今天下安定，百姓归心，若就此兴兵，无异于跟天下作对。况且秦王能征善战，军中威望极高，手下又是猛将如云，我等兴兵，只怕是正中秦王下怀，试问我等如何是秦王的对手？这无异于是把太子之位拱手相让。”
李建成点点头，越发焦虑了，道：“是这个道理，只是不知如何是好？”
魏征道：“为今之计，只有贬损车服，摒弃随从人员，只身向圣上谢罪。再拜托左仆射裴寂、张尹二妃等共同为太子求情，他们三人与圣上情非一般，或许有很大机会能挽回圣上的心。”
李建成别无良策，只得快马加鞭动身前往仁智宫，在离仁智宫六十里外，把随从官属全部留在毛鸿宾堡，只有十余骑护送他到仁智宫。在前往仁智宫的路上，早有他安插在李渊身旁的人把事情原委说与他知道，把他吓得魂飞天外，瑟瑟发抖。
等到镇定心神，他将十余骑留在宫外，只身往见李渊，匍匐在地，叩头谢罪，哭泣道：“父皇，冤枉啊！儿臣确实是有送杨都督一副明光铠甲，但绝无也绝不敢有造反之心，还望父皇明察！”
李渊生气不理会，李建成便一直使劲磕头，把地板磕得“咚咚咚”响，没过一会便头破血流，染红周边一大块地砖。
见李建成兀自不停，重视亲情的李渊终究心软了，怒道：“你且歇着，待朕安排停当，再找你问罪。”命人将李建成看押起来，任何人不得接近。
