1929年4月，冯玉祥和蒋介石关系破裂，蒋、冯战争一触即发。鉴此形势，冯玉祥命杨虎城率部随孙良诚部向河南撤退，而杨虎城分析形势觉得不妥，未听从军令。此时南京何应钦来电邀杨虎城赴南京一晤，杨虎城应约前往，并与蒋介石见面。9月，杨虎城部受编为国民革命军新编第14师，开往河南南阳，杨虎城兼任南阳守备司令。从此，杨虎城部脱离冯玉祥而附属于蒋氏系统。1930年3月，杨虎城部又改编为陆军第17师。5月，蒋、阎、冯中原大战爆发，杨虎城率部向洛阳进军，一路追击冯军，7月，杨虎城部先后扩编为第7军及讨逆军第17路军，杨虎城任军长及总指挥。11月，杨虎城部进占西安。途中，蒋介石电告杨虎城，要他准备组织陕西省政府。此时南汉宸正在杨虎城的军中，杨虎城遂命南汉宸筹划此事，自此，南汉宸一直成为杨虎城之臂膀。西安之战后，杨虎城任陕西省政府主席，南汉宸为政府秘书长，代杨主持政府日常工作。
杨虎城深知自己不是蒋介石的嫡系，蒋介石委任他为陕西省政府主席是一时的利用和迫不得已。所以自上任开始，杨虎城就对蒋介石有所提防。果然，杨虎城在任陕西主席期间，蒋介石为了控制杨虎城，在军队中不断安插自己的亲信，以削弱杨虎城的力量；在陕西地方培植自己的势力，来限制杨虎城在陕西的权力；在政府组阁时也多次要杨虎城安排蒋指定的人选，甚至安插特务分子担任陕西省教育厅长，并对杨施加压力，要他撤换南汉宸，杨虎城只得让南汉宸离开。南汉宸离开后，南京政府就立刻发出了通缉南汉宸的通令。许多事件表明蒋对杨的不信任和担忧，杨与蒋的矛盾日益明显化。
在当陕西省政府主席的几年间，杨虎城在对付蒋的诡计同时，为当地人民做了不少有益的事，如发展教育事业，提倡学术自由，为培养进步青年，资送他们到黄埔军校、北京大学以及日本、德国、英国学习，着手抓水利建设，建成泾惠渠和洛惠渠等工程，共可灌溉田地百万余亩。
1931年9月18日，日本故意将沈阳附近的铁路炸毁，造成“九一八”事件，并派遣武装入侵我国东北，蒋介石命令东北军绝对不得抵抗，东北军被迫撤至关内，致使日军长驱直入，迅速占领东北三省。民族危机感激发了杨虎城的爱国主义思想，当1933年3月日寇占领热河时，杨虎城赶到石家庄面见蒋介石，要求出兵抗战，蒋氏却不予支持，说什么中央自有整个计划，言外之意嫌杨虎城多事，杨虎城只得怏怏而归，心中对蒋介石更加不满。5月，当冯玉祥和吉鸿昌等爱国将领在张家口组织起察绥抗日同盟军时，杨虎城只能在言论和物资上予以援助，而不能出兵，精神一度抑郁不振。从此他意识到蒋氏的不可靠，国家民族不抗日是没有出路的，要不了多久，他的第17路军也会彻底完蛋。
1935年初，他奉蒋介石的命令阻截、围剿由鄂豫皖向陕南转移的红25军，遭到红军沉重打击，其后又先后与红军作战而一败再败。这使他清醒地看到，剿共是一种毫无前途的军事行为。不久，蒋介石以突然袭击的方式免去了杨虎城的陕西省政府主席的职务。
夏天，张学良的东北军移驻西北，使西北的局面更加复杂化了。杨虎城的第17路军和东北军开始出现了矛盾，这是旧军队中常有的地方军和客军之间的摩擦，蒋介石利用这一矛盾，使张、杨二部互相牵制，以便自己从中操纵。他不断对张、杨二人进行挑拨，一面说杨虎城是地头蛇，野心勃勃，不好合作，一面说张学良堕落腐化，不抵抗日军而失掉东北，一面指示特务贴出“陕人治陕”、“驱逐不抵抗的东北军”的标语来激化两部之间的矛盾，一时造成杨、张二部不同程度上的冲突和纠纷。西北军下属军官不了解，对东北军有极大意见，而杨虎城对张学良部却能从宽容的态度出发，教导下属要有同情心，不能以正常情况对待这样的问题。因为东北失陷对于东北军和当地人民来说几近于亡国，而张学良又为蒋介石背了这口黑锅，杨虎城心中是十分明白的。之后，随着人们对东北失陷后的情况有所了解，陕西军民对东北军民有了深深的同情，常常关照他们，两个部队的关系有了好转，为后来联合发动西安事变打下了群众基础。杨虎城对张学良在东北时的处境和遭遇也表示了同情和理解。这年9月，张学良的110师和109师被红军消灭，张学良十分沮丧。此时的一天，杨虎城对张学良作了推心置腹的交谈，安慰张学良，张学良非常感动，二人关系有了进一步加深。杨虎城还对部属说：“我们对人（指张学良）要看他的长处，要看他有杀父之仇与亡国之痛。我们要搞好和张的关系，否则就会中蒋介石的奸计而同归于尽。”此语表现出他深厚的仁爱之心和敏锐的政治洞察力。
同年8月1日，中共中央发表了《为抗日救国告全国同胞书》，号召停止内战，一致抗日，“共产党愿意立刻与中国一切愿意参加抗日救国事业的各党派……以及地方军政机关进行谈判，成立国防政府问题。”杨虎城闻此讯如同绝处逢生，完全同意中共这一英明决策，并派人研究了具体办法。11月份，杨虎城去南京参加国民党第五次全国代表大会，会议期间，他花钱当选了一个中央监察委员，心里很不是滋味，心想自己从辛亥革命起就闹革命，到今天还得花钱买官，太丢人了。国民党五大使他对国民党彻底失望了。会后他返回西安。
12月，毛泽东派红26军政委汪锋来西安面见杨虎城，并带来了一封亲笔信。信中，毛泽东语词恳切地说：“先生同意联合战线，盛情可感……。先生如以诚意参加联合战线，则先生之一切顾虑与困难，敝方均愿代为设计，务使先生及贵军全部立于无损有益之地位。”毛泽东的来信，使杨虎城深受感动。因此故，汪锋与杨虎城作了三次恳谈，与此同时，南汉宸又派王世英秘密赴西安游说杨虎城，最后杨虎城同意与中共达成协议。大致内容为：一、17路军与红军建立友好互不侵犯协定；二、双方互派代表，在杨处建立电台，秘密联系；三、在17路军的适当地点建立交通站；四、双方同时做好抗日准备工作，对部队先进行抗日教育。这些协议内容后来很快在杨虎城的指示下在杨部落实了。从此，双方在前线再未发生过冲突。在后来的军事行动中，杨虎城为红军提供了许多方便，同共产党的合作进入了一个新的阶段。
此时，杨虎城的第17路军、张学良的东北军和处在陕北的中国工农红军形成了三位一体的抗日民族统一战线，对蒋介石是一个重大的威胁。为消除这种威胁，蒋介石在西安设立了大量的特务机构，成立了西北“剿匪”总部，妄图控制西北的整个局面。从1936年的10月开始，蒋介石就又采取了他一贯的政治伎俩，收买和分化不同地方的军事力量，企图一举消灭红军于陕西，完成他的“安内”大业，而对日寇的入侵仍然采取不抵抗政策。他从各地调来高级军政人员齐聚西安，其派驻陕西的嫡系部队与精锐部队达260个团共计30余万人，他命令在西安扩建飞机场，集中了100多架从意大利买回的新式飞机，准备对红军发动全面的进攻，以为最多一个多月时间就可以消灭红军而凯旋而归了。于是在1937年12月4日，蒋介石杀气腾腾地来到西安，对张、杨二人以及部下作了多次讲话，威胁利诱，要张、杨对他提出的两个方案作出选择和决定，一是服从剿共命令，将两部全部开往陕北前线，向陕北红军进剿，中央军在后面接应督战；二是杨、张如不愿出兵，则将东北军调到福建，17路军调到安徽，将陕甘两省让给中央军去“剿共”。这两个方案都是杨、张不能接受的，于是，二人仍向蒋介石陈说利害，要求蒋氏联共抗日，蒋介石却严厉呵斥张学良，甚至拍案谩骂，扬长而去。张、杨二人见苦谏、哭谏皆无效，经协商，决定采取兵谏的方式来逼迫蒋介石同意抗日。
11月4日至11日，张学良与杨虎城对兵谏作了具体布署：张部负责包围华清池和西安至临潼间的警戒，杨部负责西安市内和陇海路西安车站、西郊飞机场的军事行动，包括解除中央宪兵、特务、警察、中央军驻上述地区部队武装，扣留飞机、扣留住在西安招待所及散居各处的南京军政大员。12月11日晚上9点，杨虎城召集亲信部下，宣布了兵谏计划，他慷慨激昂地说：“蒋介石不顾民族危亡，一意孤行，坚持内战，竭力挑拨我们和东北军的关系。这次蒋介石召开的军事会议，决定大举‘剿共’，实际上要消灭我们和东北军。我和张先生决定硬干，要干就彻底干下去，把蒋介石抓起来！”接着他宣布了具体部署，并指挥部队迅速到达指定地点待命。晚12点后，张学良和他的高级干部来到新城杨虎城的住处，坐镇进行指挥。12日凌晨5时左右，东北军的白凤翔和孙铭九部执行捉蒋任务，在潜入华清池蒋的住所时被卫兵发现，发生枪战，蒋介石的卫士队士兵一时还未反应过来，就被东北军士兵用轻机枪扫射而死，蒋介石听到枪声，仓皇出逃，向住所外的山间狼狈逃窜，躲在一块大石头后面。捉蒋部队迅速进入蒋的寝室，发现人不见了，而被子内尚有余温，桌上假牙还放在水杯中。参加此次行动的一位东北军官立即打电话将此情况报告张学良，张学良命令部下查汽车，汽车一辆不少，张学良遂命令部队扩大搜索范围。捉蒋部队在蒋介石藏身的虎畔石附近发现有人探头，一枪将其击毙。蒋介石这才惊慌失措地举起双手大叫：“我在这里！”部队走近一看，蒋介石的秘书肖乃华倒卧一边，蒋介石只穿一件睡衣，赤着一只脚，面色苍白，浑身发抖。蒋介石见有人来捉他，问道：“你们是哪一部分的军队？”“我们是东北军！”蒋介石起初以为是红军，一听说是东北军，就骤然神气起来，又以为是一部分军队哗变，就说：“我是领袖，张副司令在哪里？”并表示不肯下山，部队战士强行把他拉下了山，押到新城大楼住下。同时杨虎城部也分别解除了西安城中各中央军部队的武装，并拘捕了尚在西安城中的高级军官陈诚、卫立煌等10余人。
兵谏的初步行动获得成功，张、杨立即通电全国，发表了对时局的宣言，《宣言》说：“东北沦亡，时逾五载。国权凌夷，疆土日蹙，淞沪协定屈辱于前，塘沽、何梅协定继之于后，凡属国人，无不痛心。近来国际形势骤变，日寇汉奸，相互勾结，以我国家民族为牺牲。绥东战起，群情鼎沸，士气激昂。于此时机，我中枢领袖应如何激励军民发动全国之整个抗战，乃前方之守土将士浴血杀敌，后方之外交当局仍力谋妥协。自上海爱国冤狱爆发，世界震惊，举国痛心，爱国获罪，令人发指。蒋委员长介公受群小包围，弃绝民众，误国咎深。学良等涕泣进谏，屡遭重斥。昨日西安学生举行救国运动，竟嗾使警察枪杀爱国幼童，稍具人心，孰忍出此！学良等多年袍泽，不忍坐视，因对介公为最后之诤谏，保其安全，促其反省。西北军民一致主张如下：一、改组南京政府，容纳各党各派共同负责救国。二、停止一切内战。三、立即释放上海被捕之爱国领袖。四、释放全国一切政治犯。五、开放民众爱国运动。六、保障人民集会结社一切政治自由。七、确实遵行总理遗嘱。八、立即召开救国会议。以上八项为我等及西北军民一致之救国主张……”同时张、杨致电中共中央，请中共中央派代表来西安共商大事。
12月13日，杨虎城向自己的部队作了报告，他说道：“我们这次举动，把个人的荣辱生死完全抛开，一切都是为了国家民族！我们这次举动，对国家民族将要发生什么影响，我们真是再三再三地考虑，假如无利于国家民族，我们无论如何也不干，反过来说，我们一定要干！我们这次举动，无疑的，对于国家的秩序或有相当的影响，但权衡轻重，为了拯救国家的危机，是不得不如此，这样作，对于国家终归是有好处的！”12月14日至15日张学良和杨虎城分别在西安电台作了广播讲话，12月16日，两人又在西安革命公园召开的西安市民大会上作了讲话，重申了八大主张，强调了抗日的决心，对兵谏的目的作了充分的解释。12月20日，他们发表了告东北军和17路军将士书，以无比悲愤的心情号召全体将士：“我们亲爱的将士们！事实已经摆在我们面前，我们的国家，已到了生死关头，真是抗日则生，不抗日则死。我们必须巩固我们抗日救国的战线，去与一切破坏我们的恶势力相拼，方能实现我们的主张，才能收复我们的失地，才能湔雪我们的一切国耻。这是我们由理论而实行的时候了，我们需要团结，我们需要奋斗，我们必须不辞一切光荣胜利的牺牲。……我们亲爱的将士们！我们具有坚强民族意识的亲爱的将士们，这是我们起来的时候了！白山峨峨，黑水汤汤，我们光荣的胜利，就在目前，我们一定要到黄龙痛饮的。我们亲爱的将士们！我们热血沸腾的亲爱的将士们，我们一定要不辞一切艰险牺牲，去争取中华民族的解放与自由，去达到我们最后的胜利！”
