玄奘迁往玉华寺后，摆脱了俗务的干扰，用了四年的功夫，译完了秩册浩繁的《大般若经》。他已觉身力衰竭，欲搁笔停译。但在译场诸师及僧众的请求下，他勉强开始翻译《大宝积经》，但始译数行。便收拾梵本，向众人说：“此经部头和《大般若经》相同，我自量气力，已不能胜任。”遂正式搁笔。自此病情日益沉重。官方派在译场的检校人，将玄奘的病情上报，朝廷立即派遣御医往治。
唐高宗麟德元年（664年）二月五日夜半，中国佛教的一代宗师玄奘逝世于玉华寺翻经院，终年六十五岁。令人奇异的是，当夜远在长安的慈恩寺僧人明慧在夜半颂完经之后，绕佛堂行时，忽见天空有白虹四道，从北向南，直贯慈恩寺塔院。明慧感到很奇怪，他想：据称如来去世时，有白虹十二道出于天际，这是大圣迁化的象征，今夜现观白虹，莫非玄奘法师亡故了。次日他向众僧说其所见所想，大家都警疑不止。过了两三天，玄奘去世的消息就传到京师了。
玉华寺遗址出土的玄奘造释迦佛像座上的铭文唐高宗李治接到坊州刺史上奏玄奘去世的表章后，十分哀恸，他惋惜地说：“朕失国宝矣！”为之罢朝数日。下勅凡玄奘丧葬费用，都由官给。玉华寺译场暂停，已翻成的经论。按原来规定抄写传播。未翻的梵本，都交由慈恩寺收藏，以防散佚。
遵照勅命，门人们将玄奘灵柩，运还京师，安置在慈恩寺翻经堂内。每日来致哀的僧俗士庶络绎不绝。
玄奘初葬于长安城东郊的白鹿原上。安葬前，长安东市帛行，准备用缯采丝绸三千匹，结作涅槃，并饰以各色花佩，用以安载玄奘的灵柩，但玄奘的门人遵从玄奘的遗言，谢绝了这些铺张的作法。而殡葬的仪仗，仅用素白色幢帐。据说当日来自五百里内各州及长安的僧俗送葬者达百万人，人们都悲切哀痛。当日露宿于玄奘墓所者即达三万余人。
白鹿原地势高敞，离长安很近，唐高宗李治晚年身体不适，在宫中抬头即可看见玄奘的墓塔，徒增悲切之情。故于总章二年（669年）勅将玄奘墓迁于樊川北原。即今日长安樊川兴教寺内之玄奘灵塔。
