1949年3月29日，阎锡山从被解放军围得水泄不通的太原，乘飞机逃到了南京。
在飞机上回望自己经营了38年之久的故土，阎锡山的心情之复杂可想而知。
这次离开，阎锡山心里十分清楚，他的军队将被解放军全部歼灭，他赖以起家的“晋军”从此将成为一个历史名词。
那么，失去军队之后，阎锡山又如何能保证自己在里的地位呢？
阎锡山来到南京后，把主要的精力都用在了拉拢各方人士上：他和美国大使司徒雷登多次会面，希望博得美国人的好感和支持；同时，他又积极在蒋介石和李宗仁中间活动，通过调停“下野总统”和“代总统”的矛盾来抬高自己的身价显示自己的作用。
随着南京解放，国民迁到广州，面对政治、军事、经济各个方面的重重困难，何应钦内阁一筹莫展，最终选择集体辞职。
谁来接替何应钦“执掌中枢”呢？“代总统”李宗仁向中常会推荐了的元老人物——居正，但蒋介石不同意，最终居正以一票之差未能当选，愤懑的居正黯然离粤赴港。
剩下的人中，阎锡山是参加过辛亥革命的老资格，呼声不小。但阎锡山知道，他能否当选，还是要看蒋介石。在提名之后，阎锡山就借着继母在台湾病逝，自己前去奔丧的机会找到了蒋介石，摆出效忠的架势，请他指示施政方针。
蒋介石于是公开支持阎锡山，阎锡山最终成功就任“行政院长”到1949年11月，李宗仁又以养病为由，把中枢军政大权都交给了阎锡山。
谁能想到，阎锡山离开山西后，反而获得了他人生中最高的职务。只不过，“职务”并不代表“权力”，说到底，失去实力的阎锡山不过是被临时推出来利用的门面人物。
阎锡山上任后，在经济上开始“货币改革”，强行推动使用银元券，不过在那样的战局下，这个改革是不可能成功的；在外交上，此时已经失去了美国的援助，阎锡山四处奔波，乞求美援；在军事上，阎锡山把目光放到西北地区，他任命马步芳为“西北行政长官”兼“甘肃省主席”，给他在陕甘宁青四省自行筹饷征粮的权力，还将原来的“甘肃省主席”郭寄峤调离，让陕甘宁青四省变成纯属马家的天下，以巩固西北的局面。
阎锡山还派徐永昌带着自己的亲笔信和数箱银元飞往绥远，游说董其武，叫他坚守阵地，还鼓励他去策反傅作义，使其“觉悟返归”
然而，所有的这些努力最终一一落空。10月初，解放军逼近广州，阎锡山仓皇撤退至重庆；11月底，重庆解放；阎锡山又逃往成都；12月初，解放军兵临成都，阎锡山又登机逃往台湾。
后来，阎锡山病逝，蒋介石在《褒扬令》中夸赞阎锡山说他在这段时间“受命于危难之际，驰驱蜀粤，载徙台员，遗大投艰，勋勤备着”，指的就是上述这一系列事件。
但是，阎锡山和蒋介石毕竟是有着几十年的恩怨的宿敌，无论他怎么样做，他已经不可能再得到蒋介石得信任。对于自己的“过渡性质”，阎锡山心知肚明。
1950年3月，蒋介石在宣布下野1年零2个月后，宣布“复行视事”，重登宝座。五天后，他批准了阎锡山的辞职报告，并以嫡系陈诚取代了他的位置。阎锡山的政治生涯至此宣告谢幕。
此后，蒋介石给阎锡山安排了两个“虚空头衔”——“总统府资政”、第七届中央委员会评议委员，这两个有职无权的职务，伴随着阎锡山走完了他人生的最后10年。
1950年8月12日，阎锡山入住阳明山“菁山草庐”，开始了自己10年隐居的生活，期间有近50名忠心部属也跟着迁入，打理阎锡山住居生活。
因为怀念故土，他在菁山修建了一孔窑洞，并给它取名“种能洞”；他还向附近的矿务局租来土地，开辟农场，植树造林。
平日里，除非大型典礼或者蒋介石召见，阎锡山都不曾离开，偶尔会有一些老朋友前来拜访他，但相比从前的门庭若市、车水马龙，这实在是冷清的苦行僧生活。
在人生的最后10年，阎锡山写了不少的书，宣扬他的“中的哲学”、“大同世界”阎锡山潜心写作，有时候一写就是12个小时，有时候“午夜忽醒，略思有得，即起而录下”
写书让他感到快乐，在去世前一年，阎锡山说：“我写书就是我最乐做的事……如泉水外涌，越涌越舒畅。我需要在世的日子很短了，再有二年，就将我一切愿说的话，愿做的事，可以说完做完了。我这虽不是闻道而死，可以说是尽情而死，了无遗憾。”朋友的离世让阎锡山意识到了自己也时日无多了，就是在这样的心理背景下，他立下了最后的遗嘱，遗嘱共7条，说的全是细碎的小事：一、一切宜简，不宜奢。
二、收挽联，不收挽幛。
三、灵前供无花之花木。
四、出殡以早为好。
五、不要放声而哭。
六、墓碑刻思想日记第100段和第128段七、七日之内，每日各读选作之《补心录》一遍，每七早晚各读一遍，至尽七为止。
他甚至为自己写了四副奇怪的挽联：朽嗔化欲避避避，断断断，化化化，是三步工夫。
勉勉勉，续续续，通通通，为一等事功。
努力摆持摆脱开，摆脱开，沾染上洗干净很不易。
持得住，持得住，掉下去爬上来甚为难。
公道爱人有大需要时来，始能成大事业无大把握而去，终难得大机缘循中蹈对对在两间，才称善中到无处，始叫佳1960年5月，阎锡山开始腹泻，身体浮肿；5月23日，病情加剧，舌头僵硬，说话困难，头部低垂；5月23日，阎锡山回光返照，和老友贾景德在山上畅谈两个小时，随后心脏病发作，送往医院后医治无效去世，终年77岁。
阎锡山病逝前，把名下两栋房子交给了妻子徐竹青，把山上农场的产权交给了随他一起隐居阳明山的部属。阎锡山病逝后，阎锡山的部下和妻子一度因为遗产分配问题对簿公堂。
至于阎锡山的子女儿孙，当时都已经定居国外，除了四子阎志敏从巴西回来奔丧外，其余子女都因承担不起机票没有回来，而此后，阎锡山的子孙后代一直始终未曾返台扫墓。
阎锡山的结局，真可谓应了《红楼梦》里的那首《飞鸟各投林》。
