被解放，临汾成为一座孤城。正太线沿线300多里被解放军控制，太行、冀晋两解放区也连成了一片。阎锡山被打得目瞪口呆，除了大骂部下之外，再也拿不出什么妙招。1947年不仅没有成为他的复兴年，反倒成为他走向最后末日的转折年。
1948年2月，解放军发起了临汾战役。在山西全省的地图上，南边的临汾，北边的大同，是省城太原的南北屏障，也是山西境内南北两翼的中心。经过多年经营，临汾城周围建立起了坚固的工事，城墙又建筑在一个大土丘上，易守难攻。激战展开后，连蒋介石也惊慌失措，忙给阎锡山打气，宣称要“决心保卫临汾”，请美国陈纳德的飞行队派飞机助战，阎锡山则连续给驻防军司令梁培璜打电报，声称保卫临汾就是保卫太原，恶恨恨地令他“人尽物尽，城存成功，城亡成仁”，只能死守到底。梁培璜表示要与临汾“共存亡”，并在自己的床下堆了柴草，备好了汽油，显示与临汾共存亡的决心，同时就给部下下达了所谓“八杀”令：奉令进攻延迟者杀；奉令赴援延迟者杀；未奉令放弃守地者杀；邻阵被攻有力不援者杀；邻阵被陷不坚持本阵者杀；滥行射击虚报弹药、阵前无敌尸者杀；谎报军情企图卸责者杀；主官伤亡次级不挺身代行职务者杀。除了用一个“杀”字逼迫部下卖命之外，这位司令没有其它命令可发，充分暴露了在解放军的强大攻势面前，已经陷入完全绝望的状态。而最后的结果又极具讽刺意味：临汾城被攻破之时，这位晋绥军第六集团军中将副总司令并没有杀身成仁的勇气，而是乖乖地举手当了解放军的俘虏。临汾解放后，阎锡山失去了晋南，吕梁、太岳解放区连成一片。至此，山西全省只有北边的大同一座孤城，太原及太原附近的晋中地区若干县还在阎锡山的控制之下，阎锡山的统治岌岌可危了。
面对一连串失败，阎锡山倒也还有点自知之明，他不得不承认解放军成功地运用了运动战，“能把孙子的‘善攻者，动于九天之上；善守者，藏于九地之下’从未实现的兵法，实现在他的军队中。”而自己的军队，“有飞机，有大炮，占了这飞机大炮的光，学下个守；受了飞机大炮的害，没有学下个跑。”结果是落下两条死路：分散开叫人打死，集结起来自己饿死。不能说他的这些总结没有道理，但他不可能懂得，与人民为敌，与历史潮流对抗，即便学会跑也还是个死。
解放军在解放临汾后，稍作休整，就挥师北上，准备与阎锡山的晋绥军在晋中决战。6月18日，晋中战役正式打响。解放军总兵力6万多人，而阎锡山方面包括地方团队总兵力在10万以上。在徐向前指挥下，解放军连战连捷，消灭了阎锡山的王牌军“亲训师”，击溃了晋绥军主力赵承绶的野战军，赵本人也当了俘虏。历时一个多月的晋中战役结束，阎锡山的10万大军被消灭，31名高级将领被击毙或俘获，晋中14座县城被解放。太原成为一座孤城，阎的主力丧失殆尽。他所能控制的区域，只有南北约60公里，东西约50公里的一个狭长地带了。
太原是华北军事战略要地，东临地形复杂的罕山，城西有汾河作为天然屏障，河西20公里处又是山地。这种地形，决定了太原易守难攻。阎锡山从开始统治山西起，就利用城周围的有利地势，不断构筑和加强城防工事。抗战胜利返回太原后，更是大修碉堡，并自命为“碉堡战法”。太原有当时堪称强大的兵工厂，钢铁、水泥等建筑材料充裕。为了建筑碉堡和城防工事，所产出的建材，没有阎锡山的亲自批准，一律不准用于其它。在修碉堡的问题上，阎锡山确实费了不少心血。他认为：“共产党凭的人多，用的是波浪式冲锋的人海战术，所以到处取胜，谁防不住这一手，谁就要失败。我们一定要凭借碉堡群组成的据点工事，充分发挥火力，做到以铁弹换肉弹，共产党就没有办法。”宣称要仿照第一次世界大战时的“凡尔登”战例，采用比要塞还高出一筹的碉堡政策。他亲自绞尽脑汁设计碉堡，坐在家里，一边苦苦思索，一边用手中的小文明棍在地上画来画去，画成一种图形，立即命令待从参谋，根据图形画出图纸，迅速照图样构筑起实物，叫部队派人参观并照样构筑。还秘密命令各级指挥官，一俟战斗打响，就将碉堡的门从外边锁上，让守碉堡的士兵无法逃跑，美其名曰“置之死地而后生”。他多次在军事会议上强调，太原周围30里以内要修筑一万个碉堡。到解放太原前夕，城周围的百里防线上，实际共修筑起大小碉堡5600多个，有的碉堡由厚达一米的钢筋水泥筑成，极其坚固。对于阎锡山大力修筑碉堡的用意，王靖国曾在“铁军”内部的会议上，有过画龙点睛式的说明，他说：“会长”的用意，是以政治作用为中心，军事还是其次。他是要大张旗鼓，遍地筑起坚固的碉堡，让共产党知道咱们有充分准备，进攻不易。共产党向来是只占便宜不吃亏，知道要吃亏，他就不来了。这是“会长”的一个政治手段，人家一辈子就会耍这个手段，十拿九准。咱们听“会长”的保险没错。”一位美国记者看过太原的碉堡后，曾经发表感想说：“任何人到了太原，都会为数不清的碉堡而吃惊。高的、低的、长的、圆的、三角形的，甚至藏在地下的，构成了不可思议的严密火网。”阎锡山自己更是大吹大擂，声称其碉堡工事“可抵一百五十万军队”，其枪炮弹药，“有杀伤一千五百万敌人的火力”。阎锡山还对部下表白他的决心说：“共产党与我们是誓不两立，是我们真正的死敌，我决心与太原共存亡。不要说我活着不与共产党人见面，就是死后，连骨灰也不留给他。做一个人一定要做一个自由的人，决不能叫共产党捆着手脚打。”其实，这说明，他已经陷入了绝望的境地。
面上摆出决一死战的架势，而他心里明白，晋中战役后，晋绥军的战斗力已经基本丧失，要保住太原，十分困难。为摆脱困境，他只好向蒋介石求援。蒋、阎之间，虽然勾心斗角几十年，但蒋介石出于保住太原有利于华北大局的考虑，于1948年8月中旬，亲自飞到太原，与阎锡山当面协商太原防务问题，并允诺立即调兵增援。不几天后，黄樵松的第30师从西安空运到太原，随后又将榆林的83旅调到太原。美国空军飞行队陈纳德也予以空中支援。得到这些援助，阎锡山的腰板又感觉硬了起来。他提出所谓“总体战”的方针，成立“总体行动委员会”，把政治、经济、军事各方面的力量都统一调动，并制定保卫太原的“十二条行动纲领”，强迫太原民众组成参战队和助战队，将太原变成“战斗城”。提出“毁家才能保家”的口号，进一步搜括民脂民膏，频繁举行募捐劳军活动，大量拆毁民房，将高一点的民居都改筑成炮楼和据点。还把各机关的公务员和学校的学生，编成“公务员师”，强迫进行训练，担任城防和特别勤务。
阎锡山虽然下了很大的力气，但所有这些办法，都已不可能扭转大势。解放军先是对太原进行外围战，打掉了他的两个多师，并进占了武宿飞机场，突破了太原的第一道防线。10月以后，又攻下了太原东山的四大要塞。
这时，从西安空运来的中央军30师（到太原后，为与阎锡山徒有虚名的大规格番号相一致，改称为30军）师长黄樵松萌生了起义的想法。黄原属西北军，西安事变时，就接受进步思想影响，抗战胜利后对蒋介石打内战的做法深为不满。来到太原后，见太原一片凄凉，已经陷入绝境，自知打下去一定不会有好结果。而他的西北军旧友、已经在邯郸起义的高树勋又给他写信，劝他认清形势，弃暗投明。黄樵松经过反复思考，决定举行起义，派人出城与解放军秘密联络。解放军方面表示欢迎，并立即派华北第一兵团政治部主任胡耀邦和高树勋将军与其代表商谈起义具体办法。起义计划紧锣密鼓地开始实施。11月初，黄与其部下商谈起义事项，不料其部下师长戴炳南口是心非，当面表示拥护，却趁到前线之机，跑到太原绥靖公署告密。阎锡山听到告密，吓得脸色苍白，手脚发抖，好不容易才镇静下来，忙调动部队，布置防范，并以召开紧急会议为名，请黄樵松参加。黄没有想到部下会出卖他，对此缺乏应有的警惕，接到通知，就往太原绥靖公署出席会议，结果不幸被捕。正在他的部队做联络工作的解放军第8纵队参谋长晋夫等人也被捕。之后，黄、晋都被押送到南京，在国民党军人监狱中壮烈牺牲。
起义失败的这一段插曲，暂时救了阎锡山的命。而此时解放军在东北取得了辽沈战役的胜利，大批部队正开进关内，准备会战京津地区。为防止平津地区的傅作义部下决心突围南逃，中共中央军委对太原前线发出暂缓攻击的命令，要求“再打一二星期，将外围据点再攻占若干，并确实控制南北两机场，即停止攻击，进行政治攻势。部队固守已得阵地，就地休整，待明年1月上旬，东北我军入关攻平、津时，你们再攻太原。”太原前线进入为期五个月的围困阶段。
解放军开展了强大的政治攻势，阵前喊话，散发宣传品，针对性强，又都是实话，对晋绥军官兵产生很大的冲击力。如快板《东山解放后的太原形势》这样说：
太原城东是大山，汾河往西还是山，太原好象饭碗底，孤孤摆在汾河滩。阎锡山，自己讲，太原形势像人像：东山好比太原头，手是南北飞机场；石咀子和风梁阁，好比双眼高又亮；两脚伸在汾河西，太原市内是五脏；四大要塞是屏障，牛驼寨，是生命。
阎匪自己画的像，已被扯破多半张：两手干脆被打断，两腿胳膊受了伤；两只眼睛早剜掉，脑袋已经离肩膀；大炮架在山头上，炮弹打在内五脏；阎匪饥饿又恐慌，等着破肚来开膛。
解放军的团团围困，饥寒交迫的难挨日月，毫无出路的绝望情绪，推动着晋绥军官兵纷纷投降。由单独行动，逐步发展到整班整排甚至整营。到了这种时候，阎锡山再有欺骗和控制的办法，使用起来也不灵了。围困期间，晋绥军官兵先后有12000多人主动投诚，使阎锡山眼睁睁地损失了一个整编师。
太原的处境越来越困难。阎锡山预感到太原要失守，在作困兽之斗的同时，加紧搜括和转移财富，为最后的逃亡做准备。此时，他那善于投机取利的才能又得以发挥。为了转移资金，以支持中央政府发行“金圆券”之名，从山西各营业单位提出黄金一万两，派飞机运往南京，兑换成金圆券，准备发一笔财。但后来兑值跌落，他不肯吃亏，又要求退还黄金。蒋介石岂肯将到手的黄金再吐出来，于是批准换给外汇，但此外汇必须向指定国购买面粉。不得已，山西这一万两黄金就变成了4000吨面粉。面粉运不回来，只好存在上海，希望价格上涨时抛出去再赚一笔。到上海也不安全了，阎锡山命人将面粉仓皇拍卖，携巨款逃到了台湾。1948年年末，阎锡山又命令省内外的大量官办工商业结束业务，将货物折款转移到上海，时值黄金四万五千两之多。除了现成财产的掠取，阎锡山还趁机大吃空额，克扣粮饷，大发“国难”财。南京政府发给的粮饷，按20万人的编制领取，而实际人数还不到10万。从南京领到的粮食，除不足一半空运到太原外，其余留在了上海、汉口、青岛等地，折款到手，月得黄金五千余两。仅此一项，按起、止十个月计，阎锡山即得黄金五万余两。其它军服布匹棉花，莫不如此处置，又得黄金合计一万五千余两。真可谓心刁手黑，生财有术。
1948年12月，阎锡山亲自飞到南京，向蒋介石诉苦说：“太原被围已届三月，粮弹补给已感极度困难。”然而，这时的蒋介石已经自顾不暇，没有余力顾及太原了。阎锡山冒着危险，辛辛苦苦跑了一趟，也没有求来什么援助，只好把军政官员和部队的裤带勒得更紧。至于民众，更是陷入了惨不忍睹的境地。阎锡山一筹莫展，每日里焦躁不已，也顾不得再装什么虚假面孔遮遮掩掩了，把渺茫的希望寄托到了扶乩打卦的巫婆神汉身上。从求得的“好”卦象或“吉祥”乩辞中得到点滴安慰，更重要的是用这些名堂来欺骗和安定人心。
1949年1月，在南京的贾景德奉蒋介石的命令，给阎锡山发来一个指示性质的电报，称：“一、就大局看，太原绝难长久支持，请速退往西安，担任西北行营主任，负指挥西北各处重责。干部由陈纳德用飞机接走，军队尽量西撤。由胡宗南派遣精锐，从离石军渡到太原的公路，打开一条走廊，另由陈纳德的飞虎队，抽战斗机100架次掩护西撤；二、共产党对太原兵工厂很重视，放弃太原的时候，一定要把兵工厂破坏。”应当说，蒋介石的这个意见，是从大局出发，对阎锡山还是一片爱护之情。但阎锡山不同意，他要死守太原。明知没有出路，为何主张死守？因为阎锡山的政治生命，是与山西紧密相连的。离开山西，他就成了无根之草。未到最后关头，他还要拼命再赌一把。
1949年1月31日，华北“剿总”总司令傅作义率部接受和平改编，北平宣布和平解放。因傅作义原是晋绥将军，这一事件在山西就引起特别大的震动。阎的一位亲信曾这样说：“会长在1927年能看见国民革命军是刚升起的太阳，毅然换上青天白日旗，今天看见共产党这个刚升起的太阳，为什么不能和平地换上红旗呢？”但这种步傅作义后尘，求和平解放的进言，都被阎锡山“把口封死”了。当时居住在北京的山西人士，许多曾是阎锡山的亲信或部下，如温寿泉、郭宗汾、赵丕廉等，他们都希望太原能仿照北平，和平解决；而在晋中战役中被俘的晋绥军高级将领赵承绶等，也一再写信给阎锡山，劝他识大局，顺大势，争取和平解决太原。中共中央则允诺，阎锡山如能改变过去的立场，可考虑让他参加新政治协商会议。但阎锡山对这些善意的言论和举措，一概拒绝，还特别召开会议，大骂傅作义，大骂赵承绶等人是“没人格，不要脸”。1949年2月，在为几个到太原采访的美国记者举行招待会时，特意在桌子上放了些装毒药的小瓶子，在屋外摆放了一口棺材。面对那些记者，阎锡山装模作样地宣称：“蒙是坚决反共的，永远不会与共产党妥协。抗战胜利回到太原第二天，就开始筑碉堡，准备和共产党作殊死战。蒙阎锡山决心死守太原，与太原城共存亡。蒙已令侍从医生和德国医生研究，配装了五百瓶自杀药水，如果太原失守，蒙就和部下饮此毒药，同归于尽。蒙不只不与共产党妥协，且不做他们的俘虏。”他还鼓吹要向古代壮士田横学习，说什么“昔日田横五百壮士，壮烈牺牲。咱今天有五百基干，要学五百壮士，誓死保卫太原。不成功，便成仁。”他把500瓶毒药，发给每个基干一瓶，企图让这五百基干都服从他的意志，“壮烈成仁”。此前不久，在晋中战役后期，解放军曾设法找到阎锡山的老师、一位年近八旬的老秀才进城试探。阎锡山为了显示自己“决不与共产党谈判”的决心，竟置“不斩来使”和“一朝为师，终身为父”的古训于不顾，残忍地将这位老者杀掉。 解放军胜利进军的步伐，也使国民党内部的矛盾不断激化。蒋介石于1949年初宣布下野，退居幕后，由李宗仁代理总统，企图以“和平谈判”的策略延缓解放