仁寿宫始建于开皇十三年（593年），竣工于开皇十五年（595年），由杨素担任监修，著名建筑师宇文恺担任检校将作大匠，封德彝（杨素堂妹夫）为土木监。杨素在战场令敌人闻名丧胆，在生活中则十分奢侈享受。他将修建仁寿宫视为讨好皇帝的大好时机，极尽奢华之能事，平山填谷以立宫殿，崇台累榭，宛转相属。又征发了大量丁夫，役使严急，丁夫死者数以万计。杨素为了掩人耳目，干脆用死尸填坑坎，上面覆以土石，筑为平地，其残暴程度令人发指。
高颎曾经前去视察仁寿宫，看到实情后大为不忍，向杨坚汇报说“颇伤绮丽，大损人丁”。杨坚一向以俭朴自居，听了已经是十分不满。赶到仁寿宫一看，宫殿果然极其华丽，立即勃然大怒，说：“杨素为离宫殚尽了民力，岂不是有意让天下人都怨恨我？”杨素弄巧成拙，惶恐万分，向号称“人邪辟，多阴谋”的封德彝求计。封德彝建议杨素改走夫人路线。杨素茅塞顿开，赶去拜见皇后独孤伽罗，说：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费。”
次日，杨坚召见杨素，责问仁寿宫一事。独孤伽罗在一旁为辨解说：“杨素知道我们夫妇年老，无以自娱，所以才盛饰此宫，这是他的一片忠孝之心。”力言杨素是出于好心。结果杨素不但没有被追究，还获赐钱百万，锦绢三千段。
仁寿宫事件是一个有力的信号，它表示着已经步入老年的帝国皇帝和皇后内心深处已经开始安于享乐。在以后的大部分日子，杨坚都喜欢呆在舒适豪华的仁寿宫，仁寿宫成为隋朝事实上的政治中心。当然，这里也是杨坚最后的终结之地。
隋开皇二十年，公元600年，隋朝立国进入了整整第二十年个年头。隋文帝杨坚依旧一如往昔地勤政，每日临朝视事，听政议政，批阅奏章，朝夕不倦，但是帝国的皇帝也表露出步入暮年的种种老态，开始喜怒无常，好用严刑峻法，以此来维护自己的权威。一度令隋朝引以为傲的《开皇律》也逐渐被皇帝的个人意志所凌驾，允许律外施法，刑罚极为残酷。当时盗取一钱者便要被判处死刑。有三个人共同偷了一瓜，也被判处死刑。
就在这一年的十月，还发生了一件比苛刑峻法更令举国上下震惊的大事——杨坚废去了长子杨勇的太子位，改立次子晋王杨广（后来的隋炀帝）为太子。太子废立是国家大事，关系国本，尤其杨勇自隋朝立国被立为太子以来，居太子位已经长达十九年，性情宽厚率真，参决军国政事也多为人称道。尽管他的弟弟晋王杨广也有着不凡的名声——仪表优雅、风度翩翩、礼贤下士、俭朴仁孝，但作为太子而言，杨勇并没有任何大的过错，为什么会突然被废呢？这不能不让人好奇其背后的原因。令人惊讶的是，最终决定废立太子的人并非杨坚本人，而是他的皇后独孤伽罗。在杨坚一生中，对他影响最大的人，并非别人，而是他的妻子独孤伽罗。这在中国历代皇帝中，是十分罕见的现象。58xs8.com