壬寅（二十八日），将独孤皇后埋葬在太陵。文帝下诏说：“杨素经手办理葬事，不辞劳苦地寻找吉地，就杨素的心意而言，对君父之事极为虔诚至孝，怎么能与平灭夷狄寇贼相提并论呢？应该另封他的一个儿子为义康公，食邑一万户。”并赐给杨素田地三十顷，绢一万段，米一万石，相应的金珠绫绵等等。
＇10＇蜀王秀至长安，上见之，不与语；明日，使使切让之。秀谢罪，太子诸王流涕庭谢。上曰：“顷者秦王糜费财物，我以父道训之。今秀蠹害生民，当以君道绳之。”于是付执法者。开府仪同三司庆整谏曰：“庶人勇既废，秦王已薨，陛下见子无多，何至如是！蜀王性甚耿介，今被重责，恐不自全。”上大怒，欲断其舌，因谓群臣曰：“当斩秀于市以谢百姓。”乃令杨素等推治之。
＇10＇蜀王杨秀到了长安，文帝见到他，不和他说话。第二天，派一个使者严厉责备他。杨秀谢罪，太子杨广和其他的几个王都流泪谢罪，文帝说：“原先秦王杨俊浪费财物，我曾用父道来训斥他；现在杨秀残害百姓，我应该用为君之道来制裁他。”于是就把杨秀交付执法官员。开府仪同三司庆整劝文帝说：“庶人杨勇已被废黜，秦王已经死了，陛下的儿子现在不多了，何必这样？蜀王杨秀性格耿直独特，如今被重责，恐怕他难以保全。”文帝勃然大怒，要割掉庆整的舌头。接着他对群臣说：“应该把杨秀在闹市斩首向百姓谢罪。”于是就命令杨素等人对杨秀追究治罪。
太子阴作偶人，缚手钉心，枷锁械，书上及汉王姓名，仍云：“请西岳慈父圣母收杨坚、杨谅神魂，如此形状，勿令散荡。”密埋之华山下，杨素发之；又云秀妄述图谶，称京师妖异，造蜀地征祥；并作檄文，云“指期问罪”，置秀集中，惧以闻奏。上曰：“天下宁有是邪！”十二月，癸巳，废秀为庶人，幽之内侍省，不听与妻子相见，唯獠婢二人驱使，连坐者百余人。秀上表摧谢曰：“伏愿慈恩，赐垂矜愍，残息未尽之间，希与瓜子相见；请赐一穴，令骸骨有所。”瓜子，其爱子也。上因下诏数其十罪，且曰：“我不知杨坚、杨谅是汝何亲？”后乃听与其子同处。
太子杨广暗中制做了偶人，捆住偶人的手脚，用针钉住偶人的心，将偶人上了枷锁，并写上文帝及汉王杨谅的姓名，还写上“请西岳慈父圣母收去杨坚、杨谅的神魂，就保持这样的形状，不要使它散开流失。”秘密将偶人埋在华山下，杨素发掘出偶人，又控告杨秀说他胆大妄为记述图谶，称京师有妖异现象，制造蜀地的祥瑞现象；并做好了檄文，说“指日就可以问罪”。将这些材料都收到杨秀的文集里，这些情况都奏报了文帝。文帝说：“天下哪有这样的人！”十二月，癸巳（二十日），将杨秀废为庶人，幽禁在内侍省，不许他与妻子儿女见面，只派两名獠人奴仆供他使用。牵连获罪的人有百余名。杨秀上表文帝悲伤地谢罪：“希望圣上慈爱恩准，能够对我同情怜悯，在我残息未尽之时，希望能和我儿子杨瓜子相见。请赐给我一墓穴，让我的骸骨有个归所。”杨瓜子是杨秀的爱子。文帝就下诏列举杨秀的十条罪状，并说：“我不知道杨坚、杨谅是你的什么亲人。”但后来仍允许杨秀和他儿子在一起。
初，杨素尝以少谴敕送南台，命治书侍御史柳治之。素恃贵，坐床。 从外来，于阶下端笏整容谓素曰：“奉敕治公之罪！”素遽下。据案而坐，立素于庭，辨诘事状。素由是衔之。蜀王秀尝从求李文博所撰《治道集》，与之；秀遗奴婢十口。及秀得罪，素奏以内臣交通诸侯，除名为民，配戍怀远镇。当初，杨素曾经因犯小过被敕命送到御史台，文帝命令治书侍御史柳将杨素治罪。杨素依恃地位显贵，坐在柳的坐榻上。柳从外面进来，在台阶下端举笏板，神色庄重地对杨素说：“我奉皇帝命令要治您的罪！”杨素急忙退下来。柳手扶桌案而坐，让杨素站在庭堂上，辨别查问杨素的过失。杨素因此对柳怀恨在心。蜀王杨秀曾经向柳要李文博撰写的《治道集》，柳给了杨秀；杨秀送给柳十名奴婢。到杨秀获罪，杨素便奏报文帝说柳作为内臣与诸侯结交往来，因此将柳除名为民，发配到怀远镇去戍边。
帝使司农卿赵仲卿往益州穷按秀事，秀之宾客经过之处，仲卿必深文致法，州县长吏坐者太半。上以为能，赏赐甚厚。
文帝派司农卿赵仲卿到益州彻底追查杨秀的事情，杨秀宾客曾经到过的地方，赵仲卿必定苛刻地以法律条文追究并严厉治罪，那些州县长吏大半都受牵连而被定罪。文帝认为赵仲卿能干，赏赐他很丰厚的财物。
久之，贝州长史裴肃遣使上书，称：“高以天挺良才，元勋佐命，为众所疾，以至废弃；愿陛下录其大功，忘其小过。又二庶人得罪已久，宁无革心！愿陛下弘君父之慈，顾天性之义，各封小国，观其所为：若能迁善，渐更增益；如或不悛，贬削非晚。今者自新之路永绝，愧悔之心莫见，岂不哀哉！”书奏，上谓杨素曰：“裴肃忧我家事，此亦至诚也。”于是征肃入朝。太子闻之，谓左庶子张衡曰：“使勇自新，欲何为也？”衡曰：“观肃之意，欲令如吴太伯、汉东海王耳。”肃至，上面谕以勇不可复收之意而罢遣之。肃，侠之子也。
很久以后，贝州刺史裴肃派使者给文帝上书说：“高因有也天生的突出才能，又是开国元勋，佐命为大臣，受到人们的妒忌以至于被废黜不用。希望陛下记着高的大功，忘掉他的小过。再有，杨勇、杨秀两个庶人获罪已经很久了，难道他们没有洗心革面的心意吗？希望陛下弘杨君父的慈爱，顾念父子天性之道，每人封个小国，观察其所做所为：如果能变好，就逐渐地改变其地位；如果仍然不悔改，贬位削爵也不晚。现在他们改过自新的路永远断绝，惭愧悔恨的心思不为人们所了解。这不是很悲哀吗？”奏表呈上去后，文帝对杨素说：“裴肃忧虑我的家事，这也是诚心诚意啊。”于是召裴肃来京师。太子杨广听说此事，对左庶子张衡说：“让杨勇悔过自新，这要干什么？”张衡说：“我看裴肃的意思，是要让他象周代吴国的太伯、汉代的东海王一样。”裴肃到了京师，文帝当面告诉他杨勇有疯鬼附身无法复原的情况，自新之事只能作罢，让裴肃走了。裴肃是裴侠的儿子。
杨素弟约及从父文思、文纪、族父忌并为尚书、列卿，诸子无汗马之劳，位至柱国、刺史；广营资产，自京师及诸方都会处，邸店、碾、便利田宅，不可胜数；家僮千数，后庭妓妾曳绮罗者以千数；第宅华侈，制拟宫禁；亲故吏布列清显。既废一太子及一王，威权愈盛。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢；朝廷靡然，莫不畏附。敢与素抗而不桡者，独柳及尚书右丞李纲、大理卿梁毗而已。
杨素的弟弟杨约和叔父杨文思、杨文纪、同族的叔父杨忌都官居尚书、列卿，他们的儿子没有什么汗马功劳，却位居柱国、刺史；杨家广营资产，从京师到各地的都会，客店、磨坊、丰腴的田产和房宅不计其数，家中的奴仆有几千人，府内穿着华丽罗绮的歌妓姬妾有千人；宅第豪华奢侈，规制模仿皇宫禁城，亲戚朋友旧部下都官列显要之职。杨素已经废黜了一个太子和一个王，权势更加显赫。朝臣忤逆他们的，有人就被处死甚至夷灭全家；附会他们的人和他们的亲朋故旧，即使没有才能，也必定加官进爵。朝廷内外的人都屈服于杨家的势力，无人不畏附杨素。敢于与杨素对抗而不屈从的人，只有柳和尚书右丞李纲、大理卿梁毗而已。
始，毗为西宁州刺史，凡十一年，蛮夷酋长皆以金多者为豪隽，递相攻夺，略无宁岁，毗患之。后因诸酋长相帅以金遗毗，毗置金坐侧，对之恸哭，而谓之曰：“此物饥不可食，寒不可衣，汝等以此相灭，不可胜数，今将此来，欲杀我邪！”一无所纳。于是蛮夷感悟，遂不相攻击。上闻而善之，征为大理卿，处法平允。
当初，梁毗被任命为西宁州刺史，共十一年。西宁州的蛮夷酋长都以金子多的人为豪强，他们互相攻击掠夺，简直没有宁静的年月。梁毗对此感到忧虑。后来因为各酋长竞相送梁毗金子，梁毗把金子放在坐椅旁，对着金子痛哭道崐：“金子这东西饥不能食，寒不能衣，你们为了它相互残害，争战之事多得数不过来。现在你们送金子来，是要杀我啊！”他一点都没有接受。于是那些蛮夷人都受感动而醒悟，不再互相攻掠了。文帝听到后很高兴，任命梁毗为大理卿。梁毗执掌司法公平允正。
毗见杨素专权，恐为国患，乃上封事曰：“臣闻臣无有作威作福，其害于而家，凶于而国。窃见左仆射越国公素，幸遇愈重，权势日隆，绅之徒，属其视听。忤旨者严霜夏零，阿旨者甘雨冬澍；荣枯由其唇吻，废兴候其指麾；所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图；四海有虞，必为祸始。夫奸臣擅命，有渐而来，王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为处置，俾洪基永固，率土幸甚！”书奏，上大怒，收毗系狱，亲诘之。毗极言“素擅宠弄权，将领之处，杀戮无道。又太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”上无以屈，乃释之。
梁毗看到杨素专擅权柄，恐怕他成为国家的祸患，就给文帝上了一封密表说：“我听说臣子没有一个不是因为作威作福而危害其家并祸患于国的，我看到左仆射越国公杨素越来越得到主上的宠信，他权势日见显赫，朝中官宦都是他的耳目。忤逆他的人便遭到似严冬的霜冻在酷夏降下似的打击，阿谀奉承他的人受到的照顾有如冬天降适时的雨露，每个人的荣辱都在于杨素的口唇，升迁贬谪都得听从他的指派；他所偏爱的人都不是忠心为国的人，他所推荐提拔的人都是他的亲戚；他的子弟势力遍布各州县。天下没有什么事，还可以容忍他有私图，要是国家有什么忧患，杨素一定是祸端。奸臣专擅权力这是由来已久的。王莽经营积累了多年，桓玄在皇位变动时打下了基础；终于王莽灭掉了西汉王朝，桓玄倾覆了东晋皇位。陛下要是任命杨素为执掌朝政的大臣，我恐怕他的心未必能象殷商的伊尹一样。希望陛下能考察借鉴古今之事，酌情处置。如果大隋的基业能够永远巩固，天下百姓就很幸运了！”奏表送上去，文帝看后勃然大怒，把梁毗投入监狱，亲自审问他。梁毗恳切地说：“杨素依恃陛下的信任，任意使用权力，率领群下时，对人无缘无故地杀害。还有，太子杨勇、蜀王杨秀获罪被废黜的时候，朝中的文武百官无不震惊惶竦，只有杨素眉飞色舞，手舞足蹈，喜形于色，他视国家有难而以为自己的幸事。”文帝无法使梁毗屈服，就释放了他。
其后上亦疏忌素，乃下敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一向省，评论大事。”外示优崇，实夺之权也。素由是终仁寿之末，不复通判省事。出杨约为伊州刺史。
此后，文帝也暗中疏远防忌杨素，他颁诏说：“仆射是国家的宰辅，不可事必躬亲，只要三、五天到省里去一次，评论审视一下大事即可。”表面上表示优待推崇杨素，实际上是夺下杨素的权力。自此直到仁寿末年，杨素不再完全经办省里的事务。文帝把杨约调任为伊州刺史。
素既被疏，吏部尚书柳述益用事，摄兵部尚书，参掌机密；素由是恶之。
杨素既然被疏远，吏部尚书柳述的权力越来越大，并兼理兵部尚书，参预掌握军国机密。杨素因此就憎恶柳述。
太子问于贺若弼曰：“杨素、韩擒虎、史万岁皆称良将，其优劣何如？”弼曰：“杨素猛将，非谋将；韩擒虎斗将，非领将；史万岁骑将，非大将。”太子曰：“然则大将谁也？”弼拜曰：“唯殿下所择！”弼意自许也。
太子杨广问贺若弼：“杨素、韩擒虎、史万岁都称得上是良将，他们各自的优缺点如何？”贺若弼说：“杨素是猛将，不是善谋略的将领；韩擒虎是斗将，不是统帅全军的将领；史万岁是骑将，不是大将。”太子杨广问：“那么谁是大将呢？”贺若弼跪拜道：“只有殿下挑选的才是大将。”他的意思是说自己是大将。
＇11＇交州俚帅李佛子作乱，据越王故城，遣其兄子大权据龙编城，其别帅李普鼎据乌延城。杨素荐瓜州刺史长安刘方有将帅之略，诏以方为交州道行军总管，统二十七营而进。方军令严肃，有犯必斩；然仁爱士卒，有疾病者亲临抚养，士卒亦以此怀之。至都隆岭，遇贼，击破之。进军临佛子营，先谕以祸福。佛子惧，请降，送之长安。
＇11＇交州的俚人首领李佛子率众造反，占据了骆越王的故城，他派侄子李崐大权占据龙编城，他下属的另一个首领李普鼎占据乌延城。杨素推荐瓜州刺史长安人刘方，认为他有将帅的谋略，文帝下诏任命刘方为交州道行军总管，率领二十七营军队进发。刘方军令严明整肃，有违犯军令的人必被斩首；但是他对士兵仁慈爱护，士兵患病他亲自抚慰调养，士兵们也因此心里感念刘方。刘方军队到达都隆岭，遇到反叛的俚人，刘方率军将俚人击败。进军到李佛子的营地时，刘方先向李佛子陈述利害。李佛子恐惧，请求投降。刘方将李佛子送到长安。
三年（癸亥、603）
三年（癸亥，公元603年）
＇1＇秋，八月，壬申，赐幽州总管燕荣死。荣性严酷，鞭挞左右，动至千数。尝见道次丛荆，以为堪作杖，命取之，辄以试人。人或自陈无罪，荣曰：“后有罪，当免汝。”既而有犯，将杖之，人曰：“前日被杖，使君许以有罪宥之。”荣曰：“无罪尚尔，况有罪邪！”杖之自若。
＇1＇秋季，八月，壬申（初三），文帝将幽州总管燕荣赐死。燕荣性情严酷，鞭笞身边的人往往到上千下。他曾经看到路旁长的一丛丛荆条，认为可以作杖，命人取来，立即就以人来试。有人说自己无罪，燕荣就说：“以后你有罪再免掉你受杖刑。”不久这人有了过失，燕荣又要鞭打他，被打的人说：“上次被打，您答应以后有罪就宽恕我。”燕荣说：“无罪尚且要打，何况有罪呢！”燕荣鞭打人却神情自若。
观州长史元弘嗣迁幽州长史，惧为荣所辱，固辞。上敕荣曰：“弘嗣杖十已上罪，皆须奏闻。”荣忿曰：“竖子何敢玩我！”于是遣弘嗣监纳仓粟，扬得一糠一秕，皆罚之。每笞虽不满十，然一日之中，或至三数。如是历年，怨隙日构。荣遂收弘嗣付狱，禁绝其粮，弘嗣抽絮杂水咽之。其妻诣阙称冤，上遣使按验，奏荣暴虐，赃秽狼藉。征还，赐死。元弘嗣代荣为政，酷又甚之。
观州长史元弘嗣调为幽州长史，他怕受到燕荣的侮辱，坚决推辞。文帝就命令燕荣说：“元弘嗣凡犯打十杖以上的罪过，都必须上报给我。”燕荣气忿地说：“这小子怎敢耍弄我！”于是他派元弘嗣监管收储粮食，风吹走一糠一秕，都要责罚元弘嗣。每次鞭打数虽不满十，但一天有时要打好几次。这样过了几年，燕荣与元弘嗣的矛盾日益加深，燕荣就把元弘嗣投入监狱，断绝元�