轉眼到了公元 560年 5月 31日，周武帝宇文邕即位，楊堅晉陞為小宮伯，出任隨州刺史（今湖北省隨州市），後進位大將軍。在母親病重期間，楊堅晝夜不離左右，以孝聞名。當時，周武帝的堂哥宇文護掌握朝政，他嫉妒楊堅的才能和威望。多次企圖謀害楊堅，但得益於大將軍侯伏、侯壽等人的保護，楊堅得以倖免。
楊堅在父親楊忠去世後承襲了隨國公的爵位。周武帝還將楊堅的長女楊麗華納入東宮為皇太子妃，自然就對楊堅越發尊重。
齊王宇文憲曾多次對武帝表示，楊堅貌有反相，恐不宜久居人下。但武帝認為楊堅僅僅是一個武將，沒有必要太過於防範。後來，內史王軌也提醒武帝：「皇太子贇並非一個非常有才能的君主，楊堅可能會謀反。」
武帝仍不相信，說：「帝王自有天命在，旁人又能奈何！」反而更加重用楊堅。倒是楊堅知道這些消息後，行事更加的小心謹慎，以韜光養晦。
公元 575年，楊堅率水軍三萬在河橋大敗北齊軍隊。次年，他隨周武帝親征平齊，進位柱國。在與齊王宇文憲共同征伐冀州時，楊堅表現出色，被封為定州總管（今河北省定州市）。
周武帝去世後，太子宇文贇即位。楊堅的長女楊麗華被封為皇后，楊堅也因此晉陞為柱國大將軍、大司馬。大象初年，楊堅歷任大後丞、右司武，後轉任大前疑。每當周宣帝外出巡幸，都讓最信任的楊堅在朝內留守。
周宣帝制定《刑經聖制》，法令極其嚴苛。楊堅認為此法並不是教化約束民眾最好的辦法，就多次向周宣帝強烈進諫，但都被宣帝否決了，沒有採納。
反倒是楊堅的地位和威望日益壯大，周宣帝對楊堅愈發忌憚。
當時，周宣帝有四位寵幸的姬妾，與楊麗華一起為皇后，諸家爭寵，相互詆毀對方。周宣帝發怒之時，曾對皇后楊麗華說：「朕一定要將你家滅族！」
於是召楊堅入宮，還對左右侍衛說：「只要楊堅的臉色稍有變化，就殺了他。」
不料楊堅到了宮內，早有準備。神情和臉色自若，於是周宣帝也就沒能找到機會殺了他。
為求自保，楊堅通過內史上大夫鄭譯向宇文贇表達出久有出藩之意。宇文贇欣然接受，任命楊堅為亳州總管。
這樣一來，楊堅安心了，皇帝也放心了。
楊堅將任亳州總管時，龐晃勸他就此起兵，自己做皇帝。
楊堅握着龐晃的手說：「時機還不成熟啊。」至此，楊堅取周自代的願望溢於言表。
而且周宣帝宇文贇最大的問題是自幼生長於宮內，不問朝政，沉溺酒色，滿朝文臣武將敢怒而不敢言。
他不但不聽忠臣勸告，反而覺得這皇帝當得太不稱心如意。於是宇文贇下詔傳位於長子宇文闡，並改年號為大象，自稱天元皇帝，這樣到落個自在，整日住在後宮，終日與嬪妃宮女們吃喝玩樂。
公元 580年，楊堅任揚州總管，籌備伐陳事宜。然而，他在出發前突然足疾，未能立即上任。
公元 580年5月，宇文贇在天德殿病逝，享年二十二歲，謚號宣皇帝。楊堅的死黨內史上大夫劉昉、鄭譯偽造詔書，命楊堅輔佐朝政。隨後，周靜帝拜楊堅為假黃鉞、左大丞相，百官皆聽命於他。楊堅以正陽宮為丞相府，任命鄭譯為長史，劉昉為司馬，並設置丞相府官僚。在周宣帝時期，刑法嚴苛，人心渙散。
楊堅在擔任大丞相後，施政寬和，精簡嚴苛的法令，親身踐行節儉，使得天下人心紛紛歸附於他。楊堅在當上了任大丞相，就開始專心着手篡奪北周大權了。他深知周皇室諸王中有很多實力強大的藩王，為防止他們反叛，他以趙王宇文招（周武帝之弟）即將嫁女去突厥為由，將他們召回京師長安。
同年6月，北周宗室中實力較強的趙王宇文招、陳王宇文純、越王宇文盛、代王宇文達、滕王宇文逌等人都按皇命抵達長安。隨後，頒佈詔書「讓五王可以帶着劍和鞋子上殿，進宮朝見時不必急步前行，用以安撫五王的心情。」接着，他以五王上述行為意圖謀反的罪名，先後除掉趙王宇文招、越王宇文純、陳王宇文盛、代王宇文達、滕王宇文逌等，消除了鮮卑族中的反對力量。
相州總管尉遲迥因不滿楊堅擅政，舉兵東夏。鄖州總管司馬消難、益州總管王謙也相繼起兵響應。趙、魏之士紛紛跟隨，短短時間內便聚集了十萬兵馬。此外，宇文胄以滎州、石愻以建州、席毗以沛郡、毗弟叉羅以兗州為根據地，紛紛響應尉遲迥。
楊堅果斷派上柱國、鄖國公韋孝寬出兵，成功打敗尉遲迥，消除了對其有威脅的政敵。司馬消難南逃至陳朝，王謙被殺。此次勝利穩定了內部的統治秩序。隨後，楊堅捉拿宇文賢斬首，公布其罪行，同時，他還拉攏了元諧、元胄、宇文忻等部分鮮卑貴族。這使得楊堅集團改朝換代的計劃不再受到任何阻礙。
公元 581年2月，楊堅由隋國公晉封為隋王。同月，北周靜帝迫不得已，以楊堅眾望所歸為由，下詔宣布禪讓。楊堅故作三次推辭後接受天命，身着常服入宮，備禮即皇帝位於臨光殿，定國號為「隋」，改元開皇，宣布大赦天下。
此時，奇人——隋文帝楊堅正式稱帝。他立妻子獨孤氏為皇后，封長子楊勇為皇太子，次子楊廣為晉王。
在統一全國後，楊堅全力投入國家治理，開創了譽為「開皇之治」的輝煌時期。他結束了西魏宇文泰的鮮卑化政策，恢復了被改成鮮卑姓的漢人大臣及府兵將領的漢姓，並廢除了九品中正制，改為五省六曹制，後又稱五省六部制。
由於隋初歷經南北朝長期的戰亂，民生疲弊，楊堅採納司馬蘇威的建議，廢除鹽、酒專賣及入市稅，多次減稅，以減輕人民負擔，促進國家農業生產，穩定經濟發展。楊堅在位時期的富饒，並非來自重稅，而是與全國推行均田制有關。這一舉措既增加了賦稅，又穩定了經濟發展，使南朝士族逐漸衰弱並消失。均田制的順利推行，對隋前中期的經濟發展產生了巨大影響。此外，楊堅在洛州等地設立官倉，貯存關東運來的糧食，並建立廣通渠，以便關中漕運。他還設立了民間義倉，以備凶年。
楊堅在位期間，還推進實行大索貌閱和輸籍法，進行全國性戶口調查，增加了國家稅收，改善了經濟，掃除了魏晉南北朝以來的戶籍積弊。他修訂了國家刑法，使人民有法可守，減少了刑罰，顯示了隋朝對民的寬大。
楊堅在政治上的安定，得到了關隴集團的大力支持。漢人鄭譯、劉昉、高熲等名臣推動了國策的實施。他命蘇威等人編纂《開皇律》，修訂刑律，制定國家刑法，省刑罰，死刑只設絞、斬二等。
而且，楊堅在登基後，並未沉溺於權力，而是全心投入到國家的治理中。這主要有兩個原因：一是他的皇后獨孤伽羅是一位有能力並且妒忌心強的女性，嚴格控制他的生活；二是朝廷中湧現出許多傑出的將相之才，如李德林、高熲、蘇威等文臣，以及楊素、李淵、賀若弼、韓擒虎等武將，他們為國家政治穩定和經濟發展做出了巨大貢獻，也限制了楊堅犯錯誤的空間。
在這樣的背景下，隋朝國家繁榮昌盛，軍事實力強大。楊堅和大臣們開始籌劃擴大國土，統一江南。
