很快，六合城傳來了楊廣的最新旨意「高頰雖有欺君之罪，但念其舊功，可免死罪，罷免其一切官爵職務，貶為庶民，放歸鄉里，責令其閉門思過，終身不得進京。。
消息傳出，頓時百官沸騰，無數的官員在牛弘的帶領下，前往楊元慶營帳表達感激之情，可就在百官為高頰獲生而歡呼時，楊廣的第二道旨意下達，卻讓所有人大吃一驚，『豐州總管楊元慶未經朝廷同意，擅自以官方身份和突厥貿易，違法朝廷律令，革去其豐州總管和五原郡刺史之職，貶為庶民。。
楊元慶被貶的消息令百官錯愕，皆為之嗟呀嘆息，誰都知道，這時楊元慶因為救高頰而惹惱了聖上，原本深得聖眷，現在卻被貶黜為民，這著實有點可惜了。
裴矩幾乎是第一時間憂心忡忡地找到了楊元慶，大帳內，楊元慶正在收拾自己的東西，旨意已經生效，他不再是豐州總管，而變成一介小民，幾名親兵都跪在地上，願跟他歸去。
楊元慶卻不肯，對幾名親兵喝令道：「你們皆被受儀同，在豐州軍中至少都是校尉，做我的跟班家丁有什么前途？我意已決，你們全回豐州去，我有九名鐵衛跟隨便已足夠，你們走！」
幾名親兵苦苦哀求，楊元慶只是不准，無奈，親兵們只得含淚拜別，大帳里頓時冷清下來，只剩下楊元慶一人。
楊元慶慢慢坐下，突然失去了官職，使他覺得自己仿佛在做夢一樣，似乎這一切都不是真的，可它又真真切切發生了，他心中一片茫然，他甚至不知道自己何去何從？
「元慶！」
裴矩走了進來，楊元慶坐在箱子上，抬頭看了看他，卻沒有說話裴矩慢慢走上前，語重心長地安慰他道：「沒有什么，不就丟官嗎？你還年輕，爵位和勛職都在你還有機會復出，當官哪能一帆風順，我年輕時也被貶過，現在不一樣是高官，你不用放在心上，雖然有所失，卻有所得，至少名聲有了這在官場上是極重要。」
裴矩按住他的肩膀凝視著他的眼睛道：「你還是我的別、女婿趁這個機會，好好讀一讀書，為下一次復出做准備。」
楊元慶笑了笑，卻沒多說什么，他雖然為救高頰而丟了官職，卻得了滿朝官員的人心，這筆帳，他算得很清楚高頰他要救，人情他也要拿，做了好事不留名那不是他的風格。
但這件事他卻不想和裴矩多說，盡管裴矩對他一直另眼相看，關照有加，但楊元慶始終對裴矩懷有一絲戒心，裴矩太過於老奸巨猾，和他談談楊家可以，但事關自己一些隱秘之事，他卻不能和裴矩多說。
楊元慶站了起來，躬身施一禮，「多謝裴公！」
裴矩又拉他坐下，笑眯眯問他，「有沒有打算去哪里？」
楊元慶沉吟一下道：「聖上曾賞過我一座皇庄，在靠近偃師縣，我還從未去過，我想去那里隱居一段時間，不過在此之前，我想先去一趟江南，見一見我的義母。」
「這也不錯，不過我意見是最好先成婚，再去隱居，這樣有一個妻子在身邊，也不至於孤獨，你覺得如何？」
楊元慶點了點頭，就在這時，門口傳來了高穎的聲音，「元慶在嗎？」
「高相來了！」裴矩和楊元慶連忙站起身。
帳門口出現了高頰瘦弱而蒼老的身影，他身體被捆綁時間太長，走路有些顫顫巍巍，楊元慶慌忙上前扶住他，「高公，為何親自來，派人說一聲，元慶自當上門。」
高頰在楊元慶的箱子上坐下，他長長嘆息一聲，「我得罪奸佞，就算死了也就罷了，卻連累蘇相國和元慶為我丟官，我心里實在是過意不去啊！」
「高相國不必這樣，其實聖上之所以放了高相，根本原因是聖上最後已醒悟，上了張衡的當，否則他在盛怒之下，就憑我一個人的說服，他怎么可能讓步，貶我和蘇相國，也不過是他面子上放不下，只要能救下高相，我那個官當不當也無妨。」
「哎！話雖這樣說，我還是愧疚啊！」
裴矩感覺到楊元慶有話要對高頰說，而自己在一旁，他似乎不肯明說，他心中有一絲不悅，元慶對自己還有什么隱秘不成？他便笑道：「高相一定要好好保重身體，八十大壽時，我一定去為高相祝壽。」
「多謝裴使君美言！」
「那你們談，我還有事，先走一步。」
裴矩告辭而去，高頰望著他的背影，他想說點什么，但一想到楊元慶和裴家已聯姻，他便不好多說，只淡淡道：「此人是官場不倒翁！」
高頰是在含蓄地提醒楊元慶，裴矩極為圓滑，讓他自己當心一點，楊元慶默默點了點頭，在扳倒虞世基時他便領教過了，包括剛才救高穎，裴矩的避實就虛，表現出他極為圓滑的一面。
「元慶，你真說對了，他一直想殺我。」高頰嘆了一。氣。
「高公，其實他殺你之心已經淡了，楊勇之子已斬草除根，他皇位坐穩，高公對他已經沒有威脅，他今天想殺高公……我估計一是因為舊怨，其次是高公在官員中威望太高，就像我祖父，讓他感到了威脅，和楊勇關系倒不大，希望高公回鄉後盡量深居簡出，不要再和朝廷官員有任何聯系，我估計他會命人監視高公，只要高公為人低調，漸漸地，大家就會相忘於江湖。
高頰默默點頭，他心中感慨萬分，十幾年前那個『寧為百夫長，不做一書生，的五歲孩子，今天竟然救了他的命，這是他當年無論如何也想不到，人生際遇之奇妙，莫過於此。
六合城內的木地板上『咚！咚！，作響，顯示著行走人的怒氣，楊麗華下午騎馬有一點累，小睡了片刻，她剛剛醒來便聽說了楊元慶被貶職為庶民的消息，這個消息令她怒火萬丈徑直沖來找楊廣。
守衛門口的十幾名侍衛感覺到了她怒火，沒有人敢阻攔她，讓她直接闖入了聖上的御書房。
御書房內，楊元正在批閱奏折他已經聽到了急促的腳步聲，他知道是怎么回事，不由微微一笑，放下了御筆。
楊麗華沖進御書房，怒氣沖沖道：「陛下，你要給我一個交代！」
天下之大，敢這樣怒氣沖沖闖入御書房並質問皇帝之人，恐怕除了楊麗華，再沒有第二人，包括蕭後也不敢。
長姊如母，楊廣還在少年時期，便被已成為皇後的長姊所管束，楊華麗對他嚴厲而不乏疼愛，使她成為楊廣心中最敬愛之人，有時甚至超過他的母後。