至於霍去病自己，則親領四萬大軍，向東攻入涿郡，聯合白起所部夾擊衛青。

薛剛雖是作為敗軍逃入上谷，卻助霍光打退了薛仁貴的進攻，也讓朝不保夕的上谷郡得到了一絲喘息的機會。

霍光在上谷軍本來有兩萬五千守軍，但在薛仁貴的逐步攻打之下，也只剩下了一萬五千大軍。

再加上薛剛的五千敗軍後，才勉強湊齊了兩萬大軍。

正當霍光和薛剛，都在考慮何去何從時，卻收到了呂布北上的消息。

在和霍光的交手中，薛仁貴的三萬大軍只折損千余而已，在加上呂布的一萬七千大軍的話，秦軍的兵力又遠遠超過了漢軍。

在薛仁貴的攻勢之下，上谷八縣只剩下寧縣等三縣，連最為堅固的治所沮陽城，都落在了薛仁貴的手中。

如今舊敵未退，新敵又來，霍光和薛剛都知道，上谷已經注定守不住了。

正當兩人糾結是要繼續死守，還是放棄上谷保留兵力之時，燕京的劉徹發來飛鴿傳書，命令兩人放棄上谷回守燕京。

原來蘇定方領軍進入廣陽郡後，並未直接攻打燕京城，而先奪取了靠近漁陽的兩座縣城。

隨著蘇定方連破昌平和安次兩城後，秦軍也在廣陽郡內站穩了腳跟，在想將秦軍趕走已經不容易了，更何況漢軍也沒有那個實力。

此時的燕京城內既無名將也無名帥，這讓北漢滿朝上下都大為驚恐，劉徹也有些底氣不足，擔心燕京會守不住，於是下令讓霍光放棄上谷，回軍死守燕京城。

霍光和薛剛收到消息後都松了口氣，畢竟只要有了這道命令，他們就可以名正言順的放棄上谷了。

燕京乃是北漢都城，經過劉徹三次擴建，以及五次翻修，防御力絲毫不比鄴城差，城內囤積的糧草足夠十萬大軍用上一年。

只要能夠回到燕京，依靠城池之利，薛剛有把握守到糧盡為之。

霍光和薛剛都怕薛仁貴會追擊，不讓他們輕易逃回燕京，而這時候徐美祖站出獻計，故意擺出一副要襲擊秦軍，逼薛仁貴分兵去保護糧道。

薛仁貴不知有假，大意之下，果然中計，讓漢軍找到了撤退的機會。

最終，趁著呂布的大軍還未和薛仁貴匯合，薛剛和霍光放棄了上谷三城，領著兩萬大軍逃回了燕京城。

得知漢軍跑了之後，薛仁貴大為惱火，親領五千輕騎前去追擊，可追到了廣陽郡地界，也還是沒能追上。

在繼續追擊的話，薛仁貴又怕中埋伏，於是只的領軍撤回，先把上谷剩余的城池給占了，等和呂布會師之後在一起殺入廣陽郡，聯和蘇定方一起攻打燕京城。

上谷三城已經是空城，自然不可能擋的住薛仁貴，所以薛仁貴只用了一天時間，就將三城全部占領，唯一可惜的是城內的物資都已被焚毀，這顯然是霍光和薛剛的手筆。

自此，上谷郡十一縣，也徹底落到了秦軍的手中。

漢軍在幽州只剩下涿郡五城、廣陽三城，以及淪為飛地的漁陽兩城，共計十縣之地了。