瑞王爺跟宋楚軒的感情一向都很平淡，主要原因是瑞王爺對王妃毫無感情。

早年間，瑞王爺還是皇子的時候，喜歡過一個民間女子，那女子長得不算多么傾國傾情，充其量只能算是清秀佳人，但卻溫柔似水，善解人意。

當時的瑞王爺對此女喜歡得不行，甚至當初提出來要娶她為正妻。但可想而知，就那個女子的身份地位，先皇和先皇後肯定是不會同意的，自然就斷然拒絕了。

但大概是後來見瑞王爺對那女子實在是喜歡得過分了，就對他說，若是他真心喜歡，沒關系，正妻不行，但作為妾室還是可以的。

雖說瑞王爺不忍心委屈自己心愛的人只能當妾，可這對他來說已經是最好的結果了，於是他便妥協了答應了要娶當時靖寧侯府的嫡出千金寧嫣，也就是現在的瑞王妃為妻。

可不知道靖寧侯府的人是如何得知他在外面已經有了心愛女子的事情，竟然趁他不注意的時候，將那女子殺害了，為的就是讓瑞王妃的地位穩固，也是為了讓瑞王爺將更多的心思放在未來的瑞王妃身上。而當時，那女子的肚子里已經有了三個月的身孕，可偏偏，母子雙亡。

慘遭失去愛人和愛子的打擊，瑞王爺差點就要悔婚了，但那個時候，婚期都已經定下了，皇上也早就賜婚，想要悔婚那是不可能的。於是，瑞王爺就尋了一個與那女子有三分相似的女子回來，不顧所有人反對，在瑞王妃嫁進門之前就立了側妃。

發生了這樣的事情，瑞王爺對瑞王妃自然不會有好感，他將所有的責任都怪在了瑞王妃的身上，抱著既然動不了靖寧侯府，那么也不會讓那家人的女兒好過的心思，在於瑞王妃成親後，對她是百般冷落，甚至縱容側妃欺負瑞王妃。

瑞王妃後來也知道了這件事情的真相，本來還對瑞王爺抱著三分希望的，但自此後，對瑞王爺也是心灰意冷。