前幾年，永康伯看上了大哥楚文忠，多次拖人說和。永康伯的兒安靈兒，倒是長得眉清目秀，只是，比大哥要小上幾歲。
開始母親并不想應這門親事，永康伯雖是個閑散伯爵，沒什麼實職，可畢竟是皇戚。是宮中安妃的娘家。
只是那安妃也是個命薄的，產下二皇子兩年便病逝了。永康伯也就只剩了個爵