顧遠在搬進定西候府之前一直都和李不為住在仙外閣的，后來他搬進定西候府覺得院子太大，讓李不為搬去和他住一段時間，但是在仙外閣這段時間李不為就已經夠嫌棄他了，怎麼看可能和他搬走，所以就一直都留在仙外閣。
當然他住在仙外閣這些日子，每日還是要到賢王府串門蹭飯，這不，剛在西冷苑用了晚膳出來