徐姨娘得知此事，到沈夫人门外跪着苦苦哀求了一天一夜，沈夫人碍于面子，当然也实在是厌烦了她的哭泣，最终答应，以后这个痴呆儿由徐姨娘自己抚养。
为了不让外人发现这孩子，沈夫人将徐姨娘的院子，调到府里最偏僻荒凉的落霞苑，并不许她随便带着孩子出院门。
徐姨娘的地位因为这个痴呆儿的到来，更低下了，每天厨房都是最后一个给她娘儿俩送饭，且送来的饭食基本都是凉的。
徐姨娘为了孩子能吃上口热乎饭，自愿减少月例钱，恳求夫人给她院子修了个灶台，她按月领柴米自己做饭。
沈夫人爽快的答应了。因为这样，她们娘儿俩就可以更少在人面前露面，省得她和老爷见到她们生气。
沈郑氏不想落下苛待妾室的名声，给徐姨娘院子里还是配了一个妈妈，一个丫鬟的，当然都是府里没有背景，遭人欺负的下人。
徐姨娘就这样几乎足不出院门，平静的在落霞苑生活了四年，也精心照顾了痴呆女儿四年。
在沈府本来就没有什么存在感的徐姨娘，若不是这次女儿落水闹这一场，几乎已经被遗忘了。
夜深人静，徐姨娘看女儿始终睡得很安详，这才放心的和衣躺在她旁边，闭上双眼歇歇。
脑海里却在想：女儿今天为啥会走出院子？她实在是百思不得其解。
她不过是到后院上个厕所的功夫，三年来从没单独出过院门的孩子，就跑出院子，跑到那么远的花园，还掉到了荷花池里？
一个痴傻的孩子，如果没人领着，很难想象她是如何走到那里的，想到这里，徐姨娘不由得打了个冷颤。
她知道，老爷和夫人一直以有个痴傻孩子为耻，曾经故意让丫鬟磋磨她，想把孩子弄死。
今天刚巧梁妈妈去领月银，丫鬟桃子也被自己派到厨房领食材去了，院子里没人，难道是老爷或夫人派人把孩子领出去的？想到这儿，徐姨娘暗暗咬牙，心想以后绝对不能让孩子跟前离人了。
次日清早，从昏昏沉沉中醒过来的简丹，睁眼看到完全陌生的环境，惊讶的瞪大了眼，紧接着又发现自己变成小胳膊小腿的孩子了，她吓得差点喊起来。一转身看到身旁还睡着一个穿斜对襟夹袄和襦裙，一副古人打扮的三十岁左右的女人，更是惊的目瞪口呆，茫然不知所措。