非婚生女儿被父亲抛弃男方与我有一女儿…

非婚生女儿被父亲抛弃男方与我有一女儿，他有公职，为了脸面将女儿抛弃，答应给一百万做女儿抚养费，现在只付了五十万，我们私下签有协议，不得与对方有任何联系，但是女儿只有几个月大，我打过他电话，现在他就抓住不放，怎么办