在外面搞了外遇，女方叫男方赔偿，男方…

在外面搞了外遇，女方叫男方赔偿，男方在女方家干活，有4,5千工资没有拿，现在活要干完了，女方说叫男方赔偿，与他在一起的损失费，双方都是结了婚的，作为男方应该怎么办？