Det som gjorde att det till slut gick för mig var tanken på att J inte hade varit pappaledig om vi fick ett barn.