Poul Nielsen blev født sidst på året 1720, som søn af Niels Poulsen og Kirsten Thomasdatter i Sønder Dråby på Mors, og han blev døbt søndag d. 8. december 1720. Om han var deres første barn, er ikke til at sige, men da han var godt 4 år gammel fik han en lillebror der blev døbt Anders Nielsen ved dåben søndag d. 28. januar 1725. Da Poul var næsten 7 år gammel fik han igen en lillebror, der blev døbt søndag d. 26. oktober 1727, men hvilket navn han fik er ikke til at læse, idet dele af siden i kirkebogen simpelthen er væk.

Hvordan tiden og opvæksten er gået kan man kun gætte på, men da han var godt 27 år døde hans mor Kirsten Thomasdatter i en alder af 56 år døde onsdag d. 7. februar 1748, hvorefter hun blev begravet på Sønder Dråby kirkegård. Kun året efter døde også hans far Niels Poulsen om søndagen d. 26. januar 1749 i en alder af 68 år, og han blev også begravet på Sønder Dråby kirkegård.

Poul Nielsen blev på et ukendt tidspunkt gift med den omkring 3 år ældre Kirsten Pedersdatter. Hun var født omkring 1717, men hvor hun er født eller hvem der var hendes forældre kendes der intet til. De er ikke fundet gift i Sønder Dråby sogn, så hun er muligvis fra et andet kirkesogn.

Poul og Kirsten levede altså på Frederik IV’s tid. Han døde i 1730, og blev efterfulgt af Christian VI, der ophævede den upopulære landmilits, men som så måtte genindføre denne tre år senere, således at godsejerne nu skulle stille en soldat for hver 60 tønder hartkorn, eller for ca. hver tiende til tolvte gård. Som modydelse for dette fik godsejerne til gengæld stavnsbåndet indført, der gik ud på at ingen dreng eller mand mellem 18 og 36 år måtte forlade sit fødegods. Dette blev 2 år senere udvidet til at gælde fra det fyldte fjortende år. Poul og Kirsten hørte så i 1746 at Danmark igen skulle have ny konge, da Christian VI døde d. 6. august 1746, og at han blev efterfulgt af Frederik V, der dog hverken havde lyst eller evne til at styre landet. Den nye stærke mand i Danmark blev i stedet for A. C. Moltke, der havde været Frederiks kammer page og opdrager mens han var kronprins.

Deres så vidt vides første barn var en dreng ved navn Peder Poulsen. Han blev født fredag d. 25 august 1758 og døbt søndag d. 27. august 1758 hvor han blev frembåret af Maren Andersdatter Buchau, og hvor de andre faddere var Christen Tonsgaard, Peder Frendesen, Anders Sallingbo, Anne Sørensdatter og Maren Nielsdatter.

Mandag d. 13. april 1761 fik Poul og Kirsten så igen en dreng, og han blev døbt på bededag fredag d. 17. april 1761, hvor han fik navnet Niels Poulsen.

Hvordan tiden ellers er gået for Poul og Kirsten kan der kun gættes på, men i en alder af kun 48 år, døde Kirsten på 1. juledag onsdag d. 25. december 1765, hvorefter hun blev begravet på Sønder Dråby kirkegård onsdag d. 1. januar 1766. Poul stod nu tilbage som enkemand, men om han ikke har kunnet komme sig over denne sorg, eller om der har været sygdom i huset er ikke til at sige, men godt 4 måneder senere døde Poul om søndagen d. 11. maj 1766 i en alder af kun 47 år. Han blev derefter begravet på Sønder Dråby kirkegård 2. pinsedag mandag d. 19. maj 1766, og hans 2 sønner Peder og Niels på henholdsvis knap 8 år og 5 år stod nu alene tilbage.