Í bók sinni Frá Austri til Vesturs segir Þorleifur Jóakimsson (Thorleif Jackson) svo frá Halldóri:
,,Sagt er mér, að hann hafi ætlað að byggja kirkju á landi sínu og hafi því nefnt bæ sinn Kirkjuból. Líka var gjör grafreitur á landinu og þar grafnir þeir, sem dóu á eyjunni úr bólunni, nær 30 manns. (Hér er átt við bólusótt þá sem var viðloðandi í Nýja Íslandi frá hausti 1876 fram á vetur 1877.) ,, Halldór var afarmenni að afli og svo snar í átökum, einkum þegar honum hitnaði í skapi, að vart mun sá hafa fundist, sem stóð honum þar framar. Hann var kærleiksríkur maður; að svo var, sýndi sig í því, að hann mátti aldrei sjá sýnt ranglæti þeim, sem lítilsmáttar voru og veikbygðir; ofbeldi beitt við þá þoldi hann ekki að væri gert, og lenti þess vegna stundum í áflog við ýmsa. Eitt sinn var Halldór í þreskivinnu í Dakota, og hefir þá verið kominn yfir sextugt. Íslenzkur drengur var í vinnunni og hafði gaman af að stríða innlendu verkamönnunum á kvöldin, þegar þeir voru lagstir til hvílu á heylofti í hestafjósi, og gerði hann þá einu sinni svo reiða, að þeir sýndu sig líklega til að leggja hendur á hann. En Halldór sagði þeim að láta hann vera. Svarar einn honum með því algenga enska orðtæki: “Mind your own business“ og sló til Halldórs, sem þá sagði honum að hann mætti slá aftur ef hann vildi, þreif til kauða og hafði á honum endaskifti og lét hann falla á höfuðið ofan um eina opnuna á loftinu; á sama hátt kastaði hann þremur eða fjórum öðrum niður, sem vildu hefna félaga síns. Næsta morgun voru þeir í daufu skapi, og báðu verkstjórann að reka þennan mann úr vinnunni. Það sagðist hann ekki gjöra, að reka duglegasta manninn.“