Gunnsteinn fór ungur að sýna áhuga á bókmenntum og las mikið í æsku. Í VÍÆ III er ágæt samantekt á ritstörfum hans: ,,Hann naut ekki skólalærdóms, en var mjög víðlesinn og menntaður af sjálfsnámi. Byrjaði snemma að rita greinar um ýmis efni í blöð og tímarit. – Helztu sögur eftir hann: Elenora (Reykjavík 1894), Amerísk gestrisni (Þjóðólfur 1897), Hvernig ég yfirbugaði sveitaráðið (Svava II, 1897), Góðar taugar (Eimreiðin 1898), Þingkosningin (Eimreiðin 1899), Í helvíti (Lögberg 1899), Íslenzk þröngsýni (Eimreiðin 1901), Dauðinn (Almanak Ó Th. 1904), Tíund (Winnipeg 1905). Sögum hans var safnað í bók; Jón á Strympu og fleiri sögur (Winnipeg 1952).