Gift:
1861 med Karolina Johanna Loenbon, kyrkoherdedotter från Misterhult.

Om honom yttrades vid prästmötet 1912:
En grundligt tänkande och prövande man med ej vanlig spekulativ begåvning och ett livligt intresse för att söka utforska sanningen i olika tids- och anderiktningar, rörde han sig med en rikedom av frukt- bärande tankar, alla dock burna av Kristi evangeli heliga allvar.
Vackra vittnesbörd härom har han avgivit såväl i den predikan han höll vid prästmötet 1888 med ingångsspråk: "vi äro ock Guds släkte", och vari han utvecklade de kristnas "magna charta", som ock i sin församlingsförkunnelse, varav han efterlämnat värdefulla prov i den om klarhet och djup samt etiskt allvar vittnande predikosamling, som efter hans död utgivits.
Impulsiv till sin natur, av milt och hjälpsamt sinnelag, flärdlös och barnafrom samt med ett drag av finhet över sitt hela väsen, parat med en okonstlad hjärtats värdighet, var Holmberger en i det yttre försynt och i det inre ödmjuk man; dock, ve den, som närgånget trädde honom för nära. Då hände det lätt, att han med en skarp och slagfärdig satir avvisade den oförvägne med ett svidande "nyp", som lärde honom att utan tvekan vända tillbaka till sin plats.
Det barnafromma sinnet i förening med ett drag av älsklig humor gjorde honom särskilt till en barnens vän. De voro föremål för hans kärleksrika intresse, och det fanns väl knappast något barn i hans skolor, som han ej kände till och med till namnet. Församlingen förstod därför så väl sin käre prost, då han till motiv för det korfönster, han skänkte åt dess kyrka, just hade valt: "Jesus välsignar barnen."
En 42-årig herdeverksamhet inom samma församling hade givetvis vidgat denna kärlek till att omfatta hela församlingen, och det var icke rådligt att i hans närvaro säga något ont om hans Loftabor.
Noggrann och punktlig i de yttre ämbetsgöromålen, verksam för skolväsendets utveckling liksom för kristendomskunskapens höjande genom bibelstunder, besjälades han av en varm känsla för sitt ämbetes uppgift och utövade ett mäktigt inflytande såväl på församlingsbor som på ämbetsbröder i vida kretsar och lever hos bådadera i ett välsignat minne.


Holmberger skänkte altarfönstret till Lofta kyrka.