Cinq ans après la construction d'un moulin à farine et un moulin à scie, la petite agglomération de Nelsonville prend forme. Nommé en l'honneur de l'amiral britannique Lord Horatio Nelson, mort dans la bataille navale de Trafalgar, on doit néanmoins son nom actuel à Peter Cowan, un marchand montréalais qui s'y était installé. Ce dernier a fait changer le nom de la municipalité en 1876 pour éviter que le courrier ne soit envoyé par mégarde à Nelsonville, au Haut-Canada (Ontario).

Anciennement une ville très industrielle grâce à son chemin de fer, la ville a perdu un peu de son panache, mais a conservé un patrimoine architectural très riche que l'on peut encore aujourd'hui visiter. Les points d'intérêts photographiques sont nombreux. Notons parmi eux le pont couvert de Freeport et le lac Davignon.