For mange år siden da man var ved at bygge kirken i Skamby, boede der i Finnshøj ved Nr. Højrup en trold, som hed Finn. Trolden kunne ikke fordrage, at der skulle bygges en kirke der på højdedraget, så han begyndte at kaste med sten for at forhindre opførelsen. Finn var så vred, at han kastede alt for langt og stenene regnede ned over et større område syd for Skamby. Bønderne som efterfølgende slog sig ned i området har siden dengang været plaget af de mange små og kæmpestore sten som ligger spredt over markerne.