Die Brüder Johann und Johann Heinrich Ax verließen Mitte des 18. Jahrhunderts ihr Heimatdorf Rudersdorf. In Grafschaft angekommen, halfen sie beim Neubau des Torhauses und ließen sich in der Region nieder. 1768 heiratete Johann Ax Maria Margaretha Voss-Henneken und wurde bald darauf Besitzer eines Zenthofs des Klosters Grafschaft. Auch Johann Heinrich heiratet im Jahr 1772 und zieht daraufhin mit seiner Ehefrau Apollonia Voss-Henneken vermutlich zurück ins Siegerland. 
Nach dem großen Stadtbrand von Schmallenberg im Jahr 1822 erhielt Phillip Georg, eines der acht Kinder von Johann und Maria Margaretha, den Bauplatz an der Weststraße, auf dem der Hof aufgebaut wurde. Die Landwirtschaft in der Region war in dieser Zeit eine Mischung aus Ackerbau und Viehzucht. Besonders im Hawerland, das für seine fruchtbaren Böden bekannt war, wurde Ackerland bewirtschaftet. Auf den steileren Hängen und in anderen Gebieten konzentrierte man sich vor allem auf die Weidehaltung von Kühen.
Die Landwirtschaft wurde oft im Nebenerwerb betrieben. Die Menschen lebten mit ihren Tieren unter einem Dach und sicherten sich so die Grundversorgung mit Milch, Eiern und Fleisch. Auch das Anpflanzen von Heu im eigenen Garten oder auf gepachteten Flächen war weit verbreitet. Misthaufen vor den Häusern wurden als Dünger für den Garten verwendet, und das Getreide wurde zu den örtlichen Mühlen gebracht. In den Städten Schmallenberg und Fredeburg entwickelte sich die Tradition der sogenannten „Ackerbürger“: Städter, die einerseits Landwirtschaft betrieben, andererseits aber auch städtischen Berufen wie Handwerk oder Handel nachgingen. Der wirtschaftliche Aufschwung nach der preußischen Zeit brachte wichtige Veränderungen, wie etwa die Senkung von Abgaben und die Einführung eines neuen Erbrechts. Diese Entwicklungen führten dazu, dass sich die Landwirtschaft zunehmend spezialisierte und der Nebenerwerb zurückging.

Der ursprüngliche Hof an der Weststraße wurde nach dem Stadtbrand von 1822 wieder aufgebaut und blieb lange Zeit der Hauptsitz der Familie Ax. In den 1980er Jahren entschloss man sich jedoch, den Hof auf den Ahberg zu verlegen, wo heute moderne landwirtschaftliche Gebäude den Betrieb prägen. 1980 wurde ein Boxenlaufstall für die Milchkühe errichtet, und 2020 folgte ein hochmoderner Stall für 94 Kühe. Die Architektur des neuen Hofes verbindet traditionelle bäuerliche Bauweisen mit modernen Anforderungen an eine effiziente und tierfreundliche Landwirtschaft. Auch das Wohnhaus, das 1983 direkt neben den Stallungen errichtet wurde, spiegelt diesen modernen Ansatz wider.

Der von Phillip Georg Ax erbaute Hof, den man inzwischen auf den Ahberg verlagert hatte, wurde fünf Generationen später von Franz Josef Ax übernommen. 1983 wurde das Wohnhaus dort bezogen, und der Betrieb ging an Franz Otto Ax über, der den Familienhof bis heute weiterführt. Der moderne landwirtschaftliche Betrieb auf dem Ahberg umfasst 28 Hektar Ackerland und 69 Hektar Grünland, die von der Familie bewirtschaftet werden. Die Milchproduktion steht im Zentrum des Betriebs, ergänzt durch den Anbau von Kartoffeln, die ein wichtiges Standbein des Hofes darstellen. Außerdem wohnt auch heute noch ein Sohn der Familie, Friedhelm Ax, im ursprünglichen Bauernhof an der Weststraße.