Im Jahr 1822 brach der letzte von vier schweren Stadtbränden in Schmallenberg aus. Brandherd war das sogenannte Stübben Haus, das damals direkt neben dem heutigen Rathaus und dem Schmalen Haus stand. Innerhalb von nur zwei Stunden brannte der Großteil der Wohnhäuser nieder. Chronist Arnold Dham berichtet von einstürzenden Häusern, panischen Menschen und Nächten unter freiem Himmel. Rußspuren und Störungen in der Fassade zeigen, dass auch das Schmalen Haus von den Flammen zumindest teilweise in Mitleidenschaft gezogen wurde. Dennoch zählt es zu den wenigen erhaltenen Gebäuden aus der Zeit vor dem Brand.

Nach der Katastrophe wurde die Stadt zwischen 1822 und 1825 neu aufgebaut und das heutige Stadtbild trägt noch immer die Handschrift dieser Neuplanung. Erst 1900 kam es zur Gründung einer Feuerwehr.

Das Schmale Haus hat einen längsrechteckigen Grundriss mit einem polygonalen Westende. Es misst 17,5 Meter in der Länge, 6,8 Meter in der Breite und 10,8 Meter in der Höhe. Errichtet wurde es in drei Bauphasen. Später wurde das Erdgeschoss für das heutige Stadtarchiv umgebaut.
Der erste Bauabschnitt ist der Bruchsteinkeller, dessen starke Mauern einst auf wiederverwendete Stadtmauerteile hindeuteten. Tatsächlich entstand er aber zeitgleich mit der Mauer und wurde als Lagerraum genutzt. Das älteste verbaute Holz stammt Untersuchungen zufolge aus 1570. In der zweiten Phase wurde um 1804 der Kernbau darüber errichtet, der genau den Kellermaßen folgt, was an Inschriftbalken zu erkennen ist, die sonst sinnlos wären. Die späteren Anbauten aus dem 19. Jahrhundert weichen in der Dachkonstruktion und Ausführung deutlich ab.
Die Fassade zeigt klassisches schwarz-weißes Fachwerk. Nur Teile der Originalfassade sind erhalten, darunter die nördliche Traufseite. Auffällig sind der verschieferte Giebel mit Vorbau sowie das große Zwerchhaus zur Rathausseite mit einer Ladeluke. Das Dach besteht aus Eichenholz und wurde als einfaches Kehlbalkendach ausgeführt.

Einst, nach der Stadtgründung im Jahr 1244, war hier der Ritter und Burgmann Johann, genannt Kolve, zuhause und man nannte das Gebäude „Steinhaus“. Zuvor hatte er auf der Smalen Burg gewacht.

Der heutige Name des Schmalen Haus geht nicht auf die Bauform zurück, wie häufig angenommen wird, sondern auf einen früheren Bewohner: Balzer, genannt Schmale. Der Name blieb erhalten und prägt das Gebäude bis heute. Ein Inschriftbalken im Obergeschoss deutet zudem auf einen „Frans Anton“ als Bauherrn des Kernbaus hin.

In den 1980er-Jahren wurde das Haus umfassend renoviert. Seit 1985 wird es als Stadtarchiv genutzt. Außerdem ist die Bibliothek der Christine-Koch-Gesellschaft hier untergebracht. Damit dient das Gebäude heute nicht nur dem Erhalt der Stadtgeschichte, sondern ist auch ein Ort kultureller Bildung und wissenschaftlicher Arbeit.