Der Ort Mansfeld wird in einer Urkunde 1400 passend zur geographischen Lage als Tal Mansfeld erwähnt. Das Alter der Kirche legt nahe, dass die Siedlung schon deutlich älter ist. Der 1408 bereits bestehende Mauerring, mit heute nicht mehr erhaltenen Türmen, lässt auch auf ein Stadtrecht zu diesem Zeitpunkt schließen.

Prägend für die Stadt und ihre Umgebung war der Bergbau: Kupferschiefer wurde abgebaut, verarbeitet und verkauft. Das veranlasste 1484 auch Hans Luder, den Vater von Martin Luther, von Eisleben nach Mansfeld umzuziehen. Martin Luther selbst ging von 1488-1496 zur Schule in Mansfeld.

Die Grafen von Mansfeld häuften im Laufe der Jahre immer mehr Schulden an, bis 1570 die Lehensherren Kursachsen und Magdeburg den Ort zwangsverwalteten. Erst 1716 wurde die Verwaltung zum Teil zurückgegeben. Wenig später ging Mansfeld an Magdeburg. Seit 2007 ist Mansfeld Teil des Landkreis Mansfeld-Südharz.