Mittelalterlicher Kern von Wollendorf war ein freiadliger, burgartig befestigter Herrensitz, dessen Rest in der sogenannten "Burg" an der Karl-Marx-Straße erhalten ist. Ihre Grundmauern und Kellergewölbe sollen aus dem 11. oder 12. Jahrhundert stammen. Der runde Eckturm des stattlichen Hauses wurde kurz nach 1840 bis auf den noch stehenden Stumpf abgetragen. Urkundlich erscheint die "Burg" zuerst 1202. Damit taucht auch erstmals der Ortsname auf.