In romantischer Lage, auf einen an drei Seiten von der Thaya umflossenen Felsplateau, liegt Schloß und Stadt hoch über der Thaya. Unweit einer älteren Ansiedlung, die sich um die Altstadtpfarrkirche gruppiert, war um 1100 aus strategischen Überlegungen diese Grenzfestung gegen Mähren entstanden. Noch heute ist die Turm bewährte Stadtmauer mit den beiden Stadttoren zur Gänze erhalten, in die an der Angriffsseite die Stadtburg mit einbezogen ist. 

Seit dem Jahre 1988 wird die Stadtmauer restauriert, die Arbeiten sind noch nicht abgeschlossen. 

Das Gebiet um Drosendorf ist seit der Jungsteinzeit – seit etwa 6000 Jahren – besiedelt. Dies ist durch zahlreiche Bodenfunde belegt. Es gibt auch hallstättisch-keltische Funde aus der Zeit von etwa 400 – 100 v. Chr. Im 8. und 9. Jh. n. Chr. wird eine Siedlung im Zuge der ersten bayrischen Besiedelungswelle vermutet. Die strategisch günstige Lage der Stadt auf einem Felsrücken, der von drei Seiten von der Thaya umflossen wird, weist sie als ideale Verteidigungsanlage aus. Der Name Drosendorf könnte von „Dorf eines Drozzo“ abgeleitet werden. Es gibt heute noch in Bayern mehrere Orte mit dem Namen Drosendorf. Als die Babenberger 976 in unser Land kamen, besiedelten sie die Gegend im Norden ihres Gebietes von neuem. Sie vergaben das Gebiet an eine verwandte Familie, die Herren von Pernegg.

1188 erste urkundliche Erwähnung Drosendorfs: ein Albero von Drosendorf scheint als Zeuge in einem Schirmbrief des Bischofs von Passau für das kurz vorher (1153) gegründete Stift Geras auf. Die Pfarre Drosendorf bestand damals schon und wurde dem Stift einverleibt.

1246 Nach dem Tod des letzten Babenbergers fiel die Grafschaft Pernegg an dessen Schwester Margarethe (Heiratsgut). Durch ihre Heirat mit Ottokar von Böhmen leitete dieser Besitzansprüche auf die Grafschaft ab.

1255 scheint ein Gerwig als Stadthauptmann auf. Man kann daraus schließen, dass Drosendorf schon damals Stadt war.

1278 schlug Drosendorfs große Stunde. König Ottokar zog mit einem Heer ins Marchfeld zur Schlacht gegen Rudolf von Habsburg. Er belagerte mit 18.000 Mann Drosendorf, das sich unter der Führung des Stefan von Maissau 16 Tage lang tapfer verteidigte. Rudolf von Habsburg konnte indessen sein Heer bei Dürnkrut sammeln und formieren. Ottokar verlor Schlacht und Leben, und die Habsburger regierten fortan in Österreich. Die Grafschaft Pernegg-Drosendorf fiel an sie. Drosendorf wurde kaiserliche Stadt. Rudolf IV nannte sich „Markgraf von  Drosendorf“.

1310 Friedrich III der Schöne verlieh Drosendorf die gleichen Rechte „an Maut und anderen Dingen, wie sie Laa, Eggenburg und Korneuburg besitzen“, mit dem Zusatz „unseren lieben Bürgern von Drosendorf“. Die Städte hatten die gleichen Rechte wie Wien. Die Originalurkunde über die erste Verleihung dieser Rechte ist nicht mehr vorhanden.

1399 wurden die Rechte der Stadt bestätigt, da die alten Urkunden „in einer gemeinen Brunst verbrunnen “ waren.  Drosendorf war zu dieser Zeit und in den folgendem Jahrhunderten recht bedeutend. Es wurde von den Landesherren immer wieder mit Privilegien und Bestätigungen der alten Rechte ausgezeichnet. Es wurden auch 4 Jahrmärkte bewilligt. Einer davon, der Thomasmarkt, findet heute noch jedes Jahr am 21. Dezember statt.

1536 Gründung des Bürgerspitals durch Mrakesch von Noskau für 10 „hausarme Leute“.

1559 erhält die Stadt von Kaiser Ferdinand I die Blutgerichtsbarkeit. Die Bürger unterstanden nur dem von ihnen gewählten Richter, nicht etwa der Schlossherrschaft oder einer anderen Obrigkeit. Allerdings galt dieses Recht nur für Verbrechen, die innerhalb eines kleinen Bereiches rund um die Stadt verübt wurden. Dieser Bereich  wurde durch die „Burgfriedenssteine“ abgegrenzt. Zwei davon befinden sich heute im Freilichtmuseum (auf der Hornerstraße hinter dem Kriegerdenkmal), ebenso eine Burgfriedensmarter.

1560 gestattete Ferdinand I der Stadt, mit rotem Wachs zu siegeln, und verlieh ihr das heutige Stadtwappen mit dem Doppeladler (das Wappen selbst mit Türmen und Tor dürfte viel älter sein, wahrscheinlich romanisch).

1563 Ferdinand I regelt die Rechte und Pflichten der „Gewerken“ des Alaunbergwerkes bei Drosendorf und befreit sie für 10 Jahre von der Steuer – eine Art erste „Grenzlandhilfe“. Drosendorf war damals so wichtig, dass die Landesherren immer wieder Zuschüsse zur Erneuerung und Erhaltung der Stadtmauern gewährten. Die Grenzlage brachte es mit sich, dass im Laufe der Jahrhunderte häufig Feinde über die Stadt hereinbrachen, so die Slawen, Böhmen, Hussiten, dann im Dreißigjährigen Krieg die Schweden, später die Franzosen und die Preußen.

1846 Großer Stadtbrand am 29. Juni. Das Dach des Kirchturmes brannte ab, die Glocken fielen herab, ein Großteil der Häuser sowie der Turm des Raabsertores wurden ein Raub der Flammen.