Die Stadt liegt beiderseits des Inns, zwischen dem Hausberg Pendling und dem Maistaller Berg im Westen, dem Thierberg im Norden, dem Kaisergebirge und dem Stadtberg im Osten sowie dem Kufsteiner Wald im Süden. Die Stadt befindet sich auf rund 500 Meter Meereshöhe am Ausgang des alpinen Inntales und nur wenige Kilometer vom bayerischen Alpenvorland entfernt. Im Gemeindegebiet liegt auch das Kaisertal, das lange Zeit letzte Tal Österreichs ohne Straßenanbindung (2006 wurde nach langem politischen Diskurs der Anna-Tunnel zwischen Kufstein und Ebbs gebaut).
Im Stadtgebiet münden zahlreiche Bäche in den Inn, die beiden größten Zuflüsse sind rechts des Inns die Weißache im Süden und der Kaiserbach, der die Stadtgrenze im Norden bildet. Weitere rechte Innzuflüsse sind der Mitterndorfer-, der Kien- und der Kreuzbach, linke Zuflüsse der Rochen- und der Morsbach. Vier Hügel bzw. kleinere Berge befinden sich mitten in der Stadt: Zellerberg, Festungsberg, Kalvarienberg (Heldenhügel) und Lausbichl. Im Umkreis von wenigen Kilometern befinden sich mehrere Seen: Stimmersee, Thiersee, Pfrillsee, Längsee, Hechtsee, Egelsee, Kieferer See, Kreutsee, Hödenauersee, Hintersteiner See und Walchsee; Stimmersee, Thiersee, Kieferer See, Kreutsee und Hödenauersee gehören zu den Nachbargemeinden. Im Südwesten gab es bis ins vergangene Jahrhundert einige Seen und Teiche, die bis auf die kleine Maistaller Lacke verlandet sind. Diese steht, wie auch der Egelsee, seit einigen Jahren unter Naturschutz.
Der Talboden verläuft in der ganzen Stadt zum Inn hin leicht abfallend, was zum Beispiel am Unteren Stadtplatz gut ersichtlich ist.
Kufstein war immer wieder Gegenstand von Grenzstreitigkeiten zwischen Bayern, Tirol und dem Habsburger-Reich Österreich, was der Stadt aber auch viel Nutzen als Grenz- und Zollposten brachte. Kufstein war lange Zeit Teil des bayerischen Herzogtums und kam erstmals 1342 als Brautgeschenk an Tirol, als Gräfin Margarete von Tirol den bayerischen Herzogsohn Ludwig den Brandenburger ehelichte, musste aber bereits 1369 im Frieden von Schärding an Bayern zurückgegeben werden. Durch die bayerischen Landesteilungen gehörte es nach 50-jähriger Zugehörigkeit zu Bayern-Ingolstadt schließlich, bis zu deren Aussterben im Mannesstamm, zum Herrschaftsbereich der Reichen Herzöge von Landshut.
Kaiser Ludwig der Bayer, der von 1314 bis 1347 regierte, verlieh der Stadt selbständige Gerichtsbarkeit. Gegen Ende des 14. Jahrhunderts erhielt Kufstein vom bayrischen Herzog Stefan dem Jüngeren das Stadtrecht. Herzog Ludwig dem Gebarteten sind die starken Befestigungsanlagen zu verdanken, mit denen er die Burg 1415 ausstatten ließ.
Die vier bayerischen Teilherzogtümer nach der Landesteilung von 1392
Auf dem Reichstag zu Köln 1505 entschied der Habsburger Maximilian I. durch einen Schiedsspruch den Landshuter Erbfolgekrieg und sicherte sich dabei selbst formell das Gebiet um Kufstein.
Vorangegangen war, dass der bayrische Kommandant der Burg Kufstein, Hans von Pienzenau, zunächst einen Eid auf Maximilian geschworen hatte, dann aber gegen 30.000 Gulden auf die Seite der Pfälzer wechselte. Er ließ sich nicht dazu bewegen, die Stadt zu übergeben. Es folgte ein heftiger Kampf um die Burg. Maximilian ließ die Burg neben anderen Hauptstücken und der Scharfmetze „Löwen“ auch von den Riesenkanonen Purlepaus und Weckauf, die eigens aus Innsbruck herangeschafft wurden, mit 100-kg-Eisenkugeln beschießen. Burg und Stadt wurden daraufhin von Maximilian eingenommen und von Pienzenau entgegen den üblichen Sitten hingerichtet (geköpft). Aus einer Urkunde geht hervor, dass die formelle Übergabe von Herrschaft, Schloss und Stadt Kufstein mitsamt dem Landgericht am 8. Februar 1506 geschah.
Maximilian ließ die Schäden, die durch die Belagerung und den Beschuss mit den Kanonen entstanden waren, beseitigen und die Burg durch seinen Baumeister Martin Zeller zu einer Festung ausbauen. Die Stadt und die umliegenden Gebiete gehörten fortan zu Tirol und damit zu Österreich. Es galt aber in Kufstein bis in das 19. Jahrhundert hinein weiterhin das oberbayerische Landrecht Ludwigs des Bayern.
Fälschlich wird der Burg (angeblich in Erinnerung an Gerold, den sagenumwobenen Schwager Karls des Großen) immer wieder der Name Geroldseck zugeschrieben. Dabei handelt es sich allerdings um eine Verwechslung mit der Burg Hohengeroldseck im Schwarzwald. Auch diese damals pfälzische Burg wurde im Landshuter Erbfolgekrieg belagert.
Kaiser Maximilian ließ 1522 für 7000 Gulden den großen runden Kaiserturm errichten, der zum Wahrzeichen Kufsteins wurde und mit 5 bis 7 m starken Mauern und Zwischengewölben den Besucher beeindruckt. Hinter diesen dicken Mauern verbirgt sich sogar der Festsaal.
