Ein Höhepunkt in der Geschichte der Stadt Straubing war die Zeit von 1353 bis 1429, als sie Hauptstadt des selbständigen Herzogtums Straubing-Holland war.
Als Kaiser Ludwig der Bayern 1347 auf der Jagd verstarb, hinterließ er sechs Söhne, die sich über das Erbe nicht einigen konnten. Es kam zur Landesteilung, bei der 1353 eine Zweiglinie der Wittelsbacher mit den Herzögen Albrecht I. und Wilhelm I. das Herzogtum Straubing-Holland gemeinsam regierten. Nach der Heirat von Wilhelm I. mit Mechthild von Lancaster nahm dieser seinen Sitz in Den Haag. Nachdem er 1356 geisteskrank wurde, war Herzog Albrecht I. alleiniger Herrscher über das Herzogtum und bestimmte Straubing zu seiner niederbayerischen Residenzstadt.
Da ihm das damals noch bestehende alte Schloß in dem weiter westliche gelegenen Stadtteil ³In der Bürg" nicht groß genug war, ließ er 1356 mit dem Bau des heutigen Herzogschlosses beginnen. 1358 übernahm er auch die Herrschaft in den Niederlanden. Dorthin holte er 1360 seine Familie und Verwaltungsfachleute aus Straubing und residierte nun überwiegend im Haag. Straubing wurde Nebenresidenz.
Der direkt an der Donau gelegene, sogenannte "Fürstenbau" bildet den Haupttrakt des Schlosses, der 1356 begonnen und 1422 aufgestockt wurde. Im Erdgeschoß befindet sich der Rittersaal, darunter die Dürnitz, der Aufenthaltsraum für die Gefolgsleute. Die beiden Ecktürme wurden ehemals als Wohnräume für den Herzog und die Herzogin (³Herzogturm" und ³Kemenatenturm") genutzt. Ebenfalls an der Donau befindet sich der ehemalige Salzstadel, an der Südwestecke steht das ehemalige Rentamt, das 1739 von Joseph Effner und Johann Baptist Gunetzrhainer umgebaut wurde.