József nádort a Margit-szigethez különleges kapcsolat fűzte. Amikor bátyja, Sándor Lipót főherceg az ország nádora lett és Budára költözött, a korabeli arisztokrácia sajátos, kétlaki életének megfelelően a Budai Vár mint téli rezidencia mellett szüksége volt egy megfelelő nyári lakhelyre is. Miután bátyja választása a szigetre esett, 1790-ben megindultak a növénytelepítési-parkosítási munkálatok, ám ezek kibontakozása már az utódja, József főherceg korszakára esett, aki képzett kertészként a fejlesztés minden részletét Tost Károly királyi főkertésszel megbeszélte.
A nádor felesége, Alexandra Pavlovna nagyhercegnő nyaralóként egy, a ferences kolostor romjaihoz támaszkodó klasszicista villát kapott ajándékba férjétől, de sajnos csak 1801 nyarán élvezhette itt a pihenést. A szigetet a nádor a szomorú családi tragédia után sem hagyta el, így amikor 1814-ben a Napóleon-ellenes bécsi kongresszus illusztris vendégei – I. Sándor orosz cár (a nádor sógora), III. Frigyes Vilmos porosz király és I. Ferenc osztrák császár és magyar király (a nádor bátyja) – meglátogatták székvárosát, József a Margit-szigeten adott számukra nagyszabású fogadást. De voltak nehéz pillanatok is, így pl. 1838-ban a nagy dunai árvíz jégtáblái kegyetlenül megberetválták a Margit-sziget fáinak törzsét.
A sziget fennmaradt fái máig őrzik a nádor emlékét, például egy különleges narancseperfa, vagy a keleti platán tarkalevelű változatának példányai is, melyeket maga József nádor hozatott Firenzéből és saját kezűleg ültette el margitszigeti kertjében, 1828-ban.
