V místě dnešní Rajské zahrady byla původně vinice patřící faře sv. Mikuláše na Starém Městě. V polovině 15. Století byste si ji mohli pronajmout za 4 kopy grošů a soudek vína jako Matouš střelec od Horské brány. Vznik zahrady je datován do roku 1863 kdy zde vznikl park coby součást zeleného pásu okolo pražských opevnění, který budovalo město pražské.

V druhé polovině 19. století zde fungovala oblíbená zahradní restaurace, kde se konaly bály, koncerty a startovali zde ke svým letům v balónech vzduchoplavci. V roce 1885 se zde dokonce konala velká zahradní slavnost. Slovo zahrada však získala v roce 1887 díky slavnému českému zahradnímu architektovi Františkovi Josefovi Thomayerovi – autorovi parku před Willsonovým nádražím, či Thomayerových sadů. Na jeho popud městská rada rozhodla o přesunutí zásobní zahrady městských sadů na tyto pozemky. Byly zde vystavěny skleníky, odkud pocházely například všechny květiny, jimiž byla obsypána Praha během návštěvy císaře Franze Josefa v roce 1891. Celkem se údajně jednalo o 120 tisíc sazenic.

Za první republiky a po druhé světové válce začala zahrada postupně ustupovat okolní zástavbě. Její dnešní podoba je tak pouze torzem původní rozlohy. Zbytky secesního skleníku však byly na místě vidět ještě v 60. letech minulého století.