Vallimägi on Rakvere vanim asustatud punkt, kus juba 13. sajandi alguses asus eestlaste linnus Tarvanpea.
Rakvere Vallimäe Vabaõhukeskuse eelkäija – Rakvere laululava avati 1964. aastal ning sellest alates on siin antud kontserte ja teatrietendusi, korraldatud Jaanitulesid, peetud laulu – ja tantsupidusid.
Uuenenud Rakvere Vallimägi avati 2020. aastal. Objekti arhitektiks oli Tiit Kaljundi, tehnilise projekti eest vastutasid OÜ Acto Consult ja Aare Asber ning ehitas AS YIT Eesti.