De 23-jarige verdediger doorliep de jeugdopleiding van Feyenoord, maar maakte zijn debuut in het betaalde voetbal in 2010 bij Excelsior. Een jaar later ging hij echter weer terug naar De Kuip. Mede door blessures kwam hij maar zeven keer in actie voor Feyenoord.
VVV Venlo was niet de enige gegadigde om Ramsteijn te huren. Ook PEC Zwolle, NAC Breda en Willem II hadden interesse in de geboren Zoetermeerder.