Le prieuré jouxte l’église. Les prieurs de Grez étaient chanoine de Saint Augustin, prêtres réguliers souvent en lutte à propos des prérogatives sacerdotales avec le commandeur de Beauvais.

Aujourd’hui le prieuré et son jardin restaurés ont vocation à promouvoir diverses activités culturelles, patrimoniales et festives. Le jardin ou parc descend jusqu’au Loing et il est ouvert au public.