Realmente no hay una forma de poner una restricción de tamaño máximo por carpeta, al menos no sin hacer un programa especifico para eso...
Pero buscando en Google vi esto: http://www.annoyances.org/exec/forum/winxp/1139702465
Una buena propuesta de alguien con tu mismo problema (recordarse cuando lleve ~4GB) es de crear una partición de 4.5GB y guardar los datos ahi :P