la velocidad es 512kbps y el codec que utilizo es G711 aLaw
Comentas que usas VPN, lo que te esta afectando es el overhead del Tunel IPSec, y eso te limita mas el ancho de banda disponible, al igual que el codec que usas no da mucho para mejorar la compresion.
En este caso podes hacer dos cosas:
Usar otro codec que te permita jugar con los parametros de compresion.
Aumentar el ancho de banda. Me recuerdo que cuando menos para Cisco, recomendaban 756Kbps para que trabajara adecuadamente VoIP en VPN, pero en la practica 1024kbps (y por experiencia propia) trabaja muy bien sin que le afecte otro trafico en el mismo tunel.
Otra opcion es que le hagas compresion IP al tunel, aunque en IPSec lo unico que se puede comprimir son los encabezados de la trama, mas no los datos (payload compression)