No es sencillo, pero hay diversas formas.
Uno dependerá de cuantas personas se conectaran a tu video conferencia, el motivo es porque el # de personas sea mayor, así deberá ser tu servidor.-
Podes utilizar servidor Windows o Linux, en este caso te recomiendo linux y sin duda necesitaras alguna de estas aplicaciones:
FFmpeg: FFmpeg version 0.6.1 and 0.6.2
FFmpeg-PHP
Mplayer + Mencoder
FLV2tool
LAME MP3 Encoder
AMR (for 3gp file conversions)
libogg, libavfilter
libvorbis, vfilters
Faad
Faac
X264
Overlay Images on video using mplayer and mencoder
FFMPEG compiled with the latest SVN Source
En caso de Windows, necesitarías como mínimo utilizar una aplicación Flex programable en java si no mal me recuerdo y utilizar Flash Media Server, de esto último hay información en google que te puede orientar pero debes de conocer y manejar el lenguaje de programación.
Suerte..!!!