Yo te recomiendo lo siguiente
1) Usar una distro de Linux, Ubuntu esta bien si empiezas.
2) Instalar un servidor web Apache
3) Instalar una base de datos mysql
4) Instalar soporte de php
5) Si desarrollas una aplicacion puedes probar con un framework php llamado codeigniter
6) Si lo que quieres es montar una pagina web, puedes utilizar un CMS, mi recomendacion de siempre Wordpress.
Perdon por no dejarte los links pero no ando con tiempo en estos momentos, pero una busqueda rapida en Google te daran miles de paginas por donde empezar.
Y un ultimo consejo, evita las herramientas o programas del tipo "Instalando y configurando todo con un solo clic", si estas empezando es importante que sepas montar todo un entorno de desarrollo por tu cuenta "a pata" y enfrentarte a los problemas comunes y saber resolverlas. Esas herramientas te serviran luego cuando ya tengas mas experiencia y te de weba hacer todo a pie.