Im Internet gibt es eine Reihe von Skripten und Anleitungen eine Google XML Sitemap zu erstellen. Viele von diesen haben jedoch die Einschränkung das die Urls eine Dateiendung haben. Wenn die Urls jedoch nur bspw. mit “/” enden, versagen viele Skripte. Ein anderer Ansatz ist, wget zu benutzen.

[PHP]
–spider –recursive –no-verbose –output-file=wgetlog.txt http://somewebsite.com
sed -n “s@.\+ URL:\([^ ]\+\) .\+@\1@p” wgetlog.txt | sed “s@&@\&@” > sedlog.txt
[/PHP]

Quelle: http://stackoverflow.com/questions/3948947/can-i-use-wget-to-generate-a-sitemap-of-a-website-given-its-url

Nach dem die Urls extrahiert sind, bedarf es noch eines Skriptes, welches die XML Struktur erzeugt.