Der Spot-Goldpreis fiel um 0,4% auf $2.294,30 pro Unze (Stand: 1521 GMT) und verzeichnete damit den zweiten wöchentlichen Rückgang in Folge, der bisher 1,8% betragen hat.
Die US-Goldfutures gaben um 0,3% auf $2.302,40 nach.
Die Preise gaben ihre Gewinne schnell wieder ab, nachdem sie unmittelbar nach der Veröffentlichung von Daten, wonach die Zahl der Beschäftigten außerhalb der Landwirtschaft in den USA im vergangenen Monat um 175.000 gestiegen war und damit hinter den Prognosen der Ökonomen von 243.000 zurückblieb, auf $2.320,78 gestiegen waren.
"Der anfängliche Anstieg des Goldpreises aufgrund des Goldilocks-Arbeitsmarktberichts führte zu Gewinnmitnahmen, was darauf hindeutet, dass die Bullen nach der bemerkenswerten Rallye im April und der eher gewöhnlichen Reaktion auf Powells freundliche Kommentare am Mittwoch vorsichtiger werden", sagte Tai Wong, ein unabhängiger Metallhändler mit Sitz in New York.
Obwohl die Arbeitsmarktdaten die Erwartung bestärkten, dass die US-Notenbank noch in diesem Jahr mit Zinssenkungen beginnen wird, was für Nullzinsbarren förderlich sein sollte, veranlasste dies die Anleger, stattdessen in risikoreichere Anlagen zu wechseln.
Die Stimmung ist "risikofreudig", was sich in einer geringeren Nachfrage nach Gold niederschlägt, sagte Chris Gaffney, President of World Markets bei EverBank.
Gold schien auch einen daraus resultierenden Rückgang der Renditen von US-Staatsanleihen weitgehend zu ignorieren.
Seit seinem Rekordhoch von 2.431,29 $ im April hat der sichere Goldpreis um 5,7% oder etwa 140 $ nachgegeben, was auf die Unruhen im Nahen Osten und die starken Käufe der Zentralbanken zurückzuführen ist.
"Es gibt Befürchtungen, dass Gold weiter zurückgehen könnte, wenn die asiatischen Käufe nicht wieder einsetzen. Es könnte bis auf $2.150 fallen, ohne dem langfristigen Chart wirklich zu schaden", so Wong weiter.
Im Windschatten des Goldpreises fiel der Silberpreis um 1,3% auf $26,35 und steuerte damit auf einen Wochenrückgang zu. Platin legte dagegen um 0,1% auf $950,76 zu und stieg damit im bisherigen Wochenverlauf um rund 5%, während Palladium ebenfalls um 0,9% auf $943,50 zulegte. (Berichte von Rahul Paswan und Harshit Verma in Bengaluru; Bearbeitung durch Arpan Varghese und Tasim Zahid)
