Der Nikkei fiel bis zur Mittagspause um 1,63% auf 32.899,94, wobei 199 der 225 Komponenten des Nikkei nachgaben, 25 stiegen und einer unverändert blieb.
Damit wurde der Großteil des Anstiegs von mehr als 2%, den der Index am Mittwoch nach einem Dreiwochentief verzeichnet hatte, wieder zunichte gemacht.
Der breiter gefasste Topix sank um 1,19%.
In Ermangelung inländischer Impulse orientieren sich die Anleger an den Überseemärkten und dem Wechselkurs, während sie auf die Veröffentlichung des monatlichen US-Arbeitsmarktberichts am Freitag warten, sagte Maki Sawada, ein Stratege bei Nomura Securities.
Die Rückgänge dürften sich jedoch in Grenzen halten, sagte sie.
"Wenn die asiatischen Aktien schwach sind, wird das die japanischen Aktien belasten, aber im Falle eines Rückgangs sollte der gleitende 25-Tage-Durchschnitt den Nikkei über 32.800 stützen."
Die Versorger, ein traditionell defensiver Sektor, waren die einzige Nikkei-Branchengruppe, die zulegen konnte. Energie war der größte Verlierer, nachdem Rohöl auf ein Sechsmonatstief gefallen war.
Chip-Aktien waren ebenfalls die größten Verlierer und stellten zwei der drei größten Verlierer im Nikkei dar. Der Chip-Ausrüstungsriese Tokyo Electron verlor 82 Punkte, gefolgt von 65 Punkten des Uniqlo-Ladenbetreibers Fast Retailing .
Advantest, ein Hersteller von Chiptestgeräten, war der dritte Wert, der mit einem Minus von 4,49% 53 Punkte verlor und damit der stärkste Rückgang im Index war.
Die Automobilhersteller zeigten sich angesichts eines stärkeren Yen, der den Wert von Auslandsverkäufen schmälert, schwach. Toyota sank um 1,36%, Honda verlor 2,03% und Subaru gab 2,23% nach.
Rakuten Group gaben um 1,4% nach, nachdem der E-Commerce- und Fintech-Riese angekündigt hatte, fast 15% der Online-Bank Rakuten Bank zu verkaufen. Die Aktien des Kreditgebers brachen um 8,44% ein. (Bericht von Kevin Buckland; Bearbeitung durch Rashmi Aich)