Der Nikkei fiel bis zur Mittagspause um 0,65% auf 38.953,49 und notierte damit zum ersten Mal seit dem 22. Februar unter der Marke von 39.000 Punkten.
Der breiter gefasste Topix fiel um 0,62% auf 2.658,26.
"Die Anleger verkauften Aktien, um ihre Gewinne zu sichern, nachdem der Nikkei seine Rallye unterbrochen hatte", sagte Naoki Fujiwara, Senior Fondsmanager bei Shinkin Asset Management.
"Aber ich sehe eine Nachfrage nach Aktienkäufen bei Kursrückgängen. Und die Anleger scheinen ihre Ziele auf kleinere Aktien verlagert zu haben.
Der Nikkei fiel am Mittwoch von seinem in der vorangegangenen Sitzung erreichten Allzeithoch zurück, da technische Signale darauf hindeuteten, dass der Anstieg von mehr als 9% in den vergangenen drei Wochen zu schnell erfolgt war.
Am Donnerstag gab der Technologiekonzern SoftBank Group 1,39% nach und belastete den Nikkei damit am stärksten. Der Keramikhersteller Kyocera verlor 1,5%.
Die Stimmung wurde durch die jüngsten Daten des Finanzministeriums belastet, aus denen hervorging, dass ausländische Investoren in der Woche, in der der Index ein Allzeithoch erreichte, zu Nettoverkäufern von japanischen Aktien wurden, sagte Ryutaro Sawada, leitender Marktanalyst beim Tokai Tokyo Research Institute.
Ausländische Investoren verkauften in der Woche bis zum 24. Februar japanische Aktien im Wert von 200 Milliarden Yen (1,33 Milliarden Dollar) und unterbrachen damit eine siebenwöchige Kaufserie.
Gegen den Trend stieg die Aozora Bank am Donnerstag um 9,44%, nachdem bekannt wurde, dass der aktivistische Fonds City Index Eleventh 5,42% an der in Tokio ansässigen Bank hält.
Seven & i Holdings stiegen um 4,83%, nachdem die Medien berichtet hatten, dass der Betreiber einer Supermarktkette den Verkauf einer Supermarktsparte an Investmentfonds erwägt. Ein Unternehmenssprecher sagte, dass daran nichts dran sei.
Schifffahrtsunternehmen, die in dieser Woche bisher 2,7% verloren hatten, stiegen um 1,29% und waren damit der beste Wert unter den 33 Branchen-Subindizes der Tokioter Börse.
($1 = 150,0000 Yen) (Bericht von Junko Fujita; Bearbeitung von Mrigank Dhaniwala)