日本在史前经历了漫长的年代。考古资料表明，五万至两万五千年前，日本境内已有人居住，《礼记·王制》注引《风俗通》：“东方谓之夷，其类有九：一曰玄菟，二曰乐浪，三曰高骊，四曰满饰，五曰臾凫，六曰索家，七曰东屠，八曰倭人，九曰天鄙。”其中“倭人”就是古代的日本人。《山海经》《汉书·地理志》《三国志·魏书·东夷传》《后汉书·东夷列传》等也留下了关于古代日本的记载。汉代许慎的《说文解字》：“倭，顺貌。从人，委声。”反映了中国古人对这个东方民族较早的认知。《日本书纪》：“吾邦之人初入汉，汉人问谓：‘汝国名如何？’吾答曰：‘谓吾国耶？’汉人即取‘吾’之和训，名之曰倭”，“倭”即“我”；也有人认为“倭”是中国古代对倭奴的简称，倭奴国即倭国中的奴国，《明史·日本传》：“日本，古倭奴国。唐咸亨初，改日本，以近东海日出而名也。”1784年，在日本九州博多湾口的志贺岛上，发现了一枚赤金方印，上刻“汉倭奴国王”五字。《后汉书》记载，东汉光武帝建武中元二年（57），倭奴国使者曾来汉朝拜，光武帝赐使者金印紫绶，成为汉朝和邪马台国之间交往的凭证。中国移民日本也很早，古代中国人一般是到了与大陆相邻的朝鲜以后再去日本，通