因为日本古代有语言而无文字。后来汉字传入日本,虽然具体时间有争议,但史籍之记载汉字汉学之正式传入日本,当为应神天皇之世,即公元 248 年,王仁从百济东渡日本,献论语十卷及千字文一卷,这是汉字汉学传入日本的开始。后来一套称为「汉文」的书写系统开始得以发展。汉文主要是中文文章插入日语独有的助词,让日语使用者可以依从日语的语法去阅读汉字写成的文章。
自汉字输入日本后,历经岁月,到了八世纪中叶,日人始用汉字楷书的偏字,造成片假名,又用汉字草书的偏旁造为平假名,作为注汉字音,及标注日本语音之用。二战时期,日本文部大臣平生釟三郎在帝国议会贵族院表示要废除汉字,但这一论说引起贵族不满,最后不了了之。
1946年日本政府进行了一次汉字改革,规定了1850个《当用汉字表》。当用即“当前使用”或“应当使用”之意。这1850个之外的汉字不再使用,改以假名表记,或是用同音、同义字代替,并颁行简化的新字体。於是产生以下情况: 残骸→残がい,附近→付近。
目前,日本尚未废除汉字,但是新增词语中用汉字书写的汉字词比例下降,用假名书写的外来语比例增多,这等於间接减少了汉字的使用。