正式な読み方の明確な規定は長らく存在せず、「ニッポン」あるいは「ニホン」と読まれてきた。

「日本」という国号が成立する以前、中国古代王朝からは「倭国」または「倭」と称されていたが、「やまと」の政治勢力が中心となって倭を統一したため、古代日本では漢字の流入とともに倭を借字として「ヤマト」と読むようになった。やがて古代日本が認識していた国号である「やまと」に当てた漢字を倭から「日本」に変更し、日本と記して「ヤマト」と読んだ<ref>『日本書紀』巻之第一 神代上 第四段「日本、此云耶麻騰。下皆效此」（日本、これヤマトと言う。下は皆これにならえ）</ref>。

同時に、「日本」国号は7世紀後半の国際関係から生じたものであるため、当時の国際的な読みである音読により、「ニッポン」（呉音）または「ジッポン」（漢音）と読まれただろうと推測されている<ref>岩崎小弥太 『日本の国号』（吉川弘文館、1970）、吉田孝 『前掲書』。</ref>。「ニホン」の読みがいつ始まったかは定かでない。平安時代の仮名表記では促音・濁音の区別がなかったため、「ニッポン」音も「にほん」と表記された。「ニホン」の読みはここから起こったと考えられている。しかしながら日本語においてハ行音はP音→F音→H音と変化したと考えられ<ref>小松英雄『日本語の音韻　（日本語の世界７）』（中央公論社、1981）</ref>、H音が定着するのは江戸時代以降であり、仮名で「にほん」と表記されたものを奈良時代もしくは平安時代には「ニッポン」あるいは「ニポン」と読み、やがて「ニフォン」に変化し、江戸時代後期の頃に「ニホン」と読むようになったと考えられる。また平安時代には「ひのもと」とも和訓されるようになった。

室町時代の謡曲・狂言は、中国人に「ニッポン」と読ませ、日本人に「ニホン」と読ませている。安土桃山時代にポルトガル人が編纂した『日葡辞書』『日本語小文典』等にはローマ字表記にて「ニッポン」「ニホン」「ジッポン」の読みが見られ、その用例から判断すると、改まった場面・強調したい場合では「ニッポン」が使われ、日常の場面では「ニホン」が使われていた<ref>吉田東朔「国号」節（「日本」項 『国史大辞典』、吉川弘文館、1990）</ref>。Xipangu、Japan、Japon 等、ヨーロッパ語圏での日本を表す語は「ジッポン」に由来すると考えられているが、「ジッポン」音は現在伝わっていない。このことから小池清治は、中世日本人が中国語的な語感のある「ジッポン」を使用するのは、中国人・西洋人など対外的な場面に限定されていたのであり、日常的には「ニッポン」「ニホン」が用いられていたのではないかと推測している<ref>小池清治 『日本語は悪魔の言語か? - ことばに関する十の話』 角川書店、2003。</ref>。

その後、明治期に入っても「ニッポン」「ニホン」の統一がなされない状況の中、1934年（昭和9年）に文部省臨時国語調査会が、国号呼称を「にっぽん」に統一し、外国語表記もJapanを廃して Nippon を使用すること、とする案を示した。しかし、完全な統一は果たされなかった。2009年（平成21年）6月30日には、「今後、「日本」の読み方を統一する意向はあるか。」との質問主意書に対する答弁として、などがある。</ref>。