19世纪末20世纪初，中国兴起“新式学堂”，其中的“ 学堂乐歌 ”课直接效法日本的音乐教育，也沿袭了日本使用简谱的做法。在许多中小学里开设唱歌课。当时的唱歌教材，以中国音乐教师填词的日本歌曲居多，其中 五线谱 ，也有简谱。简谱大概就是这个时候由日本传入中国的。

1903年，留学于日本 东京 音乐学校 的 曾志忞 在留日 江苏同乡会 于东京编辑出版的 中文杂志 《 江苏 》第六、七期上发表《乐理大意》一文介绍西洋 乐理知识 ，并以简谱与五线谱对照的形式刊登了《练兵》、《春游》等六首歌曲，这被是认为是所见中国人使用简谱的最早记录。近代音乐教育家 沈心工 也是简谱的最早 传播者 之一，他编辑的《 学校唱歌集 》于1904年出版，成为中国出版并流行的第一部简谱歌集，从此后简谱逐步普及到各地的学校。由于它的简明易学和排印方便，在年代兴起的中国抗日救亡群众歌咏运动中，简谱对于歌曲的传播发挥了极大作用。同时，简谱本身也得到进一步完善和普及。

简谱得以在中国广泛普及，还有一个原因，就是简谱的 记谱法 与流行在中国民间的一种 文字谱 —— 工尺谱 相当接近。如工尺谱是用“上尺工凡六五乙”几个字和附在字左边的不同的偏旁来表示音的高低的，而简谱则是用七个 阿拉伯数字 和附在数上面或下面的圆点，来表示音的高低。 工尺谱 是用附在字右边的板眼符号来表示音的长短，而简谱则是用附在阿拉伯数右面或下面的短横线，来表示音的长短。简谱与工尺谱如此相近，简谱记录音的高低长短的方法又比工尺谱更简便、更精确，因此中国人十分容易接受简谱。

就世界范围而言，中国是把简谱吸收的最好、又将其发扬光大的国家。世界上没有哪一个国家像中国这样，简谱得到如此普及。

简谱有着较简单易学、便于记写等多种优点，这使它在中国有着比 五线谱 更为众多的使用者，对于推动和普及群众性的音乐文化活动起着重要的作用。中国的许多音乐家在创作乐曲时，记录最初的创作乐思，多习惯使用书写方便的简谱。 聂耳 创作 《义勇军进行曲》 、 冼星海 创作《 黄河大合唱 》时，他们的初稿也都是用简谱来记写的。