中国古代很早就使用十进制的计量单位。由于生活中常遇到不能整除的情况，因此小数的概念很早就出现了。首次将这一概念用文字表达出来的是魏晋时代的刘徽。他在计算圆周率时，用尺、寸、分、厘等单位表示小数。宋、元时代，小数概念得到普及，杨辉则用“隔位”“退位”表示小数点的含义。在西方，数学家们直到16世纪才考虑使用小数。1593年，德国数学家可拉维斯在自己的著作中第一次使用小圆点来分隔整数部分和小数部分，这也就是我们今天所使用的小数点。
