首次将这一概念用文字表达出来的是魏晋时代的刘徽。他在计算圆周率时，用尺、寸、分、厘等单位表示小数。宋、元时代，小数概念得到普及，杨辉则用“隔位”“退位”表示小数点的含义。

在西方，数学家们直到16世纪才考虑使用小数。1593年，德国数学家可拉维斯在自己的著作中第一次使用小圆点来分隔整数部分和小数部分，这也就是我们今天所使用的小数点。