根据史书的记载和考古材料的发现，古代的算筹实际上是一根根同样长短和粗细的小棍子，一般长为１３--１４ｃｍ，径粗０．２～０．３ｃｍ，多用竹子制成，也有用木头、兽骨、象牙、金属等材料制成的，大约二百七十几枚为一束，放在一个布袋里，系在腰部随身携带。需要记数和计算的时候，就把它们取出来，放在桌上、炕上或地上都能摆弄。别看这些都是一根根不起眼的小棍子，在中国数学史上它们却是立有大功的。而它们的发明，也同样经历了一个漫长的历史发展过程。
在算筹计数法中，以纵横两种排列方式来表示单位数目的，其中1-5均分别以纵横方式排列相应数目的算筹来表示，6-9则以上面的算筹再加下面相应的算筹来表示。表示多位数时，个位用纵式，十位用横式，百位用纵式，千位用横式，以此类推，遇零则置空。这种计数法遵循一百进位制。据《孙子算经》记载，算筹记数法则是：凡算之法，先识其位，一纵十横，百立千僵，千十相望，万百相当。《夏阳侯算经》说：满六以上，五在上方.六不积算，五不单张。
算筹的发明就是在以上这些记数方法的历史发展中逐渐产生的。它最早出现在何时，现在已经不可查考了，但至迟到春秋战国；算筹的使用已经非常普遍了。前面说过，算筹是一根根同样长短和粗细的小棍子，那么怎样用这些小棍子来表示各种各样的数目呢？
那么为什么又要有纵式和横式两种不同的摆法呢？这就是因为十进位制的需要了。所谓十进位制，又称十进位值制，包含有两方面的含义。其一是"十进制"，即每满十数进一个单位，十个一进为十，十个十进为百，十个百进为千……其二是"位值制，即每个数码所表示的数值，不仅取决于这个数码本身，而且取决于它在记数中所处的位置。如同样是一个数码"2"，放在个位上表示2，放在十位上就表示20，放在百位上就表示200，放在千位上就表示2000……在我国商代的文字记数系统中，就已经有了十进位值制的荫芽，到了算筹记数和运算时，就更是标准的十进位值制了。
按照中国古代的筹算规则，算筹记数的表示方法为：个位用纵式，十位用横式，百位再用纵式，千位再用横式，万位再用纵式……这样从右到左，纵横相间，以此类推，就可以用算筹表示出任意大的自然数了。由于它位与位之间的纵横变换，且每一位都有固定的摆法，所以既不会混淆，也不会错位。毫无疑问，这样一种算筹记数法和现代通行的十进位制记数法是完全一致的。
中国古代十进位制的算筹记数法在世界数学史上是一个伟大的创造。把它与世界其他古老民族的记数法作一比较，其优越性是显而易见的。古罗马的数字系统没有位值制，只有七个基本符号，如要记稍大一点的数目就相当繁难。古美洲玛雅人虽然懂得位值制，但用的是20进位；古巴比伦人也知道位值制，但用的是60进位。20进位至少需要19个数码，60进位则需要59个数码，这就使记数和运算变得十分繁复，远不如只用9个数码便可表示任意自然数的十进位制来得简捷方便。中国古代数学之所以在计算方面取得许多卓越的成就，在一定程度上应该归功于这一符合十进位制的算筹记数法。马克思在他的《数学手稿》一书中称十进位记数法为"最妙的发明之一"，确实是一点也不过分的。
