概念由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两象素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的常用方法。
灰度共生矩阵生成灰度直方图是对图像上单个象素具有某个灰度进行统计的结果，而灰度共生矩阵是对图像上保持某距离的两象素分别具有某灰度的状况进行统计得到的。
取图像(N×N)中任意一点 （x，y）及偏离它的另一点 （x+a，y+b），设该点对的灰度值为 （g1，g2）。令点（x，y） 在整个画面上移动，则会得到各种 （g1，g2）值，设灰度值的级数为 k，则（g1，g2） 的组合共有 k 的平方种。对于整个画面，统计出每一种 （g1，g2）值出现的次数，然后排列成一个方阵，再用（g1，g2） 出现的总次数将它们归一化为出现的概率P（g1，g2） ，这样的方阵称为灰度共生矩阵。距离差分值（a，b） 取不同的数值组合，可以得到不同情况下的联合概率矩阵。（a，b） 取值要根据纹理周期分布的特性来选择，对于较细的纹理，选取（1，0）、（1，1）、（2，0）等小的差分值。
当 a=1，b=0时，像素对是水平的，即0度扫描；当a=0，b=1 时，像素对是垂直的，即90度扫描；当 a=1，b=1时，像素对是右对角线的，即45度扫描；当 a=-1，b=-1时，像素对是左对角线，即135度扫描。
这样，两个象素灰度级同时发生的概率，就将 （x，y）的空间坐标转化为“灰度对” （g1，g2）的描述，形成了灰度共生矩阵。
实验中对灰度共生矩阵进行了如下的归一化：
（1）
灰度共生矩阵的特征直觉上来说，如果图像的是由具有相似灰度值的像素块构成，则灰度共生矩阵的对角元素会有比较大的值；如果图像像素灰度值在局部有变化，那么偏离对角线的元素会有比较大的值。
通常可以用一些标量来表征灰度共生矩阵的特征，令G表示灰度共生矩阵常用的特征有:ASM（angular second moment)
也即每个矩阵元素的平方和。
如果灰度共生矩阵中的值集中在某一块（比如对连续灰度值图像，值集中在对角线；对结构化的图像，值集中在偏离对角线的位置），则ASM有较大值，若G中的值分布较均匀（如噪声严重的图像），则ASM有较小的值。对比度（contrast）
如果偏离对角线的元素有较大值，即图像亮度值变化很快，则CON会有较大取值，这也符合对比度的定义。IDM（inverse different moment）
如果灰度共生矩阵对角元素有较大值，IDM就会取较大的值。因此连续灰度的图像会有较大IDM值。熵（entropy）
若灰度共生矩阵值分布均匀，也即图像近于随机或噪声很大，熵会有较大值。自相关（correlation）
其中
自相关反应了图像纹理的一致性。
最后，可以用一个向量将以上特征综合在一起。例如，当距离差分值（a,b）取四种值的时候，可以综合得到向量：
h=[ASM1, CON1, IDM1, ENT1, COR1, ..., ASM4, CON4, IDM4, ENT4, COR4]
综合后的向量就可以看做是对图像纹理的一种描述，可以进一步用来分类、识别、检索等。
