Logistic回归的使用和缺失值的处理从疝气病预测病马的死亡率数据集：UCI上的数据，368个样本，28个特征
测试方法：交叉测试
实现细节：1.数据中因为存在缺失值所以要进行预处理，这点待会再单独谈
2.数据中本来有三个标签，这里为了简单直接将未能存活和安乐死合并了
3.代码中计算10次求均值
缺失值的处理：一般来说有这么几种方法处理缺失值：
人工填写缺失值使用全局变量填充缺失值忽略有缺失值的样本使用属性的中心度量（均值或中位数等）填充缺失值使用与给定元祖同一类的所有样本的属性均值或中位数使用最可能的值（需要机器学习算法推到）
对不同的数据我们要采用不同的方法，这里考虑到我们用Logistic回归那么我们可以采用0填充，因为用0在更新weight = weight + alpha * error * dataMatrix[randIndex]的时候不会产生更新，并且sigmoid（0）=0.5，他对结果也不会产生影响。
1#coding=utf-82fromnumpyimport*34defloadDataSet():5dataMat =[]6labelMat =[]7fr = open('testSet.txt')8forlineinfr.readlines():9lineArr =line.strip().split()10dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])11labelMat.append(int(lineArr[2]))12returndataMat, labelMat1314defsigmoid(inX):15return1.0/(1+exp(-inX))1617defstocGradAscent1(dataMatrix, classLabels, numIter=150):18m,n =shape(dataMatrix)1920#alpha = 0.00121weight =ones(n)22forjinrange(numIter):23dataIndex =range(m)24foriinrange(m):25alpha = 4/ (1.0+j+i) +0.0126randIndex =int(random.uniform(0,len(dataIndex)))27h = sigmoid(sum(dataMatrix[randIndex]*weight))28error = classLabels[randIndex] -h29weight = weight + alpha * error *dataMatrix[randIndex]30del(dataIndex[randIndex])31returnweight3233defclassifyVector(inX, weights):34PRob = sigmoid(sum(inX*weights))35ifprob > 0.5:return1.036else:return0.03738defcolicTest():39frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')40trainingSet = []; trainingLabels =[]41forlineinfrTrain.readlines():42currLine = line.strip().split('\t')43lineArr =[]44foriinrange(21):45lineArr.append(float(currLine[i]))46trainingSet.append(lineArr)47trainingLabels.append(float(currLine[21]))48trainWeights = stocGradAscent1(array(trainingSet), trainingLabels, 1000)49errorCount = 0; numTestVec = 0.050forlineinfrTest.readlines():51numTestVec += 1.052currLine = line.strip().split('\t')53lineArr =[]54foriinrange(21):55lineArr.append(float(currLine[i]))56ifint(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):57errorCount += 158errorRate = (float(errorCount)/numTestVec)59print"the error rate of this test is: %f"%errorRate60returnerrorRate6162defmultiTest():63numTests = 10; errorSum=0.064forkinrange(numTests):65errorSum +=colicTest()66print"after %d iterations the average error rate is: %f"% (numTests, errorSum/float(numTests))6768defmain():69multiTest()7071if__name__=='__main__':72main()
机器学习笔记索引
来自为知笔记(Wiz)