分享
 
 
 

网络数据挖掘程序的设计

王朝other·作者佚名  2006-05-27
窄屏简体版  字體: |||超大  

对于一些内部网站,往往使用一些数字作为查询数据的key

对此,我们可以开发一些软件,用以获得包含在其中的数据。由于这些都是在内部使用的,因此其数据将有很重要的实用价值,当然,对于无法直接获得数据源的我们而言如此,但有时,也可以发掘一些连系统管理员也没有的数据,比如内部BBS的注册情况等。

言归正传,来讲这个程序。

语言选择了JAVA,因为对网络的支持比较好,而且主要原因是有可以直接使用的Http客户端,Apache的httpclient项目。

如何获得数据:这个问题的关键在于如何确定key的范围,对于查询网页,他的key往往拥有某种规律,怎么获得,问相关人士是最快的方式,当然也有逼不得已暴力尝试的时候。一旦确定范围,就可以用来组装客户端。就我个人来讲,我是使用了一个XML文件来描述这个request,其action,method,paramter等等。

获得数据如何处理:这个问题其实很重要,效率以及性能就是在这里体现的。最简单的,使用字符串匹配,比如,全文的第34个字符到65个字符是数据。这种方法速度快,但是适用性不强,换了页面就要重新计算。稍微好一点,使用正则表达式。这种方法的问题在于,很难获得不同的数据,比如对于一个页面,包含了姓名,id,ip,房间号码等数据,需要写不同的表达式,有的时候会比较麻烦,尤其是出现两个相同的数据,比如两个日期。

个人使用的方法倾向于XML,当然,也使用过正则。

XML的方式就是先使用JTidy对页面进行格式化,之后再使用JAXEN的XPath引擎进行XPath匹配。对于以表格方式出现的数据,XPath具有极大的优势。而且对于程序开发来讲,对于不同的页面,只用修改XPath语句以及数据存储的一部分,弄的好的话,可以极大降低开发成本,甚至完全可以用配置文件的方式对其进行配置。

数据的存储:数据库是很好的选择,但是有没有试过XML数据库?尤其是写小型的查询程序,把数据写入XML文件,之后使用XPath或者XQuery进行查询都是很好的选择。10万之内的纪录数都可以比较轻松的查询完。

事实上,相信大家都用过这样的软件,它的数据量大概是40万,他就是将数据存储到压缩过的XML文件中,使用时经过或者不经过压缩来获取。这个软件,叫做金山词霸.....

关于JTidy的使用,可以查看网上的文章,很简单,基本上照着例子就可以了。

对于XML和XPath的知识,IBM的开发者论坛是非常好的资料来源。

写这种程序的时候,希望不要以恶意的出发点来挖掘数据......

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有