分享
 
 
 

文本信息检索技术

王朝百科·作者佚名  2010-08-14
窄屏简体版  字體: |||超大  

一、文本信息检索的历史、发展现状和前沿

1.1 信息检索的模型分类

信息检索的模型分类示意图

二、文本信息检索发展的瓶颈

2.1 语言方面的挑战[1]

检索意图表达不够清楚

返回的事文档列表,缺乏对答案的准确定位

信息太多太杂,检索效果不佳

2.2 信息源方面的挑战

信息来源不同

存储格式和系统不同

异构资源整合检索,用户统一访问和检索

2.3 性能方面的挑战

面对海量的内容数据

并发检索压力,保证检索性能

2.4 多种检索技术的联合检索

与关系数据库镇南关数据的联合检索性能

XML数据的检索

三、文本信息检索技术的应用

3.1.互联网应用:

随着互联网内容的爆炸性增长,网络信息处理变成了信息处理技术关注的热点。由于互联网上的主要内容是标记文本,所以文本信息处理技术在这方面发挥着很大的用处。

目前关于关于互联网的应用主要有: 网页搜索、 文本分类、 文本聚类、 自动文摘、 信息监控、 分布分析与趋势预测、 网页去重、 网页自动关联、问-答查询、聊天机器人、 基于上下文的多媒体搜索。

3.2.在语言学、语音学方面的应用:

在语言学、语音学方面可以用于文字识别、机器翻译、语音识别、文-语转换等

3.3.在生物、医药方面有很多应用:

近年来在生物、医药领域,研究成果发布周期越来越短,相关文献数目也是加速增长。许多信息都隐藏在海量文献与数据中。目前通过将文本信息挖掘技术应用于相关文献,在实体识别(entityrecognition)、文本分类、术语抽取、关系抽取、假说生成(hypothesisgeneration)等方面取得了大量进展。目前主要需要做的工作是将这些技术实用化,构造出具体可用的系统。[10]

3.4.法律领域的应用:

在法律分析、研究中,也有许多法律文档需要处理。从20世纪70年代起,随着法律文档的电子化,很多关于法律文档的机器处理研究便开展起来。早期的法律文献检索还是基于关键字检索等技术,现在更多的则是基于统计的、自然语言查询的分析与检索技术得到了应用。[11]

3.5.图书管理:

3.6.其他程序输出数据处理、数据库应用等:

四、文本信息检索领域的领头人物、重要机构和经典论文

4.1领域基石

Vannevar Bush:1945年,Vannevar Bush的论文《As We May Think》[2]第一次提出了设计自动的,在大规模的存储数据中进行查找的机器的构想。这被认为是现在信息检索技术的开山之作。

Luhn:在50年代中期,在利用电脑对文本数据进行检索的研究上,研究者取得了一些成果。其中最有代表性的是Luhn在IBM公司的工作[3]。他提出了利用词对文档构建索引并利用检索与文档中词的匹配程度进行检索 的方法,这种方法就是目前常用的倒排文档技术的雏形。

Cranfield:在评价指标方面,由Cranfield的研究组组织的Cranfield评测[4]提出了许多目前仍然被广泛采用的评价指标。

Gernard Salton:Gernard Salton开发的SMART系统[5]为文本信息检索构建了一个很好的研究平台。在70年代到80年代,许多信息检索的理论与模型被提出,并且被证明对当时所能获得的数据集是有效的。其中最为著名的是Gerard Salton提出的向量空间模型[6][7][8],至今该模型还是信息检索领域最为常用的模型之一。

Maron,Kuhn:Maron和Kuhn在1960年最早提出概率模型[9]。概率模型的基本思想是估计文档与查询相关联概率,并对所有文档根据关联概率进行排序。

4.2重要机构

TREC:The Text REtrieval Conference。1992年,美国国家标准和科技机构 (National Institute of Standards and Technology, 简称 NIST)和美国情报局先进研发活动 (Advanced Research and Development Activity center of the U.S. Department of Defense, 简称 DARDA ] 合作举办“文字检索会议”(The Text REtrieval Conference, TREC),一开始是附属于 TIPSTER Text program[4]底下的计划,从1992年之后,每年都会举办一次TREC会议。TREC 会议成立目的是辅导与支援资讯检索相关研究,提供标准测试集协助研究者进行测试等。

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有