第七章互联网应用技术概论.ppt
《第七章互联网应用技术概论.ppt》由会员分享,可在线阅读,更多相关《第七章互联网应用技术概论.ppt(59页珍藏版)》请在优知文库上搜索。
1、1第七章 互联网应用技术概述2自我介绍n主讲老师:王斌,中科院计算所博士毕业,副研究员,博士生导师。现为中科院计算所前瞻研究实验室信息检索课题组负责人。北大软件学院兼职教师。先后从事和承担信息检索、自然语言处理相关的国家级研发项目10余项,发表相关论文100余篇。培养研究生20余名。计算机学会高级会员,ACM、IEEE、中文信息学会会员,中文信息学会信息检索专委会委员,中文信息学报编委。nhttp:/ Killer?2009-05-18推出2008-07-28推出8Email搜索分类9Email分类搜索推荐10分类目录搜索分类11电子商务推荐12BBS推荐搜索13社区网站-豆瓣网推荐推荐搜索1
2、4社区网站-校内网15博客推荐16以上应用的共同特征n基于内容的应用n内容是互联网应用的生命线n包括几个主要共同的技术n搜索n分类/聚类n过滤/推荐17提纲n互联网应用的例子n基于内容的互联网应用的基本技术n搜索技术n信息分类和聚类技术n信息过滤和推荐技术n考核方法18搜索(Search)n搜索:从大量文档(Document)集合(Collection)中根据用户的需求(User Information Need)返回相关(Relevant)文档集合并排序(Ranking)的应用。n主要特点:n用户的需求动态变化,文档集合相对静态n事先下载,事先组织,在线搜索n应用例子:n搜索引擎n站内搜索1
3、9搜索技术n信息的获取技术n信息的组织和整理技术n相关度计算和排序技术n结果呈现技术n相关反馈、查询扩展技术n搜索的评估20搜索系统的组成框架文档集合管理器索引文档表示查询处理查找排序排序文档用户反馈文本处理用户界面结果文档查询文本查询表示爬虫Internet21信息分类(Classification)n信息分类:根据已有的类别体系(如:体育、经济、军事)和训练文档(每个类别对应若干文档),对一篇新的文档判断其所属类别。属于有监督的机器学习n主要特点:n类别体系静态,但是需要分类的文档动态变化n事先训练,在线分类n需要大量训练文档集合n应用例子:n垃圾邮件/网页分类2223信息聚类(Clust
4、ering)n聚类:从大量文档集合中自动聚团的过程,属于无监督的机器学习n主要特点:n事先无类别体系n需要事后进行解释n应用例子:n检索结果聚类n话题发现2425文本分类系统的组成框架文本表示训练过程分类过程训练文本统计统计量特征表示学习分类器新文本特征表示类别26信息过滤n信息过滤:从动态的信息流中将满足用户兴趣的信息挑选出来,用户的兴趣一般在较长一段时间内比较稳定不会改变(静态)。n主要特点:n用户兴趣静态,数据动态n对用户兴趣建模n应用例子:n广告推荐/商品推荐27信息过滤系统的组成框架(d)学习器用户信息提供者(b)过滤器(a)数据分析器(c)用户建模更新反馈相关数据项数据表示项数据项
5、个人信息用户模型28提纲n互联网应用的例子n基于内容的互联网应用的基本技术n搜索技术n信息分类和聚类技术n信息过滤和推荐技术n考核方法29考核方法n技术专题讨论(20%)n学生分小组,选定一技术专题,共同读资料学习技术,并在课上交流。n阅读(30%)n阅读1篇论文SIGIR2008/2009,针对每篇文章写出至少阅读报告(含评论)n评论要有自己的见解,不要简单翻译原文的摘要和结论n评论主要着眼于文章的主要创新点和对自己启发最大的地方,以及可能的下一步研究工作n课程项目(50%)n2到3名同学一组n完成可以演示的具有一定创新的课堂项目n可从建议的项目列表中选项目,也可自己拟定项目(但需要与任课教
6、师协商,取得任课教师的认可)。30论文阅读nACM SIGIR Conference31课程项目n(一)、检索型:n(1)垂直搜索:选择2个或以上的餐馆网站进行爬行(餐馆记录不少于5000条),实现基于关键词的餐馆搜索,爬虫能够及时更新。n(2)论文搜索:下载全部SIGIR论文,实现对论文的标题、摘要及全文的搜索,并实现论文之间的关系链接图,分析作者的共现关系并以图的方式显示。n(3)桌面搜索:能够实现本机PPT文件的抽取及搜索,不少于1000篇PPT文件。能够自动抽取PPT的标题、目录等信息。32课程项目(续)n(二)、文本分类型:n(1)文本分类:分类体系为:财经、科技、汽车、房产、体育、
7、娱乐、其它类,利用网站的新闻主页,训练一个分类器(训练集合不能少于2000篇文档)。能够实现新的网页的分类。n(2)文本倾向性分析:下载餐馆的评论信息进行训练,最后对餐馆的评论进行文本倾向性分析,分析对餐馆的评价(包括总评和细评,细评包括价格、味道、环境三个方面)是褒还是贬。n(3)层次分类:Pascal Challenge on Large Scale Hierarchical Text Classification,http:/lshtc.iit.demokritos.gr/node/1。提交Short Paper。时间表:nStart of testing:July 10,2009.nE
8、nd of testing,submission of executables:November 16,2009.nEnd of scalability test and announcement of results:December 14,2009.nSubmission of short papers:December 21,2009.33课程项目(续)n(三)、其他型:n(1)、问答系统:实现奥运知识的问答系统。奥运知识不少于1万条语句或记录。n(2)、歌曲检索:通过哼曲调的方法实现mp3歌曲的检索。mp3歌曲不少于200个。n(3)广告搜索:搜集不少于1000个广告,实现对它们的搜索
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第七 互联网 应用技术 概论
