[1]张林才 张燕 王红霞.节点对等WebSpider设计与实现[J].计算机技术与发展,2010,(03):195-198.
　ZHANG Lin-cai,ZHANG Yan,WANG Hong-xia.Design and Realization of Peer - to - Peer Web Spider[J].,2010,(03):195-198.
点击复制

节点对等WebSpider设计与实现()
分享到：

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:
期数:
2010年03期
页码:
195-198
栏目:
应用开发研究
出版日期:
1900-01-01

文章信息/Info

Title:
Design and Realization of Peer - to - Peer Web Spider
文章编号:
1673-629X（2010）03-0195-04
作者:
张林才1 张燕1 王红霞2
[1]辽宁石油化工大学计算机与通信工程学院[2]北京青年政治学院计算机系
Author(s):
ZHANG Lin-cai1;  ZHANG Yan1; WANG Hong-xia2
[1]School of Computer and Communication Engineering, Liaoning Shihua University[2]Computer Science Dept., Beijing Young and Political College
关键词:
网络爬虫; ProActive; 并行; 分布式; 节点对等
Keywords:
Web Spider;  ProAetive;  parallel;  distributed;  peer- to- peer
分类号:
TP393
文献标志码:
A
摘要:
由于互联网具有海量信息并且快速增长，提高搜索引擎的信息采集器WebSpider的数据采集和更新速度有重要意义。受计算资源限制，单机多线程WebSpider的采集速率不高。带中心节点的分布式并行webSpider又容易产生中心节点瓶颈问题。利用ProActive网格网络并行分布计算中间件提供的主动对象技术、网络并行计算技术、自动部署机制等设计和实现了一个名为P—Spider2．0的节点对等的分布式并行WebSpider，并设计了一个基于Raibin算法的URL去重算法。实验表明该WebSpider方便管理和
Abstract:
With the rapid growth of Internet＇s massive information, it becomes very significant to enhance the data acquisition and update speed of search engines＇ information collector： Web Spider. Bottleneck caused by center node is apt to occur in the distributed

相似文献/References:

[1]张春元 康耀红 伍小芹.Web新闻自动采集发布系统的设计与实现[J].计算机技术与发展,2009,(09):250.
　ZHANG Chun-yuan,KANG Yao-hong,WU Xiao-qin.Design and Implementation of Web News Automatically Gathering and Publishing System[J].,2009,(03):250.
[2]周凤丽 林晓丽.基于Lucene的Web搜索引擎的研究和实现[J].计算机技术与发展,2012,(01):140.
　ZHOU Feng-li,LIN Xiao-li.Research and Implementation of Web Search Engine Based on Lucene[J].,2012,(03):140.
[3]黄宇达 魏霞 王迤冉[].一种轻量级中文搜索引擎模型的设计与实现[J].计算机技术与发展,2012,(09):201.
　HUANG Yu-da,WEI Xia,WANG Yi-ran.Design and Implementation of System Model of a Lightweight Chinese Search Engine[J].,2012,(03):201.
[4]张俊,李鲁群,周熔.基于Lucene的搜索引擎的研究与应用[J].计算机技术与发展,2013,(06):230.
　ZHANG Jun,LI Lu-qun,ZHOU Rong.Research and Application of Search Engine Based on Lucene[J].,2013,(03):230.
[5]孙青云,王俊峰,赵宗渠,等.一种基于模拟登录的微博数据采集方案[J].计算机技术与发展,2014,24(03):6.
　SUN Qing-yun[],WANG Jun-feng[],ZHAO Zong-qu[],et al.A Microblog Data Collection Method Based on Simulated Login Technology[J].,2014,24(03):6.
[6]杨洋[][],李晓风[][],赵赫[][],等. 基于网络爬虫的文献检索系统的研究和实现[J].计算机技术与发展,2014,24(11):35.
　YANG Yang[][],LI Xiao-feng[][],ZHAO He[][],et al. Research and Realization of Academic Search System Based on Network Crawler[J].,2014,24(03):35.
[7]付剑生[] .徐林龙[]。 林文斌[]. 分布式全网职位搜索引擎的研究与实现[J].计算机技术与发展,2015,25(05):6.
　FU Jian-sheng[],XU Lin-long[],LIN Wen-bin[]. Research and Implementation of Distributed Network-wide Job Search Engine[J].,2015,25(03):6.
[8]王荩梓,赖雯洁. 基于房产交易网站的数据获取与在线工具开发[J].计算机技术与发展,2017,27(05):154.
　WANG Jin-zi,LAI Wen-jie. Data Acquisition and Development of Online Analysis Tools Based on Real Estate Transaction Websites[J].,2017,27(03):154.
[9]陈春玲,张凡,余瀚.Web应用程序漏洞检测系统设计[J].计算机技术与发展,2017,27(09):101.
　CHEN Chun-ling,ZHANG Fan,YU Han. Design of Vulnerability Detection System for Web Application Program[J].,2017,27(03):101.
[10]陈珂,蓝鼎栋,柯文德,等. 基于Java的新浪微博爬虫研究与实现[J].计算机技术与发展,2017,27(09):191.
　CHEN Ke,LAN Ding-dong,KE Wen-de,et al. Research and Realization of Weibo Crawler with Java[J].,2017,27(03):191.

备注/Memo

备注/Memo:
辽宁省自然科学基金（20052211）张林才（1978-），男，辽宁开原人，助教，硕士，研究方向为网络与并行计算、搜索引擎；张燕，教授，博士，主要从事计算机应用的研究。
更新日期/Last Update: 1900-01-01