当前位置： 文档下载 > 所有分类 > IT/计算机 > 互联网 > Google搜索引擎架构研究Google搜索引擎架构研究
作者：陈丽
来源：《中国科技纵横》2013年第02期
【摘 要】 Google做为世界上最成功的网络公司之一，以其巨大，快速的搜索引擎而著名。但很少有人了解能了解如何将数万台PC组织成为一个强大的，可靠的，可扩展的分布式系统。本文简要介绍的Google的主要后台架构GFS，MapReduce和BigTable。
【关键词】 Google GFS MapReduce BigTable
1 google要解决的问题
（1）WEB是非常巨大的，并且以指数级别在增长。
（2）Web中存在不同形式的资源：
Word，HTML，PDF，ASCII，Images
（3）检索时间要极短不能让用户等待。
（4）各种民族各种语言不同，需要不同的分词方法。
（5）系统能够每天承受每天上亿次的检索。
（6）优化结果的排序规则，把用户最需要的信息展现在最前面。
2 Google的分布式设计结构
Google的分布式设计是一项伟大的设计，它建立在上万台计算机上。面的上万台的复杂系统结构Google在设计系统的开始就有一个假设：“机器是会出问题的。”“容许机器出问题，但机器必需自动跳过或自动修复这些问题。”如图1所示，是一张Google分布式设计的基本结构图。
2.1 抓取部分
URL Server：存储URL列表，这些URL都是将要被抓取的对象。
Crawler：一组进行并行检索的爬虫程序，每个爬虫都有自己的DNS缓冲池，并且能够在同一时间打开300个网络连接。
Store Server：压缩并且存储爬虫爬取来的网易。
龙源期刊网 http://www.qikan.com.cn Google 搜索引擎架构研究 作者:陈丽 来源:《中国科技纵横》2013 年第 02 期 【摘要】 Google 做为世界上最成功的网络...
百度文库 专业资料 IT/计算机 互联网 Google搜索引擎架构研究 暂无评价
2006 搜索引擎Google 的体系结构及其核心技术研究王德峰 , 李 1, 2 东 1 ( 1. 哈尔滨工业大学 计算机科学与技术学院, 黑龙江 哈尔滨 150001; 2. 哈尔滨商业...
Google和百度两种搜索引擎... 4页 2财富值 搜索引擎Google的体系结构... 4...3 7 维普资讯 http://www.cqvip.com 韩“ 梅, 宁锐:og搜 索引擎研究新...
Google搜索引擎架构研究_专业资料。Google 搜索引擎架构研究 【摘要】 google 做为世界上最成功的网络公司之一,以其巨 大,快速的搜索引擎而著名。但很少有人了解...
Google搜索引擎研究新进展_互联网_IT/计算机_专业资料。2006年2月第24卷第1...PageRankTM) 技术网页级别技术是指依据网络自身结构 ,根据互联网本身 的链接结构...
可以说,传统搜索引擎是云计算技术研究和应用的急先锋,如 Google Map/Reduce 并行 计算架构、Google GFS 分布式文件系统等就是 Google 提出来并在 Google 搜索引擎...
实验二 Google 搜索引擎一、Google 搜索引擎的结构搜索引擎一般由网络爬行机器人...“用户使用网站的便利性” 所提 供的必要功能, 同时也是 “研究网站用户行为的...
Google既利用了链接结构又用到了anchor文本(见2.1和2.2 节)。 1.3.2搜索引擎的学术研究随着时间的流逝,除了发展迅速,Web越来越商业化。 1993年,只有1.5%的...
我要评论