当前位置： 文档下载 > 所有分类 > Google搜索引擎架构研究Google搜索引擎架构研究
【摘 要】 google做为世界上最成功的网络公司之一，以其巨大，快速的搜索引擎而著名。但很少有人了解能了解如何将数万台pc组织成为一个强大的，可靠的，可扩展的分布式系统。本文简要介绍的google的主要后台架构gfs，mapreduce和bigtable。
【关键词】 google gfs mapreduce bigtable
1 google要解决的问题
（1）web是非常巨大的，并且以指数级别在增长。
（2）web中存在不同形式的资源：
word，html，pdf，ascii，images
（3）检索时间要极短不能让用户等待。
（4）各种民族各种语言不同，需要不同的分词方法。
（5）系统能够每天承受每天上亿次的检索。
（6）优化结果的排序规则，把用户最需要的信息展现在最前面。 2 google的分布式设计结构
google的分布式设计是一项伟大的设计，它建立在上万台计算机上。面的上万台的复杂系统结构google在设计系统的开始就有一个假设：“机器是会出问题的。”“容许机器出问题，但机器必需自动跳过或自动修复这些问题。”如图1所示，是一张google分布式设计的基本结构图。
2.1 抓取部分
url server：存储url列表，这些url都是将要被抓取的对象。
龙源期刊网 http://www.qikan.com.cn Google 搜索引擎架构研究 作者:陈丽 来源:《中国科技纵横》2013 年第 02 期 【摘要】 Google 做为世界上最成功的网络...
2006 搜索引擎Google 的体系结构及其核心技术研究王德峰 , 李 1, 2 东 1 ( 1. 哈尔滨工业大学 计算机科学与技术学院, 黑龙江 哈尔滨 150001; 2. 哈尔滨商业...
Google搜索引擎架构研究_互联网_IT/计算机_专业资料。Google 搜索引擎架构研究 【摘要】 Google 做为世界上最成功的网络公司之一,以其巨大,快速的 搜索引擎而著名。...
龙源期刊网 http://www.qikan.com.cn Google 搜索引擎架构研究 作者:陈丽 来源:《中国科技纵横》2013 年第 02 期 【摘要】 Google 做为世界上最成功的网络...
Google搜索引擎的工作原理研究_IT/计算机_专业资料。小小的一个搜索框背后,隐藏着...用来检查万 维网的链接结构(佩奇和布林最初的想法是把万维网的链接结构用图论...
百度文库 专业资料 IT/计算机 互联网 Google搜索引擎架构研究 暂无评价
Google 既 利用了链接结构又用到了 anchor 文本(见 2.1 和 2.2 节)。 1.3.2 搜索引擎的学术研究随着时间的流逝,除了发展迅速,Web 越来越商业化。 1993 ...
著名的因特网搜索引擎包括 First Search、Google、HotBot 等。在中国,搜索引擎通常指基于网站目录的搜索服务或是特定网 站的搜索服务。 搜索引擎的结构 搜索引擎是...
首先介绍搜索引擎技术的特点分类, 再剖析搜索引 擎的系统架构, 然后详细分析其中...国外 具代 表性 的有 Google ( http: / / www. google. com ) 、yahoo...
摘要Google 富于创新的搜索技术和典雅的用户界面设计使 Google 从搜索引擎 中脱...近十个季度以来其全球营收的结构比较稳定,今年二季度其 营收中来自谷歌网站(...
信息搜索引擎综述及系统架构设计_信息与通信_工程科技_专业资料。商业科技 信息搜索...1998年10月,Google 诞生,它是目前 最流行的搜索引擎之一,具备很多独特而且优秀...
我要评论