首页热点文章关于我们框计算之资源收录、管理与需求展现[ 三月 10th, 2011 | admin ]框计算的诞生既是搜索技术与产品的系统升级，也是百度简单可依赖核心文化的又一次创新实践。简单的体现在于用户只需在百度“框”中输入需求，然后由“框”进行计算，通过需求识别与挖掘用户query的蕴含含义，搜索特定类优质资源，将最满足用户query的结果以最优的方式直观地呈现给用户，实现可依赖。一、优质资源的开放收录优质资源是框计算实践运营的重要特征与保障，而百度开放平台正是为支撑框计算而诞生的优质资源分享与交互平台（备注：由于资源属性不同，百度开放平台又分为数据开放平台和应用开放平台）。其中站长提交的数据类资源可登陆百度数据开放平台（open.baidu.com），应用类开发者可登录百度应用开放平台（app.baidu.com/developer），注册登录进去后，按照不同数据或应用所对应的不同规范和模板提交资源，即可被被百度开放平台收录。当用户在“框”中输入对应此资源的query后，其数据或应用则会包含在搜索结果中，直接展示给用户。从站长角度看，实现了站长资源的直观展现，同时提升了资源的曝光率与点击率；从网民角度看，提升了网民的搜索体验；从百度角度看，将最能满足用户需求的信息展示给用户，实现了优质资源与用户需求的直接对接。当然，信息是不断变化的，比如招聘信息、商品信息等。这意味着百度收录的资源需要不断地更新，以便给用户提供最新正确的信息。然而，站长不必担心资源的更新问题。百度开放平台为资源提供了方便简单的更新机制：站长只需更新本地的资源信息；平台依据资源的更新时间抓取资源信息，以实现收录资源的更新。二、优质资源的管理运营优质资源被百度收录之后进入资源管理阶段。管理系统根据市场运营策略与资源特点等相关机制对资源进行统一管理。资源管理包括关闭显示、位置排序、时效性、图片时效性、资源监控、信任评估、生效时间段、确定性和框icon是否展现等。我们详细讨论一下关闭显示与监控周期属性。资源内容不符合用户体验预期时，系统则会自动将该资源关闭，以达到线上不展现的效果；资源内容正确时，则重新打开资源，重新在线上展现。资源监控是指当资源出现访问异常、更新延迟或xml检验失败时，系统会进行报警，通知相关监控人员信息异常，如果是数据源的问题，则会通知由站长或应用开发者审核、评估与修复。以上两点是资源的收录与管理的基本过程，相信大家对这些过程有了一定的了解。这些过程均是服务于用户需求检索的前期准备工作。接下来，有必要阐述用户query的需求识别与特殊结果展现相关的技术。三、优质资源的搜索呈现当用户在“框”中输入query后，搜索引擎将query发送至需求匹配管理模块，其请求数据分析词典进行解析，判断此query是否有特殊库需求，并将分析结果返回需求匹配管理模块。若有特殊库需求，则会将query发送至大搜索与特殊库检索，然后检索的结果进行封装返回至需求匹配管理模块，并且大搜索的结果也会返回至需求匹配管理模块。需求匹配管理模块对两种途径返回的结果进行归并处理，然后返回给界面管理模块。界面管理模块对来自需求匹配管理模块和其他各个产品线模块的结果进行最大匹配飘红和样式排列等处理，将生成的结果页面返回至搜索请求服务器，用户即可看到搜索结果。以上是框计算资源管理与需求展现的简单介绍，其目的是让大家更好地了解百度框计算的技术架构与实现流程，以此也希望越来越多的优质数据与应用资源方加入百度开放平台，分享框计算技术创新成果，共享数亿用户需求资源。标签: 收录, 框计算, 资源管理, 需求展现 基础理论 |   没有留言 »从亚运会看框计算与数据时效性[ 三月 10th, 2011 | admin ]在去年的广州亚运会期间，百度框计算携手亚组委以及网易官方，提供了实时的赛事概况、直播、赛程进展、奖牌榜、比赛项目进程及直播等一系列的服务，取得了重大突破。数据显示，亚运会的15天时间，通过百度框计算进行亚运相关检索的数量达到了4000万次，较上届2006年的多哈亚运会15天仅有74万的检索量相比，今年的网页检索量增长了54倍之多，可见框计算的威力之大！框计算的优点是数据准确，更新及时。传统的大搜索由于数据量庞大，无法满足一些像亚运会这样时效性要求特别高的查询需求。这就决定了框计算技术从理念上区别于大搜索。为此百度框计算团队做了很多创新，以下以亚运会这个案例为背景介绍一下框计算的主要流程。 一、   数据源准备框计算在在两年多前被称为“阿拉丁”，意指神灯可以照亮大搜索搜不到的“暗网”。将一些用户需求很明确，但大搜索无法很好地展示给用户的资源以特殊的样式展示给广大用户。由此，优质资源的引入是个难题。框计算目前为了确保数据的正确性，需要站长直接整理并提交数据，并及时以适当的周期更新数据。但是像亚运会这样的大case，合作方除了网易之外，还有央视、迅雷、新浪等数据要同时插入到结果中做展示，需要各资源方提供了数据后，由我们的机制生成合并后的可用数据。目前这样的case还有一些，如nba、足球赛事、以及天气和列车数据等重点资源，都需要资源数据整合，加入一些逻辑控制(如亚运会的重要赛程选择，奖牌榜数据计算等)，以提供给用户更丰富、更明确、更需要的信息。在数据拼装过程会同时伴随有数据正确性验证的一系统监控机制，旨在资源进入框计算平台前保证数据的正确性。二、   平台生成规则数据目前我们的框计算资源平台（即百度开放平台）每天会接受到数百个新的资源，同时也会增加数百个新用户。如何从这么多的资源里挑选出可用的呢，平台首先会通过自动化检查机制筛掉一部分不合理资源，如数据无法获取，xml格式错误之类的。接着管理后台列出所有用户新提交的资源，并进入PM的产品筛选流程，这中间可能需要涉及到跟站长系统回复确认的过程。 当资源获得初步认定可用之后，站长的大量数据会被平台第一次抓取，并经过一连串的检查及数据重写过程，生成对应配置文件给建库端进行预览建库，生成预览数据。 如果一切正常，则可以通过系统审核并发起资源上线过程，平台会通知数据抓取模块按照站长设置的频率定期地抓取站长数据。如此反复地更新资源，最终展示给用户便是实时的确定性结果。需要说明的是，开放平台收录的各种资源在百度结果页上的展示样式不尽相同，这是通过一种模板技术实现的。我们会事先做好各种数据类型的通用模板，并将模板对应的数据样式提供给站长，这样就能确保数据跟展示对应上。 三、   Query变换分析query变换是另外一个不得不说的亮点，也许你注意过，搜索“亚运会赛程”，“广州亚运会赛程”，“广州 亚运会 日程”会出现同样的搜索结果，事实上他们都对应于亚运会赛程这个搜索词，那么具体是怎么做的呢。主要介绍两个过程：1、同义词替换：如赛程与日程、时间、赛果，比赛是同义词，会在query变换过程中进行同义词替换。这个过程需要调用自然语言分析模块提供的接口。2、智能配词：有些特殊需求的query需要增加，如在亚运会赛程的基础上可以增加广州、中国、全部等这种词语，这个配置会告诉检索机制，遇到这些字眼时忽略掉就是了。所以搜索“广州亚运会赛程”，“中国亚运会赛程”，“全部亚运会赛程”都会对应到亚运会赛程。注意第三个qu