简体版  |  繁体版   推荐信息:
解决方案

无索引检索技术,轻松应对海量数据

出处:中国计算机报 作者:陈伟 金洁珩 2005-07-04 15:47 评论
字体大小: | |
电子商务已经成为IT和互联网产业不可逆转的潮流,而网上购物也渐渐变成人们生活中的一部分。书籍是人们生活中不可缺少的内容,网上书店也越来越受到消费者的青睐。
  电子商务已经成为IT和互联网产业不可逆转的潮流,而网上购物也渐渐变成人们生活中的一部分。书籍是人们生活中不可缺少的内容,网上书店也越来越受到消费者的青睐。

  网上书店和普通的书店相比,可以提供给用户20%到40%的折扣,因此非常具有竞争力。网上书店数量的快速增长迫使普通书店以各种方法提高服务质量,比如向用户提供更简单的搜索方式,更多的图书信息,更快捷方便的递送。一般来讲,图书搜索系统可以让客户按书名、作者、出版社和标题搜索。在搜到符合条件的图书后,系统再将更多的信息,比如封面,目录,书评等等,检索显示给用户看。这使得用户在网上书店搜索书籍和到书店浏览书架一样方便。

  检索一条花10秒,太慢

  网上书店还可以提供更多的增值服务,包括新书信息、一对一图书咨询服务、积分现金奖励服务、图书到货提醒、邮件寄送、电子图书、杂志、音乐的服务保证等等。网上书店逐渐意识到一个强有力的搜索系统,能为用户提供范围更加宽广的服务。

  然而,随着业务量的增长,客户量及图书量都会大幅度增加。这就意味着,网上书店的访问量提高了,同时,需要处理的数据量也更加庞大,这对网上书店系统的性能就有了更高的要求。

  网上书店的管理者们发现,他们的系统越来越不堪重负,渐渐不能够满足客户的需求。比如,现有的图书信息检索系统效率低下,按图书标题进行的一个简单搜索也要花费10秒钟。如此慢的响应速度,成了该系统的软肋。

  性能的提升当然是首要目的,然而管理者们往往还有如下的需求:

  ·必须以最低成本完成系统升级。

  ·必须在最短时间内完成系统升级。

  ·新系统必须易于操作,尽量减少所需的系统维护人员。

  ·新系统必须能够和现有系统整合。

  ·在保证合理的性能水平的前提下,必须能够容纳日益增长的用户访问和图书数据。

  于是,解决性能瓶颈,提高服务质量,并为在未来扩展客户服务范围打下良好基础,成为管理者们的燃眉之急。

  瞬索解决方案

  Interstage Shunsaku Data Manager,中文名称“瞬索XML数据搜索引擎”(以下简称瞬索),是富士通公司推出的创新产品,它提供基于XML数据库的快速搜索服务,采用无索引技术,灵活查询各种数据源,可轻松应对海量数据,并降低系统整体成本。瞬索还可用于网上零售业,电子商务系统及相关行业。

  从简约应用开始

  一般来说,RDB是以严密的数据结构设计为基础,其中“规范化”设计以及索引的设定尤其繁琐。而瞬索所管理的数据均为XML型数据结构,不存在以上问题,大大地减轻了负担。

  RDB在严密设计的基础上,经过反复地优化处理及实际测试,而达到一定的使用性能。但是,由于瞬索的系统构筑采用了把所有的数据从头开始以一定的速度按顺序进行读入的简单的“全文查询方式”,所以不再需要严密的设计过程。一般来说,不设定索引,全文查询的查询速度会比较低,但是, 瞬索由于采用了SIGMA技术,High-traffic技术,以及Multi-Server技术,所以能够保证稳定的查询性能。

  瞬索由于使用XML型数据,从数据的登录到运用中的追加、删除和更新都可以用简单的文本操作方式进行。

  瞬索在性能方面的优越性是:只要根据查询数据的规模,设置必要的CPU,在硬件方面采取措施就能解决问题。瞬索使用简单的GUI操作方式就可以完成安装和配置。

  追求效率最大化

  瞬索提供把CSV形式的数据,或是储存在RDB中的数据转换成XML型数据输入文件的标准工具。这个工具能够定义变换对象的数据项目和XML数据的标识之间的关系,并方便地将变换对象的数据转换成XML数据。也提供免费的文档XML转换工具,容易地将Office以及PDF等文件中的信息提取、导入;这些XML数据可以立刻被瞬索所利用。

  瞬索通过使用刀锋服务器(也可以使用一台或多台PC机),实现了简单的系统运用;随着数据量的增加,仅仅通过简单添加相应的硬件,就能保证性能的稳定。另外,瞬索还具备应对故障的自动退缩运行功能,可以保证故障发生时的持续运行,避免单点故障。

  瞬索在CPU增设或故障发生时,数据重新安置时间仅仅为约15秒钟。而且即使是在这15秒钟之中,瞬索仍然可以在处理查询要求。

  为了维持数据增加时的性能,可以采用增设CPU的方法。只需要向机箱中插入新的刀锋服务器(或添加新的PC机),数据就能自动分配,而不需要停止瞬索服务器的运行。

  当某个刀锋服务器的CPU(或PC机)发生故障时,它会自动地从整个系统中分离出去。并且,数据也会向正常的CPU(或PC机)上进行数据再配置。

  瞬索对XML型数据采用的无索引的技术,实现了RDB技术所不能实现的简单的开发和运用方式,大大降低了开发和运用成本。与基于RDB开发相比,统计数据显示,采用瞬索的开发周期缩短为原来的1/4.

  瞬索提供了供用户使用的开发程序包,可以开发利用Java语言和C语言的业务应用程序。瞬索还提供有利于快速实现信息的有效利用的排序和统计功能。

  成功案例

  韩国书店联盟成立于1999年11月,目标是为书店成员的业务设定一个标准和引入现代化的运作模式。

  联盟有22个成员书店,来自韩国不同的地区。联盟负责组织市场活动,出版发送图书列表,促进文化发展和进行面向公众的教育活动。联盟通过集团采购和联合商业运营,帮助成员保持竞争力。

  相关链接

  网上书店新旧检索结构对比分析

  系统介绍:

  将“图书信息检索”功能从数据库中剥离开来。

  瞬索中存放RDB中数据的XML副本,当用户提交检索请求时,由瞬索进行处理。(关于RDB数据的XML化,瞬索的开发包提供了相应的模块)

  实施效果:

  搜索性能提高,整个系统的性能得以改善。数据库服务器的负载减轻,因为过去检索处理是由数据库服务器负载,现在交给了瞬索,从而减轻了数据库服务器的负担。

  短期开发得以实现。导入瞬索,其开发/测试时间往往只需要一个月左右的时间,所花费的成本是客户可以接受的。

  故障对系统运行的影响得以缓解,当数据库服务器因故障处于停止状态时,由于瞬索服务器中存有XML数据文件,顾客可以在网上继续查询。另外,由于瞬索的“自动退缩功能”,容错能力有了提高。

  由以上可以看出,新系统只对原有系统作了很小的修改,并且原有的业务逻辑都得以保留,然而性能上却有了很大提升。

  方案优势

  项目实施风险小,费用低

  瞬索所管理的数据均为XML型数据结构,所以不再需要对可变长的数据和数据项,以及重复的数据项进行设计处理,而是灵活地吸收数据。因而,在设计数据库时,不再需要进行表格和字段的设计,以及正规化处理等,大大地减轻了负担。并且,由于设计简单,从而降低了项目实施的风险。

  短时间内完成重建

  重建过程往往只需要一个月左右的时间,真正的项目实施时间可能更短。因为业务逻辑、面向用户的界面设计的修改量非常少。

  性能大幅度提高

  由于瞬索优越的性能,无论多么复杂的搜索,新系统都可以很快地显示结果。另外,即使在使用的高峰时段,并发数很大的情况下,性能也得到了很好保证,而且对用户的响应时间可以通过计算进行预测, 对投资规模进行有效控制。

  灵活的系统,易于适应变化

  瞬索合理的价位,优越的表现,往往是用户青睐的原因。同时,因为瞬索易于维护和升级,所以运行费用也大大降低。瞬索灵活的结构,使得将来性能的提升,新服务的增加变得更加容易。

  常用系统介绍:

  ·使用一个Web服务器和一个数据库服务器

  ·处理所有的信息注册/登录,检索和付款等逻辑

  主要问题:

  ·随着业务量的增加,响应速度变慢。

  ·无技术人员进行数据库调优,以解决此问题。

  ·考虑引入新的检索引擎,但是成本和费用成为一个问题

  引进了瞬索的新系统结构图

  网上书店系统常用的系统结构图


  阅读关于 网上书店 xml 搜索 的全部文章
相关文章
  • 本文关键字:
  • XML(352)
  • 网上书店(8)
  • 数据(998)
  • 搜索(1280)
  • 检索(57)
  • 海量数据(4)
  • 频道最新更新
    点击排行
    推荐专题
    更多
    论坛热贴
    更多
    博客精选
    更多
    视频推荐
    更多
      TMG

      Copyright (C) 1999-2008 Chinabyte.com, All Rights Reserved 版权所有 天极网络

      渝ICP证B2-20030003号 商务联系、网站内容、合作建议:010-82657868

      版权声明 在线提交意见反馈 Powered by 天极内容管理平台CMS4i

      经营性网站备案信息 网警备案 中国网站排名