`
flm_llx
  • 浏览: 60365 次
  • 性别: Icon_minigender_1
  • 来自: 应县
社区版块
存档分类
最新评论
文章列表
数据整合的核心内容是从数据源中抽取数据,然后对这些数据进行转化,最终加载的目标数据库或者数据仓库中去,这也就是我们通常所说的 ETL 过程(Extract,Transform, Load)。    IBM WebSphere DataStage(下面简称为DataStage)为整个 ETL 过程提供了一个图形化的开发环境,它是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化,并将其输入数据集或数据仓库的集成工具。    通常数据抽取工作分抽取、清洗、转换、装载几个步骤:    抽取主要是针对各个业务系统及不同网点的分散数据,充分理解数据定义后,规划需要的数据源及数据定义,制定可 ...
ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个环节耗费太多的人力,而在后续的维护工作中,更是往往让人伤透脑筋。之所以出 ...
ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有:滥用缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。即便是一个设计和规划良好的数据库系统,如果其中存在着大量的噪声数据,那么这个系统也是没有任何意义的,因为“垃圾进,垃圾出”(garbage in, garbage out),系统根本就不可能为决策分析系统提供任何支持。为了清除噪声数据,必须在数据库系统中进行数据清 ...
1.1 数据挖掘技术的基本概念随着计算机技术的发展,各行各业都开始采用计算机及相应的信息技术进行管理和运营,这使得企业生成、收集、存贮和处理数据的能力大大提高,数据量与日俱增。企业数据实际上是企业的经验积累,当其积累到一定程度时,必然会反映出规律性的东西;对企业来,堆积如山的数据无异于一个巨大的宝库。在这样的背景下,人们迫切需要新一代的计算技术和工具来开采数据库中蕴藏的宝藏,使其成为有用的知识,指导企业的技术决策和经营决策,使企业在竞争中立于不败之地。另一方面,近十余年来,计算机和信息技术也有了长足的进展,产生了许多新概念和新技术,如更高性能的计算机和操作系统、因特网(intemet)、数据仓库 ...
什么是商业智能     沃尔玛的销售部在总结历史销售记录的时候发现,每到周末的时候,啤酒和尿布的销量都比平时要高很多,这是一个巧合还是这个现象的背后隐藏着一定的必然因素?销售人员展开了调查,结果发现:每到周末,有孩子的家庭主妇就会让他们的丈夫去超市给孩子买足一周用的尿布,这些丈夫们必然会选择一些自己爱喝的啤酒,以便周末在欣赏橄榄球赛和篮球赛的时候可以和朋友们一起庆祝。原因找到了之后,销售部采取了措施,每到周末将超市的啤酒和尿布捆绑销售,这样,啤酒和尿布的销量又同时增加了一成。     这是一个很经典的故事,但是却将商业智能的概念表述得很清楚,从信息学的发展历程来看,在最早期,一个企业的所 ...
KPI(Key Performance Indication)即关键业绩指标,是通过对组织内部某一流程的输入端、输出端的关键参数进行设置、取样、计算、分析,衡量流程绩效的一种目标式量化管理指标,是把企业的战略目标分解为可运作的远景目标的工 ...

ELT and ETL

ELT是利用数据库的处理能力,E=从源数据库抽取数据,L=把数据加载到目标库的临时表中,T=对临时表中的数据进行转换,然后加载到目标库目标表中。这种处理方式不需要有中间的转换服务器,所有的转换都是在数据库中进行,可以节约一点资源,它的性能瓶颈在数据库的处理能力及数据库服务器的性能。ETL主要是利用转换服务器的处理能力,从源表抽取数据后,在转换服务器中进行数据清洗、转换,完成后加载到目标库中。它的转换过程都是在转换服务器中进行的,所以它的性能瓶颈在中间的转换服务器中。
在单一的服务器上执行WEB应用程序有一些重大的问题,当网站成功建成并开始接受大量请求时,单一服务器终究无法满足需要处理的负荷量,所以就有点显得有点力不从心了。另外一个常见的问题是会产生单点故障,如果该服务 ...
xalan-2.7.0.jar下载地址:http://svn.apache.org/viewvc/xmlgraphics/fop/tags/fop-0_94/lib/xalan-2.7.0.jar?view=log&pathrev=591929
完整的Exception: Exception starting filter struts2 javax.xml.transform.TransformerFactoryConfigurationError: Provider org.apache.xalan.processor.TransformerFactoryImpl not found at javax.xml.transform.TransformerFactory.newInstance(Unknown Source) at com.opensymphony.xwork2.util.DomHelper$DOMBuilder.< ...
1、准备,下载需要的文件。这里假定你已经正确安装配置好了JDK。到Apache官方网站下载所需要的文件:httpd-2.2.0.tar.gzapache-tomcat-5.5.12.tar.gzjakarta-tomcat-connectors-1.2.15-src.tar.gz其中httpd和jakarta-tomcat-connectors为源码包,apache-tomcat为二进制包。2、安装Apache。# tar xzvf httpd-2.2.0.tar.gz# cd httpd-2.2.0# ./configure --prefix=/usr/local/apache2 --enab ...
Tomcat源码学习(一) http://carllgc.blog.ccidnet.com/blog-htm-do-showone-uid-4092-type-blog-itemid-263093.html作为一位Java程序员,如果您没有接触过开源软件、项目或框架的话,恐怕有些不可思议。轰轰烈烈的开源运动起源于Linux操作系统,Apache基金会在其中扮演了中流砥柱的角色,业界巨擘SUN,IBM, BEA 和Oracle等公司的积极参与,使得声势浩大的开源运动成为软件开发领域势不可挡的力量。2001年11月,IBM向Apache基金会捐献出Visual Age for Java,这个看似穷途 ...
Tomat源码学习(二) Tomat6的整体架构 在上篇文章中,我们已经成功将Tomcat6.0的源代码导入到Eclipse IDE中。现在我们就开始学习Tomcat源码。Tomcat源代码共有1000多个java类,代码行数大约28万到30万行左右。从项目规模上说,可算得上是一个中型项目。要学习理解Tomcat源代码,我们有多种办法可行。最原始的一种办法就是,打开Debugger,逐行跟踪,看看Tomcat如何启动,如何处理客户端请求,如何编译动态jsp页面。第二种办法是利用逆向工程,把Tomcat的总体类图先描绘出来,然后再结合sequence diagram,来学习理解它。我们在这里采 ...
Tomat源码学习(二) 下面,我们重点针对Catalina子模块,熟悉Tomcat的几个关键组件。 (1)   服务器(Server)   在Tomcat中,服务器代表整个J2EE容器,所有的服务及服务上下文均包含在服务器内。我们打开Tomcat源代码,可以看到org.apache.catalina.Server这个接口,其中比较重要的方法有initialize(负责Tomcat启动前的初始化工作),还有一些服务(Services)管理方法,比如removeService()、addService()、findService()之类的方法。 在Tomcat运行时,我们永远只有一个 ...
Java术语 英文全称是:Java Naming and Directory Interface 术语解释:一组帮助做多个命名和目录服务接口的API。 JNDI(Java Naming and Directory Interface)是SUN公司提供的一种标准的Java命名系统接口,JNDI提供统一的客户端API,通过不同的访问提供 ...
Global site tag (gtag.js) - Google Analytics