ITeye博客

flm_llx

flm_llx · 共 80 篇文章

DataStage(ETL)技术总结 -- 介绍篇(转载)

数据整合的核心内容是从数据源中抽取数据,然后对这些数据进行转化,最终加载的目标数据库或者数据仓库中去,这也就是我们通常所说的 ETL 过程(Extract,Transform, Load)。 IBM WebSphere DataStage(下面简称为DataStage)为整个 ETL 过程提供了一个图形化的开发环境,它是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化,并将其输入数据集或数据仓库的集成工具。 通常数据抽取工作分抽取、清洗、转换、装载几个步骤: 抽取主要是针对各个业务系统及不同网点的分散数据,充分理解数据定义后,规划需要的数据源及数据定义,制定可操作的数据源,…

2011-01-26 16:04 · 数据库 · 评论(0)

三大主流ETL工具选型(转)

ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个环节耗费太多的人力,而在后续的维护工作中,更是往往让人伤透脑筋。之所以出现这种状况,恰恰与项目初期没有正确估计ETL工作、没有认真考虑其工具支撑有很大关系。 做ETL产品的选型,仍然需要从以前说的四点(即成本、人员经验、案例和技术支持)来考量。在此,主要列举三种主流ETL产品:Ascential公司的Datastage、Informatica公司的Powercenter、 NCR Teradata公司的ETL Automati…

2011-01-26 16:04 · 数据库 · 评论(0)

什么是ETL? (转)

ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有:滥用缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。即便是一个设计和规划良好的数据库系统,如果其中存在着大量的噪声数据,那么这个系统也是没有任何意义的,因为“垃圾进,垃圾出”(garbage in, garbage out),系统根本就不可能为决策分析系统提供任何支持。为了清除噪声数据,必须在数据库系统中进行数…

2011-01-26 16:03 · 数据库 · 评论(0)

数据挖掘技术的基本概念(转)

1.1 数据挖掘技术的基本概念 随着计算机技术的发展,各行各业都开始采用计算机及相应的信息技术进行管理和运营,这使得企业生成、收集、存贮和处理数据的能力大大提高,数据量与日俱增。企业数据实际上是企业的经验积累,当其积累到一定程度时,必然会反映出规律性的东西;对企业来,堆积如山的数据无异于一个巨大的宝库。在这样的背景下,人们迫切需要新一代的计算技术和工具来开采数据库中蕴藏的宝藏,使其成为有用的知识,指导企业的技术决策和经营决策,使企业在竞争中立于不败之地。另一方面,近十余年来,计算机和信息技术也有了长足的进展,产生了许多新概念和新技术,如更高性能的计算机和操作系统、因特网(intemet)、数…

2011-01-26 16:03 · 数据库 · 评论(0)

商业智能入门以及Cognos产品介绍

什么是商业智能 沃尔玛的销售部在总结历史销售记录的时候发现,每到周末的时候,啤酒和尿布的销量都比平时要高很多,这是一个巧合还是这个现象的背后隐藏着一定的必然因素?销售人员展开了调查,结果发现:每到周末,有孩子的家庭主妇就会让他们的丈夫去超市给孩子买足一周用的尿布,这些丈夫们必然会选择一些自己爱喝的啤酒,以便周末在欣赏橄榄球赛和篮球赛的时候可以和朋友们一起庆祝。原因找到了之后,销售部采取了措施,每到周末将超市的啤酒和尿布捆绑销售,这样,啤酒和尿布的销量又同时增加了一成。 这是一个很经典的故事,但是却将商业智能的概念表述得很清楚,从信息学的发展历程来看,在最早期,一个企业的所有数据,政策都是 存…

2011-01-26 16:02 · 数据库 · 评论(0)

KPI

KPI(Key Performance Indication)即关键业绩指标,是通过对组织内部某一流程的输入端、输出端的关键参数进行设置、取样、计算、分析,衡量流程绩效的一种目标式量化管理指标,是把企业的战略目标分解为可运作的远景目标的工具,是企业绩效管理系统的基础。KPI是现代企业中受到普遍重视的业绩考评方法。KPI可以使部门主管明确部门的主要责任,并以此为基础,明确部门人员的业绩衡量指标,使业绩考评建立在量化的基础之上。建立明确的切实可行的KPI指标体系是做好绩效管理的关键。 KPI法符合一个重要的管理原理——“二八原则”在一个企业的价值创造过程中,在在着"20/80"的规律,即20%的…

2011-01-26 16:02 · 数据库 · 评论(0)

ELT and ETL

ELT是利用数据库的处理能力, E=从源数据库抽取数据,L=把数据加载到目标库的临时表中,T=对临时表中的数据进行转换,然后加载到目标库目标表中。 这种处理方式不需要有中间的转换服务器,所有的转换都是在数据库中进行,可以节约一点资源,它的性能瓶颈在数据库的处理能力及数据库服务器的性能。 ETL主要是利用转换服务器的处理能力,从源表抽取数据后,在转换服务器中进行数据清洗、转换,完成后加载到目标库中。 它的转换过程都是在转换服务器中进行的,所以它的性能瓶颈在中间的转换服务器中。

2011-01-26 16:01 · 数据库 · 评论(0)

Tomcat集群与负载均衡

在单一的服务器上执行WEB应用程序有一些重大的问题,当网站成功建成并开始接受大量请求时,单一服务器终究无法满足需要处理的负荷量,所以就有点显得有点力不从心了。另外一个常见的问题是会产生单点故障,如果该服务器坏掉,那么网站就立刻无法运作了。不论是因为要有较佳的扩充性还是容错能力,我们都会想在一台以上的服务器计算机上执行WEB应用程序。所以,这时候我们就需要用到集群这一门技术了。 在进入集群系统架构探讨之前,先定义一些专门术语: 1. 集群(Cluster):是一组独立的计算机系统构成一个松耦合的多处理器系统,它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送,实现分布式…

2011-01-26 16:00 · java · 评论(0)

xalan-2.7.0.jar下载地址

xalan-2.7.0.jar下载地址: http://svn.apache.org/viewvc/xmlgraphics/fop/tags/fop-0_94/lib/xalan-2.7.0.jar?view=log&pathrev=591929

2011-01-26 15:59 · java · 评论(0)

provider org.apache.xalan.processor.TransformerFactoryImpl not found

完整的Exception: Exception starting filter struts2 javax.xml.transform.TransformerFactoryConfigurationError: Provider org.apache.xalan.processor.TransformerFactoryImpl not found at javax.xml.transform.TransformerFactory.newInstance(Unknown Source) at com.opensymphony.xwork2.util.DomHelper$DOMBuilder.<…

2011-01-26 15:58 · java · 评论(0)

Apache与Tomcat整合的简单方法

1、准备,下载需要的文件。这里假定你已经正确安装配置好了JDK。 到Apache官方网站下载所需要的文件: httpd-2.2.0.tar.gz apache-tomcat-5.5.12.tar.gz jakarta-tomcat-connectors-1.2.15-src.tar.gz 其中httpd和jakarta-tomcat-connectors为源码包,apache-tomcat为二进制包。 2、安装Apache。 # tar xzvf httpd-2.2.0.tar.gz # cd httpd-2.2.0 # ./configure --prefix=/usr/local/apa…

2011-01-26 15:57 · java · 评论(0)

(转)Tomcat源码学习(一)

Tomcat源码学习(一) http://carllgc.blog.ccidnet.com/blog-htm-do-showone-uid-4092-type-blog-itemid-263093.html 作为一位Java程序员,如果您没有接触过开源软件、项目或框架的话,恐怕有些不可思议。轰轰烈烈的开源运动起源于Linux操作系统,Apache基金会在其中扮演了中流砥柱的角色,业界巨擘SUN,IBM, BEA 和Oracle等公司的积极参与,使得声势浩大的开源运动成为软件开发领域势不可挡的力量。2001年11月,IBM向Apache基金会捐献出Visual Age for Java,这个看…

2011-01-26 15:57 · java · 评论(0)

Tomat源码学习(二) [图片]

Tomat源码学习(二) Tomat6的整体架构 在上篇文章中,我们已经成功将Tomcat6.0的源代码导入到Eclipse IDE中。现在我们就开始学习Tomcat源码。Tomcat源代码共有1000多个java类,代码行数大约28万到30万行左右。从项目规模上说,可算得上是一个中型项目。要学习理解Tomcat源代码,我们有多种办法可行。最原始的一种办法就是,打开Debugger,逐行跟踪,看看Tomcat如何启动,如何处理客户端请求,如何编译动态jsp页面。第二种办法是利用逆向工程,把Tomcat的总体类图先描绘出来,然后再结合sequence diagram,来学习理解它。我们在这里采…

2011-01-26 15:55 · java · 评论(0)

Tomat6架构探讨(续)

Tomat源码学习(二) 下面,我们重点针对Catalina子模块,熟悉Tomcat的几个关键组件。 (1) 服务器(Server) 在Tomcat中,服务器代表整个J2EE容器,所有的服务及服务上下文均包含在服务器内。我们打开Tomcat源代码,可以看到org.apache.catalina.Server这个接口,其中比较重要的方法有initialize(负责Tomcat启动前的初始化工作),还有一些服务(Services)管理方法,比如removeService()、addService()、findService()之类的方法。 在Tomcat运行时,我们永远只有一个Server实例,…

2011-01-26 15:54 · java · 评论(0)

JNDI

Java术语 英文全称是:Java Naming and Directory Interface 术语解释:一组帮助做多个命名和目录服务接口的API。 JNDI(Java Naming and Directory Interface)是SUN公司提供的一种标准的Java命名系统接口,JNDI提供统一的客户端API,通过不同的访问提供者接口JNDI SPI的实现,由管理者将JNDI API映射为特定的命名服务和目录系统,使得Java应用程序可以和这些命名服务和目录服务之间进行交互。集群JNDI实现了高可靠性JNDI,通过服务器的集群,保证了JNDI的负载平衡和错误恢复。在全局共享的方式下,集群…

2011-01-26 15:49 · java · 评论(0)