数据仓库的基本架构
2012-5-16 11:04:07 阅读2 评论0 162012/05 May16
原文参考
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用：
从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自上而下流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。
数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。
下面主要简单介绍下数据仓库架构中的各个模块，当然这里所介绍的数据仓库主要是指网站数据仓库。
数据仓库的数据来源
其实之前的一篇文章已经介绍过数据仓库各种源数据的类型——
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用：
从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自上而下流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。
数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。
下面主要简单介绍下数据仓库架构中的各个模块，当然这里所介绍的数据仓库主要是指网站数据仓库。
数据仓库的数据来源
其实之前的一篇文章已经介绍过数据仓库各种源数据的类型——
*PyQt4 精彩实例分析* 实例4 使用标准输入框
2012-5-13 13:49:51 阅读1 评论0 132012/05 May13
本实例演示如何使用标准输入框，Qt提供了一个QInputDialog类，QInputDialog类提供了一种简单方面的对话框来获得用户的单个输入信息，目前提供了4种数据类型的输入，可以是一个字符串，一个Int类型数据，一个double类型数据或是一个下拉列表框的条目。其中包括一个提示标签，一个输入控件。若是调用字符串输入框，则为一个QLineEdit，若是调用Int类型或double类型，则为一个QSpinBox，若是调用列表条目输入框，则为一个QComboBox，还包括一个确定输入(Ok)按钮和一个取消输入(Cancel)按钮。
本实例的实现效果如下图：
实例中列举了以上4种输入类型，右则的按钮用于弹出标准输入对话框修改各条信息的值。具体实现代码如下所示：
[python] view plaincopy
# -*- coding: utf-8 -*- from PyQt4.QtCore import * from PyQt4.QtGui
本实例的实现效果如下图：
实例中列举了以上4种输入类型，右则的按钮用于弹出标准输入对话框修改各条信息的值。具体实现代码如下所示：
[python] view plaincopy
# -*- coding: utf-8 -*- from PyQt4.QtCore import * from PyQt4.QtGui
《Python基础教程》学习笔记之[D6]条件、循环和其他语句
2012-5-11 18:52:09 阅读4 评论0 112012/05 May11
第五章 条件、循环和其他语句
注意：注意代码的缩进，否则会报错，因为是通过缩进来区分代码块的。用Tab或者两个空格或四个空格，但应保持一致，不要混用，决定用tab键方便。
1. "," 连续输出，以空格分隔
Python代码
>>> print 'Age',42 Age 42 # >>> for i in range(10): print i, #语句以逗号结尾，print语句会在一行内打印，并以空格分开；若无逗号，则分行打印 0 1 2 3 4 5 6 7 8 9
不需使用格式化字符%，更加方便
Python代码
>>> a = '1' >>> b = '2' >>> c = '3' >>> print a,b,c 1 2 3
使用print时，以","隔开，不能组成元组。而不用print以逗号隔开，则是一个元组
Python代码
>>> print 1,2,3 #打印以空格隔开的数字 1 2 3 >>> 1,2,3 #元组 (1, 2, 3) >>> print (1,2,3) #打印元组 (1, 2, 3)
2. import
一般格式：
import module
注意：注意代码的缩进，否则会报错，因为是通过缩进来区分代码块的。用Tab或者两个空格或四个空格，但应保持一致，不要混用，决定用tab键方便。
1. "," 连续输出，以空格分隔
Python代码
>>> print 'Age',42 Age 42 # >>> for i in range(10): print i, #语句以逗号结尾，print语句会在一行内打印，并以空格分开；若无逗号，则分行打印 0 1 2 3 4 5 6 7 8 9
不需使用格式化字符%，更加方便
Python代码
>>> a = '1' >>> b = '2' >>> c = '3' >>> print a,b,c 1 2 3
使用print时，以","隔开，不能组成元组。而不用print以逗号隔开，则是一个元组
Python代码
>>> print 1,2,3 #打印以空格隔开的数字 1 2 3 >>> 1,2,3 #元组 (1, 2, 3) >>> print (1,2,3) #打印元组 (1, 2, 3)
2. import
一般格式：
import module
Continuous Integration (original version)
2012-5-11 9:57:13 阅读3 评论0 112012/05 May11
Software development is full of best practices which are often talked about but seem to be rarely done. One of the most basic, and valuable, of these is a fully automated build and test process that allows a team to build and test their software many times a day. The idea of a daily build has been talked about a lot. McConnnell recommends it as a best practice and it's been long known as a feature of the Microsoft development approach. We agree with the XP community, however, in saying that
我们需要专职的QA吗？
2012-5-10 10:20:01 阅读4 评论0 102012/05 May10
原文
这个文章必然是有争议的，我在我的微博上讨论过很多次了，每次都是很有争议的。有不同的观点，有争论总是一件好事，这样可以引发大家的思考。所以，对于我的这篇博文，如果你赞同我的观点，我会感到高兴，如果你会去认真地深入思考，我也会高兴，如果你反对，没关系，可以讨论。
在此之前，我想说明一下我观点里的这个“专职QA”是怎么定义的。
其是很多公司成立的专门做测试的技术人员，仅测试不开发。这些QA对于软件开发技术并不熟悉，甚至不懂。
我经历过一些公司都有专职的QA团队（专职的测试人员），自从上个公司我的开发团队在一个项目上被QA部门搞得一团糟，我越来越怀疑专职QA存在在意义。我的观点不一定对，但请让我鲜明地表达一下——我觉得是不需要全职的QA的，甚至不需要QA这一专职角色或部门，因为，不懂开发的人必然做不好测试。就像不懂开发的研发经理必然管不好研发团队一样。我越来越觉得Dev应该应该是做测试最合适的人选，这必然是未来的趋势 （因为我已经看到了中国程序员的进步，相比起10年前，今天的程序员已经是非常全面了，再来十年，必然证明我的观点是对的）。
在我正在展开说明之前，我想引用两篇文章：
两篇文章
一篇是 “
这个文章必然是有争议的，我在我的微博上讨论过很多次了，每次都是很有争议的。有不同的观点，有争论总是一件好事，这样可以引发大家的思考。所以，对于我的这篇博文，如果你赞同我的观点，我会感到高兴，如果你会去认真地深入思考，我也会高兴，如果你反对，没关系，可以讨论。
在此之前，我想说明一下我观点里的这个“专职QA”是怎么定义的。
其是很多公司成立的专门做测试的技术人员，仅测试不开发。这些QA对于软件开发技术并不熟悉，甚至不懂。
我经历过一些公司都有专职的QA团队（专职的测试人员），自从上个公司我的开发团队在一个项目上被QA部门搞得一团糟，我越来越怀疑专职QA存在在意义。我的观点不一定对，但请让我鲜明地表达一下——我觉得是不需要全职的QA的，甚至不需要QA这一专职角色或部门，因为，不懂开发的人必然做不好测试。就像不懂开发的研发经理必然管不好研发团队一样。我越来越觉得Dev应该应该是做测试最合适的人选，这必然是未来的趋势 （因为我已经看到了中国程序员的进步，相比起10年前，今天的程序员已经是非常全面了，再来十年，必然证明我的观点是对的）。
在我正在展开说明之前，我想引用两篇文章：
两篇文章
一篇是 “
什么是持续集成，为什么要持续集成
2012-5-10 9:43:30 阅读5 评论0 102012/05 May10
原文
我还可以生动记起第一次看到大型软件工程的情景。我当时在一家大型英国电子公司的QA部门实习。我的经理带我熟悉公司环境，我们进到一间巨大的，充满了压抑感和格子间的的仓库。我被告知这个项目已经开发了好几年，现在正在集成阶段，并已经集成了好几个月。我的向导还告诉我没人知道集成要多久才能结束。从此我学到了软件开发的一个惯例：集成是一个很耗时并难以预测的过程。但是事实并非总是如此，我的 ThoughWorks 同事所做的项目，以及很多其它遍布世界各地的软件项目，都不会把集成当回事。任何一个开发者本地的代码和项目共享基准代码的差别仅仅只有几小时的工作而已，而且这只要几分钟的时间就可以被集成回去。任何集成错误都可以很快被发现，并被快速修复。这鲜明的差别并非源于昂贵和复杂的工具。其中的精华蕴含于一个简单的实践：使用统一的代码仓库并频繁集成（通常每天一次）。
当我向别人介绍持续集成方法时，人们通常会有两种反应：“这（在我们这儿）不管用”和“做了也不可能有什么不同”。但如果他们真的试过了，就会发现持续集成其实比听起来要简单，并且能给开发过程带来巨大的改变。因此第三种常见的反应是：“我们就是这么做的，做开发怎可能不用它呢？”
“持续集成”一词来源于极限编程（Extreme Programming），作为它的12个实践之一出现。当我开始在 ThoughWorks 开始顾问职业生涯时，我鼓励我所参与的项目使用这种技巧。Matthew
我还可以生动记起第一次看到大型软件工程的情景。我当时在一家大型英国电子公司的QA部门实习。我的经理带我熟悉公司环境，我们进到一间巨大的，充满了压抑感和格子间的的仓库。我被告知这个项目已经开发了好几年，现在正在集成阶段，并已经集成了好几个月。我的向导还告诉我没人知道集成要多久才能结束。从此我学到了软件开发的一个惯例：集成是一个很耗时并难以预测的过程。但是事实并非总是如此，我的 ThoughWorks 同事所做的项目，以及很多其它遍布世界各地的软件项目，都不会把集成当回事。任何一个开发者本地的代码和项目共享基准代码的差别仅仅只有几小时的工作而已，而且这只要几分钟的时间就可以被集成回去。任何集成错误都可以很快被发现，并被快速修复。这鲜明的差别并非源于昂贵和复杂的工具。其中的精华蕴含于一个简单的实践：使用统一的代码仓库并频繁集成（通常每天一次）。
当我向别人介绍持续集成方法时，人们通常会有两种反应：“这（在我们这儿）不管用”和“做了也不可能有什么不同”。但如果他们真的试过了，就会发现持续集成其实比听起来要简单，并且能给开发过程带来巨大的改变。因此第三种常见的反应是：“我们就是这么做的，做开发怎可能不用它呢？”
“持续集成”一词来源于极限编程（Extreme Programming），作为它的12个实践之一出现。当我开始在 ThoughWorks 开始顾问职业生涯时，我鼓励我所参与的项目使用这种技巧。Matthew
日历
模块内容加载中...
日志分类
日志分类列表加载中...
归档
数据加载中...
海外 日本 双鱼座
发消息 写留言
I am currently a Ph.D student at the Graduate School of Information Science, Hokkaido University. Email：hn.ay.guobo@gmail.com
| 博客等级 | 加载中... |
| 今日访问 | 加载中... |
| 总访问量 | 加载中... |
| 最后登录 | 加载中... |
自定义模块
模块内容加载中...