C++博客-. . . . . . . . . . . . . . Blog Garden' C plus plus (My technology Impire!)-随笔分类-Databasehttp://www.cppblog.com/stevennash/category/2745.html................................................................ It‘s a age of economic globalization and Infomation globalization........................................zh-cnTue, 20 May 2008 20:00:20 GMTTue, 20 May 2008 20:00:20 GMT60新技术引发“数据爆炸”http://www.cppblog.com/stevennash/archive/2006/10/03/13278.htmlTechnical ConsultantTechnical ConsultantTue, 03 Oct 2006 11:17:00 GMThttp://www.cppblog.com/stevennash/archive/2006/10/03/13278.htmlhttp://www.cppblog.com/stevennash/comments/13278.htmlhttp://www.cppblog.com/stevennash/archive/2006/10/03/13278.html#Feedback0http://www.cppblog.com/stevennash/comments/commentRss/13278.htmlhttp://www.cppblog.com/stevennash/services/trackbacks/13278.html新技术引发“数据爆炸”

 

　　本文最早出现在TechTarget的专家问答中心上，作为Craig Mullins的博客的一部分。Craig是2月份的2个星期的专家问答中心的随选专家，在这期间，他回答了一些有关EAC 的问题，并且每天都发表博客。保持对专家问答中心的专题的关注可以对你的IT知识有所帮助。

　　今天的商务收集并存储了比以往更多的数据。我们说生活在信息时代，数据就是新经济的资本。随着需要存储的数据的数量的激增，企业比以往的任何时候都更加依赖于数据库管理系统来处理公司的数据，以及原始数据中非常有用的商业信息。

　　在每一年，我都会参观很多不同的企业，这也是我工作的一部分，其中有一件事情是一致的:数据库的规模在不断扩大。我从来没有遇见一个数据库管理员对我说，“你知道吗，我的数据库变小了，我没法对它进行操作了。”不，情况恰恰相反。任何一个地方的企业都正在努力面对他们公司的数据库由于规模扩大产生的沉重负担。

　　Winter 公司，是一家研究和咨询机构，每半年出版一份全世界前十位最大、负担最沉重的数据库(点击这里查看详细内容)。在最近的一份Winter的报告中，2003年出版的，肯定了数据的激增。Winter的报告说最大的数据仓库实现已经长到了30TB，最大的正在运转的数据库具有20TB的数据。这些是最大的。在线事务处理(OLTP)数据库已经从2001年的1TB增加到了2003年的4.4TB。

　　越来越多的数据是今天商业面对的一个现实，还有，企业的数据库也在规模上不断增长。实际上，使用的技术也在不断增加，并且变得越来越复杂，但是数据增长速率确实爆炸的速度。有以下几个因素导致了这种增长。

　　数据仓库和数据挖掘应用程序鼓励我们存储越来越长的时间段内越来越多的数据。这样的实际情况导致的可分析出来的前景是成本的大量增加。网络应用也可以增加数据的增长速度。监控点击流需要存储与以往相比越来越多的不同的数据类型，多媒体数据也增加了对存储的要求。但我们存储并管理的不仅仅是数字和文字，还有视频、音频、图像、临时数据以及更多内容，数据的增长速度也在不断地上升。

　　今天，大多数的企业都部署了多个异构的计算机系统——从大型的主机到中等规模的工作组网络，再到个人计算机。同样的数据同时在所有这些不同的平台上存在。企业要将数据多次拷贝到多个平台和数据库管理系统产品上，数据通常放置在单个集中式的系统。所以异构引起了数据的增长。

　　新生的技术，例如RFID标签，将会进一步增加必须进行维护和保证可访问性的数据的泛滥。实际上，数据库系统的需求也在未来越走越远，同样也需要更多的数据库管理员来管理这些数据库。

Technical Consultant 2006-10-03 19:17 发表评论
]]>什么是数据仓库http://www.cppblog.com/stevennash/archive/2006/10/03/13276.htmlTechnical ConsultantTechnical ConsultantTue, 03 Oct 2006 11:12:00 GMThttp://www.cppblog.com/stevennash/archive/2006/10/03/13276.htmlhttp://www.cppblog.com/stevennash/comments/13276.htmlhttp://www.cppblog.com/stevennash/archive/2006/10/03/13276.html#Feedback0http://www.cppblog.com/stevennash/comments/commentRss/13276.htmlhttp://www.cppblog.com/stevennash/services/trackbacks/13276.html什么是数据仓库

 
　　目前，数据仓库一词尚没有一个统一的定义，著名的数据仓库专家W.H.Inmon在其著作《Building the Data Warehouse》一书中给予如下描述：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。

    根据数据仓库概念的含义，数据仓库拥有以下四个特点：
     1、面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。

     2、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

     3、相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。

     4、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。
企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。
整个数据仓库系统是一个包含四个层次的体系结构，具体由下图表示。 

                 datastore.jpg

 ·数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等；

·数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。

·OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。

·前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。

Technical Consultant 2006-10-03 19:12 发表评论
]]>DirextX SDK 2006 aughttp://www.cppblog.com/stevennash/archive/2006/10/03/13244.htmlTechnical ConsultantTechnical ConsultantTue, 03 Oct 2006 08:11:00 GMThttp://www.cppblog.com/stevennash/archive/2006/10/03/13244.htmlhttp://www.cppblog.com/stevennash/comments/13244.htmlhttp://www.cppblog.com/stevennash/archive/2006/10/03/13244.html#Feedback0http://www.cppblog.com/stevennash/comments/commentRss/13244.htmlhttp://www.cppblog.com/stevennash/services/trackbacks/13244.html     DirextX SDK 2006 aug
 This Version Update like under:

What's New in the August 2006 DirectX SDK

This version of the DirectX SDK contains the following new features, tools, and documentation.

PIX: Direct3D 9 Shader Debugging

PIX now enables you to debug vertex shaders and pixel shaders inside of a single frame capture. You can step through the assembly instructions, set breakpoints, and restart the shader from the beginning. If the shader was compiled with debug information and if the HLSL source file is available, the source code will be shown as well. Currently the shader debugger shows register contents. In future releases it will also show the contents of HLSL variables and will allow source-level stepping.

PIX: Current Mesh Viewing

It is now possible to view the mesh data for the currently selected draw call event. The 3D data is displayed in wireframe and numeric forms for each stage of the rendering pipeline: before vertex processing, after vertex processing, after the geometry shader, and in screen space. This allows you to inspect how the data changes as it flows through the pipeline for each draw call event.

XACT: 3D Pan Property

New properties on the Play event allow a sound designer to specify a panning direction for wave playback of mono or multichannel content. See the XACT Event, Play Wave reference for more information.

Direct3D 10 Technology Preview

Samples and applications built with the Direct3D ® 10 Technology Preview in the August 2006 DirectX ® SDK require Windows ® Vista TM RC1 to run. The Windows Vista RC1 will be available to MSDN ® subscribers.

Developers will notice that syntax has changed for several of the Direct3D 10 core APIs between the Windows Vista Beta 2 and Windows Vista RC1. Several APIs have been added, renamed, or removed. For a full list of changes, please refer to the August release notes.

New Technical Articles

This release includes three new technical articles:

·         Graphics APIs in Windows Vista: describes the new display driver model.

·         Coding For Multiple Cores on Xbox 360 and Microsoft Windows: gives some advice on how to get started with multithreaded programming.

·         Making Video Games Accessible: Business Justifications and Design Considerations: descibes how to add basic accessibility features to games.

Skinning10 Sample

The Skinning10 sample demonstrates four different methods to perform skinning on Direct3D 10 hardware




Technical Consultant 2006-10-03 16:11 发表评论
]]>