数据仓库读书笔记,数据仓库 课程
大家好,今天小编关注到一个比较有意思的话题,就是关于数据仓库读书笔记的问题,于是小编就整理了5个相关介绍数据仓库读书笔记的解答,让我们一起看看吧。
1、《数据仓库工具箱》读书笔记(一):维度建模初步
维度模型是数据仓库领域大师Ralph Kimall所倡导,他的《数据仓库工具箱》,是数据仓库工程领域最流行的数仓建模经典。
如果具有高度非关联的属性,包含更多的数量值,则将它们合并为单一的杂项维度为主没有多的意义。在建模表头/明细数据维度时需要避免两个常见的设计错误。将事务表头当成维度。
维度建模:维度建模是专门应用于分析型数据库、数据仓库、数据市集建模的方法。
以书中的内容为例,如果顾客维度中有一部分人口统计学(demographic)维度是RCD,就将它们拆成单独的维度表:其中,微维度表的维度最好是少量、分段的(banded)离散值,例如:下表仍然来自《数据仓库工具箱》的原文。
2、《DAMA-DMBOK2》读书笔记-第1章 数据管理
数据生命周期: 包括创建或获取、移动、转换和存储数据并使其得以维护和共享的过程,使用数据的过程,以及处理数据的过程。 见下图1-2。
《DAMA-DMBOK2职能框架》主要介绍了数据管理知识体系中11个主要的数据管理职能:数据管理(1)数据治理:建立数据决策体系,指导监督数据管理工作,从而考虑到满足企业的整体需求。
这一阶段需要仔细管理变革,以确保早期使用者能够确定他们对现状的不满达到一定程度并坚持变革。这一步很必要的,要达到“引爆点”,在创新的使用者足够多后就会成为主流。
在任何级别上,评估标准都将按照一个尺度进行评估,如1—未开始、2—正在进行、3—能使用、4—有效。
3、从入门到精通 互联网数据分析书籍清单
一是直接从企业数据库调取,需要SQL技能去完成数据提取等的数据库管理工作。二是获取公开数据,政府、企业、统计局等机构有。三是通过Python编写网页爬虫。数据预处理 对残缺、重复等异常数据进行清洗。
书名:深度学习入门 作者:[ 日] 斋藤康毅 译者:陆宇杰 豆瓣评分:4 出版社:人民邮电出版社 出版年份:2018-7 页数:285 内容简介:本书是深度学习真正意义上的入门书,深入浅出地剖析了深度学习的原理和相关技术。
通过Python来采用机器学习的方式实现数据分析是当前比较流行的数据分析方式。
《C#数据库系统开发案例... 出版社:人民邮电出版社 出版时间:2007-06-01 【定价:49元 RMB】 精通编程的必备参考图书,汇集开发团对多年的开发积累和经验。
4、《大数据》读书笔记
世纪还是航海经验靠口口相传、有些甚至被证明是错误的年代,航海家莫里通过量化分析制作的导航图,是大数据的最早实践之一。在因为马车事故造成腿部残疾后,年轻的海军军官莫里离开了海上工作,来到了图表和仪器厂。
戏中主角分别是大数据拥有者、大数据技术公司、大数据思维的公司或个人。第一个吃螃蟹的人早已斩获良多,更多的人也开始去尝试;随着技术的发展,拥有大数据技术的公司的领先优势也越来越弱;而数据本身的价值则与日俱增。
数据创新1:数据的再利用 数据再利用的前提是收集或控制数据集尤其是大型数据集。
智能商业最重要的两个组成部分是: 网络协同 与 数据智能 ,称为智能商业的双螺旋。网络协同指的是通过大规模,多角色的实时互动来解决特定问题。数据智能的本质是机器取代人直接做决定,其前提是云计算、大数据和算法。
正如《刻意练习》中最重要的观点,反馈才是进步的动力,才能让自己看到哪里做得不够,哪里需要改进,而做数据也是一样。 对于数据开发人员,《决战大数据》里的 “混”,“通”,“晒” 还是很有思考的价值。
5、ETL过程的数据清洗和整合
一致性处理包含所有需要调整维度中的一些或者所有列的内容以与数据仓库中其他相同或者类似的维度保持一致的步骤。
转换是ETL过程的第二步,它负责对抽取的数据进行清洗、整合和转换,以满足目标数据源的要求。在这个阶段,需要对数据进行一系列的处理,例如去除重复数据、填充缺失值、数据格式转换等。
ETL的应用是将企业业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的一个过程。用ETL的目的是为了把企业散落在各个系统中的数据集中起来,统一标准化管理。因此,ETL是构建数据仓库的重要的、必不可少的一环。
ETL是将业务系统的数据经过抽取(Extract)、清洗转换(Transform)之后加载(Load)到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。
综上所述,初步ETL后的数据会被存入哪一层,取决于具体的ETL流程设计。通常情况下,数据会被存入数据仓库层,以便进行进一步的数据清洗、转换和整合。当然,也可能被存入数据集市层或数据湖层,以更好地支持不同的业务需求。
到此,以上就是小编对于数据仓库读书笔记的问题就介绍到这了,希望介绍关于数据仓库读书笔记的5点解答对大家有用。