使用Power BI构建数据仓库与BI方案
覆周 人气:0杀手级特性
今年Power BI的几大杀手级特性的GA，可以让其构建完整的数据仓库/数据湖和BI分析一站式方案。
- Power BI Premium Per User-超低的价格
- Large datasets in Power BI Premium-内置完整的SSAS引擎
- Dataflows and Azure Data Lake Gen 2-与Azure数据湖集成，数据共享
- XMLA endpoint-开放编程接口和第三方工具接入
- DirectQuery for Power BI datasets and Azure Analysis Services-复合模型，BI语义模型的最终形态
架构
- 数据接入：Dataflows是Power Query的web版,支持接入关系数据库,文件/文件系统,SaaS应用,API等上百种数据源
- 数据萃取：Power Query提供完全的图形化操作对数据进行提取、转换和加载处理
- 数据存储：处理后的数据以CDM存储在Azure Data Lake上,极低的价格存储并拥有和关系数据库一样的结构化定义
- 数据建模：完整的SQL Server Analysis Services内存引擎，支持100G+的内存
- 可视与分析：Power BI交互式报表与仪表板，由于内置的SSAS使报表与数据解耦
准备条件
Power BI Premium Per User账号
Azure Data Lake Gen 2订阅
SSDT,使用Visual Studio社区版即可
Power BI Desktop
SQL Server Analysis Services 2019服务器
DAX Studio（可选）
Excel（可选）
Azure Synapse Analytics（可选）
环境配置
新建工作区
开启高级容量
连接Azure Data Lake
Azure Data Lake需要和Power BI在同一数据中心区域，并保证Azure Data Lake IAM权限。
查看Azure Data Lake
配置完成后会自动创建2个对象存储容器
数据仓库
数据接入
新建数据流，启动Power Query
基于成本的原因,本次使用Azure Data Lake做数据源，读取了11张表，如下图
（正常使用时本地/云端的数据库都可 ,一个数据流里支持多个数据源）
数据萃取
ETL加工里面的各种场景在Power Query里都可以轻松实现，并且是完全图形化操作，本次以下面几种演示：
- 代理键
- 派生列
- 行列拆分
(拆分到行还为移植到web端)
- 多源(含异构)整合-合并查询，追加查询
追加查询支持列不固定，如下图
- JSON字段
还有缓慢变化，透视与逆透视，分类汇总，向上/下填充，列内容提取等很多场景就不展开了，后续会一个Power Query的数据处理专题.
调度刷新
对于有日期时间字段的表，可以配置增量刷新
数据流的调度刷新配置
数据存储
数据调度完成后以CSV文件格式存储在Azure Data Lake中,元数据存在model.json中
数据刷新后自动构建拉链表模式,由于有model.json元数据,使用时默认最新的版本
数据探索（可选）
由于数据存储在Azure Data Lake中,可以使用支持Azure存储或HDFS的各种工具或接口访问使用.本次演示使用Azure Synapse Analytic的无服务SQL引擎和Spark引擎
BI模型
SSAS模型
为了使开发的模型在本地SSAS环境和Power BI公有云环境上都可使用,这次使用SSDT开发,若只考虑公有云使用Power BI Desktop即可.
新建SSAS 2019模型,选择集成工作区模式
读取Dataflows的数据,由于当前SSDT工具还未发布Azure Data Lake 2的接口,那就使用Azure Blob接口
Power BI Desktop直接用Azure Data Lake 2
开发模型：建好表关系，度量值，计算列，行级权限
本此演示的就是一个最基础的SSAS模型结构,3张事实表的星座模型
多维度分层行级权限
模型发布
部署服务器地址，设置不处理
powerbi://api.powerbi.com/v1.0/myorg/FIN
使用SSMS连接SSAS环境
在SSMS上使用模型处理命令
分区
SSDT或SSMS设置分区
Power BI Desktop设置增量刷新
调度配置
可视与分析
Power BI在线编辑
Power BI Desktop
使用Power BI数据集接
使用Analysis Services接口，输入服务器地址powerbi://api.powerbi.com/v1.0/myorg/FIN
模型关系图
Excel
2019以下的版本使用Analysis Services连接,Office 365版本有Power BI数据集接口
第三方工具等
支持XMLA的工具都可以连接内置的SSAS模型
本次以DAX Studio演示，如下图：
最后
Power BI的按用户数收费模式,不限制使用量,模型完成后无限制用户查询
Azure Data Lake的无限制存储，按使用量计费
两者的价格组合以极低的成本构建企业级数仓BI解决方案
本次以批处理数仓演示，二次建模复合模型直连关系数据库涉及实时场景
Power BI自身的流式实时，Azure Data Lake流式写入待后续blog讲解.
由于Power BI的特性结合Azure Data Lake可以做数仓，但与Azure Synapse Analytics并不冲突，两者数据都是存储在Azure Data Lake，可以共用一个存储。
面向不同的用户，Azure Synapse Analytics面向IT，Power BI面向业务自助。
文档
数据流和自助数据准备简介 - Power BI | Microsoft Docs
在 Power BI 中使用 XMLA 终结点连接和管理数据集 - Power BI | Microsoft Docs
将数据流存储配置为使用 Azure Data Lake Gen 2 - Power BI | Microsoft Docs
使用适用于数据集和 Azure Analysis Services 的 DirectQuery（预览版） - Power BI | Microsoft Docs
Power BI Premium Per User - Power BI | Microsoft Docs
加载全部内容