BI-SQL丨两表差异比较来自专栏

BOSS：哎，白茶，我们最近新上了一个系统，后续有一些数据要进行源切换，这个能整么？白茶：没问题，可以整！ BOSS：哦，对了，差点忘记告诉你了，新系统没有进行过数据校验，所以切换之前，需要你处理一下，这个能整不？白茶：（￥#！&*%！）能！数仓在运维过程中，难免会遇到数据源切换，或...

SQL MSSQL SQL Server 大数据后端 ETL 数据治理

2023-07-29

0 445

BI-SQL丨XML 来自专栏

XML SQL Server中，存在一种特殊类型的数据，就是XML数据类型。可能看到这里，小伙伴都会产生疑惑，XML不是Web语言么？为什么在SQL Server里面也会有XML数据类型？这个就要从SQL Server的应用开始说起了，众所周知，SQL作为计算机的通用语言之一，在各个领域都存在广...

SQL MSSQL SQL Server ETL 大数据数据处理 XML

2023-07-15

0 319

BI-SQL丨行列转换来自专栏

行列转换行列转换，在SQL Server中属于常见的基本操作。无论是搭建数仓，还是通过PowerBI进行数据分析，我们总会接触到各式各样的数据源，而在这些数据源中，除了标准的大型数仓外，我们很少能够拿到标准规范的数据表结构。接触最多的，往往是大宽表，这就需要我们将大宽表转换为标准的二维...

SQL MSSQL 大数据数仓 ETL 后端

2023-06-17

0 433

BI-SQL丨日志清理来自专栏

日志清理在使用SQL Server的过程中，随着时间的变化，后台日志文件的体量也是在不断增加的。这样会使得数据库的性能下降，并且占用大量的磁盘空间。而在我们日常运维过程中，偶尔会遇到数据库执行JOB的时候，报内存不足的错误，导致JOB无法正常运行，为了解决这一问题，就需要我们定期对数据库的日志进...

数据库数据库运维后端 ETL 日志 SQL MSSQL

2023-06-10

0 321

BI-SQL丨ALL、ANY、SOME 来自专栏

ALL、ANY、SOME ALL、ANY和SOME，这三个关键字，在SQL中使用频率较高，通常可以用来进行数据比较筛选。注：SQL中ALL的用法和DAX中ALL的用法是完全不同的，小伙伴不要混淆了。那么三者之间的区别是什么呢？ ALL：类似于AND，只有当满足所有条件时，才会返回TRUE。 ...

SQL MSSQL 微软大数据数仓后端数据存储

2023-02-11

0 405

BI-SQL丨MEGRE 来自专栏

MEGRE MEGRE语句，在SQL的生态圈中，一直都隶属于一个比较重要的位置。要知道，在实际的项目应用中，我们经常需要从上游数据源，进行原始数据的抽取、清洗、存储、分析等操作，特别是在存储这一环节，MEGRE的作用尤为突出。举个例子：我们需要完成对上游维度信息的抽取，根据我们的设定，数仓在每...

SQL SQL Server 数仓商务智能大数据微软

2022-12-03

0 500

BI-SQL丨SNAPSHOT 来自专栏

快照（SNAPSHOT）我们在做BI项目的过程，一旦数据涉及到数据库，那么需要考量到的点就比较多。 1.如果数仓是在项目过程中搭建的，那么需要考虑高可用、灾备机制以及安全性问题； 2.如果我们只是需要连接数据库，那么需要考虑账号权限问题以及历史信息是否完整。快照（Snapshot），是SQL...

SQL SQL Server DB 数据库大数据可视化后端

2022-11-19

0 302

BI-SQL丨WHILE 来自专栏

WHILE WHILE，当的意思。在SQL的语法中，通常可以用来重复执行某段SQL脚本。通俗来说，就是当XXX时，执行某某操作，意为循环。看到这里，小伙伴可能会有疑问，PowerBI中是否有类似的操作呢？答案是有的，不过此类操作我们一般都是在PowerQuery中进行的，在DAX中需要进行循环...

PowerBI 循环 SQL SQL Server 数据库大数据 BI 后端数仓

2022-07-30

0 308

BI-SQL丨截取字符串来自专栏

截取字符串我们在做BI可视化之前，通常需要已经清洗干净的数据才能进行可视化分析。随着电商的发展，有很多数据都是从网上渠道抓取过来的，这就导致原始数据有很多对于分析来说的无效数据，那么在SQL中这部分数据该如何进行处理呢？函数介绍 SUBSTRING语法： SUBSTRING ( 表达式 , 开...

PowerBI SQL ETL 大数据可视化数仓后端数据库

2022-05-20

0 368

BI-SQL丨表变量与临时表来自专栏

表变量与临时表白茶在之前描述WITH AS的用法时，曾提到过，除了WITH AS以外，我们还有其他两种办法来进行类似DAX中VAR定义虚拟表的行为，本期我们来了解一下：如何使用表变量与临时表。表变量特征： 1.表变量拥有特定的作用域且在批处理结束以后会被自动的清除； 2.表变量相较于临时表，...

PowerBI ETL SQL 后端数仓大数据可视化数据库

2022-05-07

0 351

BI-SQL丨两表差异比较 来自专栏