相对于大而全的数据中台项目,本课程中数据治理考评平台是相对更轻量级的平台。
数据治理考评平台致力于从发现数据处理的各种问题入手,直击痛点,将问题量化,就像扫描电脑健康状态一样,扫描数据处理(目前以离线数仓为主)的全流程,把数据治理作为一张答卷,给出一个总评,并列出各个扣分项,以便逐步改善。
系统采用Springboot进行搭建。
Springboot 作为一个web应用快速开发框架,整合了SpringMVC、Spring、Mybatis等框架。其中:
SpringMVC负责接收返回web请求。
Spring负责把业务处理类的组件化,管理生命周期。
Mybatis负责连接数据。
Mybatis-plus是Mybatis的第三方扩展依赖,可以 方便的对数据表进行查删改查操作。
DynamicDatasource是用来对接多个jdbc数据源的工具。
课程目录:
第一天
1、项目意义及目标.wmv
2、数据治理介绍.wmv
3、系统演示.wmv
4、基本架构图.wmv
5、需要的技术.wmv
6、关于虚拟机镜像.wmv
7、web服务.wmv
8、springboot介绍.wmv
9、springboot搭建启动.wmv
10、idea小问题.wmv
11、一个请求的状态和方法.wmv
12、分层开发.wmv
13、接受参数.wmv
14、接收写请求参数.wmv
第二天
1、服务层.wmv
2、为什么用接口.wmv
3、mybatis介绍.wmv
4、mybatis使用.wmv
5、idea中autowired误判mapper.wmv
6、mybatis-plus的使用.wmv
7、basecategory练习 和json处理.wmv
8、basecategory练习 查询列表.wmv
9、保存数据.wmv
10、代码自动生成.wmv
第三天
1、自测题.wmv
2、动态数据源.wmv
3、sql日志打印.wmv
4、连接池.wmv
5、小总结.wmv
6、业务需求解析.wmv
7、观察指标和元数据,wmv
8、项目搭建.wmv
9、生成代码.wmv
10、提取元数据.wmv
11、提取hive元数据.wmv
12、hdfs信息.wmv
第四天
1、字段中文问题解决.wmv
2、回顾.wmv
3、元数据信息提取完成.wmv
4、初始化辅助信息.wmv
5、任务二接口实现.wmv
6、手动更新元数据接口.wmv
7、列表接口分析.wmv
8、查询列表.mp4
9、查询列表2.wmv
10、sql注入.wmv
11、详情信息接口.wmv
12、辅助信息保存接口.wmv
第五天
1、考评指标的分析.wmv
2、指标考评数据库设计.wmv
3、任务三分析.wmv
4、提取元数据信息.wmv
5、考评器_模板模式.wmv
6、从容器中动态获得组件.wmv
7、考评器父类.wmv
8、考评器:是否有技术Owner.wmv
9、考评器:是否长期未被访问.wmv
第六天
1、自测题.wmv
2、正则表达式规则.wmv
3、表名表达式.wmv
4、考评器:表名合规.wmv
5、考评器:是否相似表.wmv
6、考评器:是否相似表完成.wmv
7、考评器:权限超过闭值.wmv
8、考评器:权限判断.wmv
9、作业.wmv
第七天
1、关于ds.wmv
2、ds数据表和指标.wmv
3、ds指标要完成的事项.wmv
4、查询任务定义列表.wmv
5、sql提取.wmv
6、调试1.wmv
7、多数据源配置.wmv
8、指标:是否存在任务失败.wmv
9、sql解析器.wmv
10、sq|解析语法树.wmv
11、判断是否简单处理的分析.wmv
12、判断是否简单处理的开发.wmv
第八天
1、分数计算阶段.wmv
2、分数计算阶段开发.wmv
3、分数计算到人员.wmv
4、全局统计.wmv
5、优化思路多线程.wmv
6、异步编排的例子.wmv
7、跟踪程序问题.wmv
8、项目优化多线程.wmv
9、解决考评的小异常.wmv
10、定时调度.wmv
11、页面接口.wmv
12、控制层接口开发.wmv
13、排行榜.wmv
14、问题数接口.wmv
15、接口完成.wmv
16、总结.wmv
2、出于传递信息之目的,故百万资源网可能会误刊发损害或影响您的合法权益,请您积极与我们联系处理(所有内容不代表本站观点与立场);
3、因时间、精力有限,我们无法一一核实每一条消息的真实性,但我们会在发布之前尽最大努力来核实这些信息;
4、无论出于何种目的要求本站删除内容,您均需要提供根据国家版权局发布的示范格式 《要求删除或断开链接侵权网络内容的通知》:https://www.bw1.net/banquan/sfgs.pdf, 国家知识产权局《要求删除或断开链接侵权网络内容的通知》填写说明: http://www.ncac.gov.cn/chinacopyright/contents/12227/342400.shtml 未按照国家知识产权局格式通知一律不予处理;请按照此通知格式填写发至本站的邮箱 master@bw1.net