网站开发计划书封面设计,做网站北京公司,网站设计合同模板,无锡手机网站开发一、Apache Hive
1、ETL数据清洗
数据问题 问题1#xff1a;当前数据中#xff0c;有一些数据的字段为空#xff0c;不是合法数据
解决#xff1a;where 过滤 问题2#xff1a;需求中#xff0c;需要统计每天、每个小时的消息量#xff0c;但是数据中没有天和小时字段…
一、Apache Hive
1、ETL数据清洗
数据问题 问题1当前数据中有一些数据的字段为空不是合法数据
解决where 过滤 问题2需求中需要统计每天、每个小时的消息量但是数据中没有天和小时字段只有整体时间字段不好处理
解决Substr函数 问题3从GPS的经纬度中提取经度和纬度
解决split函数 问题4将ETL以后的结果保存到一张新的Hive表中
解决create table ... as select ....
2、SQL编写与指标计算
需求 1、统计今日总消息量
-- 按天分组求总和
select dayinfo,count(*) as tolal_cnt from t_msg group by dayinfo 2、统计今日每小时消息量、发送和接收用户数
-- 按天,小时分组求发送/接收用户数--一人发送多条消息
select dayinfo,hourinfo,count(*) as tolal_cnt,count(distinct sender_account) as sender_cnt,count(distinct recdiver_account) as recdiver_cntfrom t_msg group by dayinfo,hourinfo 3、统计今日各地区发送消息数据量 4、统计今日发送消息和接收消息的用户数
-- 按天分组求发送/接收用户数--一人发送多条消息
select dayinfo,count(*) as tolal_cnt,count(distinct sender_account) as sender_cnt,count(distinct recdiver_account) as recdiver_cntfrom t_msg group by dayinfo 5、统计今日发送消息最多的Top10用户
-- 按天和用户分组求发送用户数--一人发送多条消息
select dayinfo,send_name,count(*) as msg_cntfrom t_msg group by dayinfo,send_name order by msg_cnt desc limit 10; 6、统计今日接收消息最多的Top10用户
-- 按天和用户分组求发送用户数--一人发送多条消息
select dayinfo,recdiver_name,count(*) as msg_cntfrom t_msg group by dayinfo,recdiver_name order by msg_cnt desc limit 10; 7、统计发送人的手机型号分布情况 8、统计发送人的设备操作系统分布情况
1、实际开发中拿到业务需求指标如何下手
2、SQL层面如何编写查询语句
例
需求统计每个城市男女人数与男女平均年龄(表:t_user[id,name,age,sex,city]) 分组字段每个城市、男女 聚合字段人数、平均年龄 count(id)就是统计每个分组中的条数---人数 avg(age)就是统计每个分组中年龄的平均值---平均年龄
3、FineBI实现可视化报表 Apache Hive二 请记住你当下的结果由过去决定你现在的努力在未来见效 不断学习才能不断提高磨炼不断磨炼自己的技能学习伴随我们终生 生如蝼蚁当立鸿鹄之志命比纸薄应有不屈之心。 乾坤未定你我皆是黑马若乾坤已定谁敢说我不能逆转乾坤 努力吧机会永远是留给那些有准备的人否则机会来了没有实力只能眼睁睁地看着机会溜走。
