• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

关于java:Fllink实时计算运用一概述与应用场景

java 搞代码 3年前 (2022-02-14) 31次浏览 已收录 0个评论

1. Flink概述

  • Flink是什么

    Flink是一个面向数据流解决批处理分布式开源计算框架。

  • 无界流VS有界流

    任何类型的数据都能够造成流数据,比方用户交互记录, 传感器数据,事件日志等等。

    Apache Flink 善于解决无界和有界数据集。 准确的工夫管制和有状态的计算,使得 Flink可能运行任何解决无界流的利用

    流数据分为无界流和有界流

    1) 无界流:有定义流的开始,但没有定义流的完结, 会不停地产生数据,无界流采纳的是流解决形式。

    2) 有界流:有定义流的开始, 也有定义流的完结, 须要在获取所有数据后再进行计算,有界流采纳的是批处理形式。

  • 编程模型

    DataSet 个别用来解决有界流数据。

    DataStream个别用来解决无界流数据。

2. 利用场景-智能举荐

什么是智能举荐?

定义: 依据用户行为习惯所提供的数据, 零碎提供策略模型,主动举荐合乎用户行为的信息。

例举:

比方依据用户对商品的点击数据(工夫周期,点击频次), 举荐相似的商品;

依据用户的评估与满意度, 举荐适合的品牌;

依据用户的应用习惯与点击行为,举荐相似的资讯。

利用案例:

  1. 小红书举荐零碎

  2. 实时流解决

  3. Flink解决(新一代大数据处理引擎)

3. 利用场景-实时数仓

1)什么是实时数仓

数据仓库(Data Warehouse),可简写为DW或DWH,是一个宏大的数据存储汇合,通过对各种业务数据进行筛选与整合,生成企业的剖析性报告和各类报表,为企业的决策提供反对。实时仓库是基于Storm/Spark(Streaming)/Flink等实时处理框架,构建的具备实时性特色的数据仓库。

2)利用案例

剖析物流数据, 晋升物流解决效率。

3)阿里巴巴菜鸟网络实时数仓设计:

4)数仓分层解决架构(也称流式ETL):

ODS -> DWD -> DWS -> ADS

ODS(Operation Data来源gao*daima.com搞@代#码网 Store):操作数据层, 个别为原始采集数据。

DWD(Data Warehouse Detail) :明细数据层, 对数据通过荡涤,也称为DWI。

DWS(Data Warehouse Service):汇总数据层,基于DWD层数据, 整合汇总成剖析某一个主题域的服务数据,个别是宽表, 由多个属性关联在一起的表, 比方用户行为日志信息:点赞、评论、珍藏等。

ADS(Application Data Store): 利用数据层, 将后果同步至RDS数据库中, 个别做报表出现应用。

4. 利用场景-大数据分析利用

  1. IoT数据分析

    1) 什么是IoT

    物联网是新一代信息技术,也是将来倒退的趋势,英文全称为: Internet of things(IOT),顾名思义, 物联网就是万物相联。物联网通过智能感知、辨认技术与普适计算等通信感知技术,广泛应用于网络的交融中,也因而被称为继计算机、互联网之后世界信息产业倒退的第三次浪潮。

    2) 利用案例

    物联网设施经营剖析:

    华为Iot数据分析平台架构:

  2. 智慧城市

    城市中汽车越来越多, 川流不息,高德地图等APP通过技术手段采集了越来越多的摄像头、车流的数据。

    但路线却越来越拥挤,越来越多的城市开始通过大数据技术, 对城市履行智能化治理。

    2018年, 杭州采纳AI智慧城市,均匀通行速度进步15%,监控摄像头日报警次数高达500次,辨认准确率超过92%,AI智慧城市通报占整体95%以上,在中国城市交通堵塞排行榜, 杭州从中国第5名降至57名。

  3. 金融风控

    危险是金融机构业务固有个性,与金融机构相伴而生。金融机构盈利的起源就是承担风险的危险溢价。

    金融机构中常见的六种危险:市场危险、信用风险、流动性危险、操作危险、名誉危险及法律危险。其中最次要的是市场危险和信用风险

    线上信贷流程,通过后盾大数据系统进行反欺诈和信用评估:

  4. 电商行业

    用户在电商的购物网站数据通过实时大数据分析之后, 通过大屏汇总展现, 比方天猫的双11购物流动,通过大屏, 将全国上亿买家的订单数据可视化,实时性的动静展现,蕴含总览数据,流式TopN数据,多维区域统计数据等,极大的加强了对海量数据的可读性。

    TopN排行:

    区域统计:

本文由mirson创作分享,如需进一步交换,请加QQ群:19310171或拜访www.softart.cn


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:关于java:Fllink实时计算运用一概述与应用场景

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址