隔着超薄肉丝进入小说_男女刺激性视频大片_女教师的诱波多野结衣_一级欧美过瘾大片

當前位置: 首頁 / 技術干貨 / 正文
怎么提高Flink的執行性能(代碼方面)

2022-07-29

序列化 類型 數據 flink

怎么提高Flink的執行性能(代碼方面)

通用的優化方式

4. 一些基數較少的并且本身較長維度可以采用數據字典的方式減少網絡傳輸及內存占用、gc開銷。

數據類型和序列化

Flink支持java、scala基本數據類型,以及java Tuples、scala Case Class、Flink Value,對于這些數據類型,flink會采用自身的序列化反序列化器去做序列化操作,對于其他數據類型,flink會采用kyro方式序列化,kyro序列化方式效率會比flink自帶的方式低很多。因此在數據序列化方面我們可以做如下工作

3. 如果使用了lambda或者泛型的話,顯式的指定類型信息讓flink類型提取系統識別到以提升性能。

多組相同keyby可使用DataStreamUtils

在多組keyby的場景可以采用DataStreamUtils.reinterpretAsKeyedStream的方式避免多次shuffle操作

盡量減少狀態的大小

3. checkpoint頻率不宜過高,超時時間不要太長,可以異步化的地方盡量異步化

 

好程序員公眾號

  • · 剖析行業發展趨勢
  • · 匯聚企業項目源碼

好程序員開班動態

More+
  • HTML5大前端 <高端班>

    開班時間:2021-04-12(深圳)

    開班盛況

    開班時間:2021-05-17(北京)

    開班盛況
  • 大數據+人工智能 <高端班>

    開班時間:2021-03-22(杭州)

    開班盛況

    開班時間:2021-04-26(北京)

    開班盛況
  • JavaEE分布式開發 <高端班>

    開班時間:2021-05-10(北京)

    開班盛況

    開班時間:2021-02-22(北京)

    開班盛況
  • Python人工智能+數據分析 <高端班>

    開班時間:2021-07-12(北京)

    預約報名

    開班時間:2020-09-21(上海)

    開班盛況
  • 云計算開發 <高端班>

    開班時間:2021-07-12(北京)

    預約報名

    開班時間:2019-07-22(北京)

    開班盛況
IT培訓IT培訓
在線咨詢
IT培訓IT培訓
試聽
IT培訓IT培訓
入學教程
IT培訓IT培訓
立即報名
IT培訓

Copyright 2011-2023 北京千鋒互聯科技有限公司 .All Right 京ICP備12003911號-5 京公網安備 11010802035720號