《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 設(shè)計(jì)應(yīng)用 > 基于Flink流處理框架的FFT并行及優(yōu)化
基于Flink流處理框架的FFT并行及優(yōu)化
信息技術(shù)與網(wǎng)絡(luò)安全
鐘旭陽1，2，徐 云1，2
(1.中國(guó)科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥230026； 2.安徽省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，安徽 合肥230026)
摘要： FFT作為雷達(dá)信號(hào)處理的關(guān)鍵計(jì)算步驟之一，本質(zhì)上是一個(gè)基于數(shù)據(jù)流的處理過程。以往的FFT計(jì)算大多集中在通用計(jì)算平臺(tái)上進(jìn)行并行計(jì)算實(shí)現(xiàn)，計(jì)算系統(tǒng)存在擴(kuò)展性和魯棒性問題。隨著科學(xué)計(jì)算應(yīng)用在Flink上的逐漸興起，將FFT在Flink上進(jìn)行并行和優(yōu)化，不僅可以很好地利用框架自身良好的系統(tǒng)擴(kuò)展性和魯棒性，同時(shí)也能使其具備高吞吐的實(shí)時(shí)性能?；贔link對(duì)FFT流處理算法流程進(jìn)行了設(shè)計(jì)和優(yōu)化，同時(shí)針對(duì)Flink對(duì)適用于FFT計(jì)算的緩存窗口機(jī)制進(jìn)行了設(shè)計(jì)，實(shí)驗(yàn)結(jié)果表明，改進(jìn)后FFT并行算法在多個(gè)大規(guī)模點(diǎn)數(shù)下計(jì)算速度均有所提高。
中圖分類號(hào)： TP311.1
文獻(xiàn)標(biāo)識(shí)碼： A
DOI： 10.19358/j.issn.2096-5133.2021.08.009
引用格式： 鐘旭陽，徐云. 基于Flink流處理框架的FFT并行及優(yōu)化[J].信息技術(shù)與網(wǎng)絡(luò)安全，2021，40(8)：53-59.
FFT parallel algorithm and optimization based on Flink stream processing framework
Zhong Xuyang1，2，Xu Yun1，2
(1.School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China； 2.Key Laboratory of High Performance Computing of Anhui Province，Hefei 230026，China)
Abstract： As one of the key calculation steps of radar signal processing, FFT is essentially a processing process based on data stream. In the past, most of the previous FFT calculations concentrated on the implementation of parallel calculations on a general-purpose computing platform, and the computing system has problems with scalability and robustness. With the increasing popularity of scientific computing applications on Flink, parallelizing and optimizing FFT on Flink can not only make good use of the framework′s own strong system scalability and robustness, but also enable it to have high-throughput real-time performance. Based on Flink, this paper designs and optimizes the FFT stream processing algorithm flow. At the same time, it designs a buffer window mechanism suitable for FFT calculation in Flink. The experimental results show that the improved FFT parallel algorithm has a better calculation speed at multiple large-scale points.
Key words : FFT parallel algorithm；radar signal processing；distributed stream processing；Apache Flink

0 引言

快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)是實(shí)現(xiàn)離散傅里葉變換及其逆變換的算法。FFT使用分而治之的主要思想，其主要目的是將一個(gè)復(fù)雜的大問題分解成多個(gè)簡(jiǎn)單的小問題，然后分別解決這些小問題[1]。FFT在科學(xué)計(jì)算領(lǐng)域具有極其重要的地位[2]。利用FFT能夠在計(jì)算離散傅里葉變換時(shí)大大減少所需要的乘法次數(shù)，并且FFT點(diǎn)數(shù)規(guī)模越大，F(xiàn)FT算法所能夠節(jié)省的計(jì)算量就越顯著，因此FFT廣泛應(yīng)用于數(shù)據(jù)信號(hào)處理、地震預(yù)報(bào)、石油勘探等領(lǐng)域。

已有的FFT分布式計(jì)算方法大多基于MapReduce批處理系統(tǒng)[1，3-5]，其中FFT計(jì)算作為一個(gè)整體，在某一個(gè)轉(zhuǎn)換操作中直接計(jì)算來自上一個(gè)操作的整個(gè)輸出數(shù)據(jù)，忽視了FFT計(jì)算特性的同時(shí)，還需要等待較長(zhǎng)時(shí)間才能延遲得到處理結(jié)果。目前并未有成熟的、基于流粒度的對(duì)FFT的流處理分布式算法并行優(yōu)化相關(guān)研究。且現(xiàn)如今Flink分布式流處理框架大都用于社交網(wǎng)絡(luò)等領(lǐng)域中簡(jiǎn)單的數(shù)據(jù)項(xiàng)統(tǒng)計(jì)應(yīng)用，對(duì)于FFT此類耗時(shí)大、數(shù)據(jù)量大的科學(xué)計(jì)算問題并不適用，因此需要對(duì)Flink相關(guān)的機(jī)制進(jìn)行應(yīng)用和改造，使得其符合FFT計(jì)算的要求。



本文詳細(xì)內(nèi)容請(qǐng)下載：http://ihrv.cn/resource/share/2000003725





作者信息：

鐘旭陽1，2，徐  云1，2

(1.中國(guó)科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥230026；

2.安徽省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，安徽 合肥230026)


此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。