请选择 进入手机版 | 继续访问电脑版
点击联系客服
客服QQ: 客服微信:
查看: 92|回复: 50

DeepMind又战胜了大麻 AI天气预报气象台:GPU1张1秒1小时的天气预测

[复制链接]

1

主题

1

帖子

-7

积分

限制会员

积分
-7
发表于 2021-9-30 14:45:11 | 显示全部楼层 |阅读模式
他来了,他来了!在游戏圈赢麻将的DeepMind又来了!最近,DeepMind在Nature宣布,AI模型在天气预测方面取得了胜利。学术界说:“你说得对。但是为什么连测试数据都没有呢?”说。

最近北方雨下得有点大

对没有看清雨的北方人来说,确实被“水”弄得不知所措。(另一方面)。

因为完全没有“先验经验”,所以这个时候只能完全依靠天气预报!





在围棋和《星际争霸》等游戏领域赢得麻将后,DeepMind将挑战新项目3354预测天气。

DeepMind在过去几年里一直与英国气象厅安静合作,最近发表在《自然》杂志上的论文展示了这一成果。

简而言之,DeepMind设计了一个新的机器学习模型,可以预测未来几小时内是否会下雨。





https://www  . nature.com/articles/s  41586-021-03854-z

结果表明,DeepMind的深度生成模型可以提供更好的预测质量、预测一致性和预测价值。该模型在1,536公里 1,280公里的地区内,以5-90分钟的提前期生成真实且时空一致的预测。

通过50多名气象专家的系统评价,DeepMind的生成模式与其他两种竞争方法相比,占89%的绝对优势,在准确性和实用性方面均名列第一。

短期天气预测

今天的天气预测由强大的数值天气预报(NWP)系统驱动。通过求解物理方程,数值天气预报系统可以在几天前得到地球规模的预测。但是,他们很难在2小时内做出高分辨率的预测。

即时预报填补了这一重要时间段的性能空白。随着气象探测的进步,高分辨率雷达可以提供高频(1公里分辨率下每5分钟)测量的地面降水量数据。





过去20分钟的观测雷达被用来提供未来90分钟的概率预测

传统的短期预测方法,如STEPS和PySTEPS,采用NWP方法来考虑不确定性,但根据具有雷达信息的平流方程对降水进行建模。

在该模型中,运动场被推测为光流,柔软惩罚与平流预报相似,随机扰动被添加到运动场和强度模型中。这些随机模拟可以获得概率性和确定性的预测,适用于从公里大小到流域大小的各种空间尺寸。

基于深度学习的方法不必依赖二流方程。通过大量雷达观测数据对这些模型进行训练,可以更好地模拟对流启动和降水等非线性降水现象。这些方法直接预测各网格位置的降水比例,模型是为确定性和概率预测而开发的。

目前,深度学习系统发布的预报在降水逐渐模糊的情况下显示出不确定性,不包括小规模气象模型。另外,传统方法侧重于特定位置的预测,而不是整个降水场的概率预测,因此无法在多个空间和时间集中同时提供一致的预测结果,从而限制了实用性。

为此,DeepMind开发了一种利用深度生成模型(DGMR)进行概率预测的观察驱动方法。DGMR是学习数据概率分布的统计模型,可以很容易地从学习的分布中生成样本。因为构建模型本质上是概率,所以可以从给定历史雷达的条件分布模拟很多样本来生成预测集。另外,DGMR不仅可以从观察数据中学习,还可以表示各种空间和时间尺度的不确定性。

即时预报的生成模型

DeepMind使用生成模型的方法,以过去的雷达为基础
,对未来的雷达进行详细和可信的预测。 有了这样的方法,既可以准确地捕捉大规模的事件,同时也可以生成许多备选的降雨情景(称为集合预测),使降雨的不确定性得到探索。

DeepMind的模型也十分擅长中到大雨事件的预测,与其他竞争方法相比有着明显的改进。DeepMind表示,在经过英国国家气象局(Met Office)的50多名专家气象学家进行了认知任务评估之后,与广泛使用的预测方法相比,在89%的情况下专家们会把DeepMind的方法评为首选。



生成法(DGMR)比平流法(PySTEPS)更好地捕捉了环流、强度和结构,更准确地预测了东北地区的降雨和运动。与确定性的深度学习方法(UNet)不同,DGMR还产生了尖锐的预测。



生成法(DGMR)与平流法(PySTEPS)相比,平衡了降水的强度和范围,平流法的强度往往太高,而且不像确定性的深度学习方法(UNet)那样模糊不清。

在给定的时间点T,使用基于雷达的地表降水估计值XT,在给定的M个过去的雷达场,预测N个未来的雷达场,潜在的随机向量Z和参数θ,方程为:



对潜在变量的整合确保了模型做出的预测在空间上具有依赖性。学习是在用于降水预测的条件生成对抗网络(GAN)的算法框架内进行的。 四个连续的雷达观测数据(之前的20分钟)被用作发生器的背景,对未来降水的多个实现进行采样,每个实现为18帧(90分 钟)。



DGMR能更好地预测较长时段的空间覆盖和对流,同时不会高估强度

a. 模型结构示意图;b. 预测的地理背景;c. 不同模型在T+30、T+60和T+90分钟提前量的单一预测。

学习由两个损失函数和一个正则化项驱动,通过比较真实的雷达观测数据和模型生成的数据来指导参数调整。

第一个损失是由空间判别器定义的,它是一个卷积神经网络,用于区分单个观察到的雷达场和生成的雷达场,确保空间一致性并阻止模糊的预测。第二个损失是由时间判别器定义的,它是一个三维(3D)卷积神经网络,用于区分观察到的和生成的雷达序列,施加时间上的一致性并惩罚跳跃的预测。为了提高准确性,DeepMind引入了一个正则化项,从而惩罚真实雷达序列和模型预测平均值(用多个样本计算)之间的网格单元分辨率的偏差。

最后,DeepMind为生成器引入了一个完全卷积的潜在模块,允许对大于训练时使用的大小的降水场进行预测,同时保持时空一致性。

DeepMind在2016至2018年间英国雷达记录的降水事件的大型数据集上训练其DGM。训练完成后,它可以在一秒钟内提供预报,并在单个NVIDIA V100 GPU上运行。

与其他流行的预报方法(包括机器学习模型)相比,DeepMind的DGM在长达1,536公里乘1,280公里的区域产生了更真实和一致的预测,提前期为5至90分钟。

结果评估
在使用CSI进行比较时,所有三个深度学习系统产生的预测都比PySTEPS的基线明显更准确。 使用交替的星期作为独立单位的配对置换测试来评估统计学意义,发现DGMR与PySTEPS相比,在所有的降水阈值上都具有更好的效果(n=26,P



a. 20个样本的CSI,降水阈值为1毫米/小时(左)、4毫米/小时(中)和8毫米/小时(右);b. 所有模式在T + 30分钟(左)和T + 90分钟(中和右)的2019年预测的径向平均功率谱密度。

从上图中的b可以看到,DGMR和PySTEPS的光谱特征都与观测结果相吻合,但轴向注意力和UNet模式产生的预报具有中、小尺度的降水变化,并随着提前期的增加而减少。

由于它们产生了模糊的预测,轴向注意力和UNet nowcasts的有效分辨率远远低于数据的1公里×1公里分辨率。在T+90分钟时,UNet的有效分辨率为32公里,轴向注意力的有效分辨率为16公里,降低了这些预报对气象学家的价值。

对于概率验证来说,下图中b显示了平均和最大降水率聚集在越来越大的区域31的CRPS。当在网格分辨率水平上测量时,DGMR、PySTEPS和轴向注意力的表现相似。

随着空间聚集的增加,DGMR和PySTEPS提供了持续的强大性能,其中DGMR在最大降水上表现更好。轴向注意力模型对于较大的聚集区来说明显较差,在规模为4及以上的情况下,其性能低于所有其他方法。使用交替的星期作为独立单位,成对的置换检验表明,DGMR和轴向注意力温度选择之间的性能差异是显著的。



网格分辨率(左)、4公里集合(中)和16公里集合(右)的CRPS得分

a. 使用平均雨量的集合CRPS;b. 使用最大雨量的集合CRPS。

与其他方法相比,生成式方法优于(在CSI上)现有的STEPS预测方法,提供的概率预测更加准确,并且在空间和时间尺度上保留了降水的统计特性,而其他深度学习方法是以它们为代价的。

此外,DeepMind还在经济和认知方面进行了分析,结果表明DGMR可以让决策价值得到提高。



虚线表示Clopper-Pearson的95%置信区间。气象学家明显倾向于DGMR而不是其他方法。

学界似乎并不买账
然而,除了这50位专家以外,其他科学家并没有被这些结果说服。

雷丁大学的气象学家Peter Clark说:「我在这里没有看到预测方面的任何革命。依靠主观评价来证明模型的有效性只能使让人感到困惑。」此外,他还表示:「我仍然惊讶于他们没有选择使用一个客观的分数。关于如何进行评估,甚至是实际评估的内容,几乎没有详细说明。」

在论文中,DeepMind也并没有给出新模型与现有模型的准确性相比具体提升的数据。对此,DeepMind的高级科学家和论文作者Shakir Mohamed表示,「我们想采取这种更加谨慎的方法,而不是报告一个数字。」

同样是来自雷丁大学的气象学家Rob Thompson则说:「与其说DeepMind的研究完全颠覆了我们所知道的雨水预报,不如说它只是提供了一种不同的方法。它的表现与当前其他尖端类型的模型类似,可能稍微好一点,但并没有领先很多,」

DeepMind的成员说,目前还没有任何立即投入使用的计划,但团队希望最终能够利用模型为今后的天气报告提供真实的信息。

话说回来,天气预报员会不会下岗?

这倒不用担心,DeepMind的研究科学家同时也是论文的作者Suman Ravuri表示,人工智能不会在这个领域取代人类:「天气预测需要专家和人类参与其中,以确保在预测方面的理解是合理的,然后将其传达给公众。」

参考资料
https://www.nature.com/articles/s41586-021-03854-z

https://deepmind.com/blog/article/nowcasting

https://www.wired.co.uk/article/deepmind-weather-nowcasting

本文来自微信公众号“新智元”(ID:AI_era),作者:新智元,编辑:好困,。
回复

使用道具 举报

1

主题

377

帖子

-98

积分

限制会员

积分
-98
发表于 2021-9-30 15:03:21 | 显示全部楼层
前排支持下分享
回复

使用道具 举报

1

主题

405

帖子

-153

积分

限制会员

积分
-153
发表于 2021-9-30 15:30:14 | 显示全部楼层
支持一下
回复

使用道具 举报

1

主题

377

帖子

-131

积分

限制会员

积分
-131
发表于 2021-9-30 15:50:57 | 显示全部楼层
LZ说的很不错
回复

使用道具 举报

1

主题

365

帖子

-164

积分

限制会员

积分
-164
发表于 2021-9-30 16:11:47 | 显示全部楼层
过来看看的
回复

使用道具 举报

1

主题

351

帖子

-126

积分

限制会员

积分
-126
发表于 2021-9-30 16:32:31 | 显示全部楼层
找到好贴不容易,我顶你了,谢了
回复

使用道具 举报

1

主题

346

帖子

-196

积分

限制会员

积分
-196
发表于 2021-9-30 16:53:26 | 显示全部楼层
不错,支持下楼主
回复

使用道具 举报

0

主题

416

帖子

-201

积分

限制会员

积分
-201
发表于 2021-9-30 17:13:57 | 显示全部楼层
路过,支持一下啦
回复

使用道具 举报

0

主题

394

帖子

-194

积分

限制会员

积分
-194
发表于 2021-9-30 17:34:29 | 显示全部楼层
帮你顶下哈!!
回复

使用道具 举报

1

主题

381

帖子

-141

积分

限制会员

积分
-141
发表于 2021-9-30 17:58:23 | 显示全部楼层
前排支持下分享
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|无图版|手机版|小黑屋|汕头@IT精英团

Powered by Discuz! X3.4 © 2021 Comsenz Inc.

GMT+8, 2021-10-25 03:08 , Processed in 0.265201 second(s), 19 queries .

快速回复 返回顶部 返回列表