ai计算四年之内的数学题(ai计算四年之内的数量)
我们知道,在过去的几年里,AI实验使用的计算能力比以前多得多。然而,就在上个月,OpenAI进行的一项调查对这一发展速度做出了一些初步估计。通过比较AlphaGo Zero和AlexNet,
他们发现现在最大的实验是6年前最大实验规模的30万倍。每年,这里最大的测试规模都呈指数增长,每3.5个月翻一番。
按照这种AI计算趋势,实验的增长速度是惊人的,值得一些分析。本文将讨论两个问题。第一是如果实验的规模还是增长这么快,很快就会变得难以承受,所以这种趋势会逐渐结束。除非经济完全重塑,
否则,这种趋势最多只能持续3.5到10年,取决于支出水平和计算成本如何变化。第二个问题是,如果这种趋势能再保持3.5年,用于AI实验的计算量将超过一些有趣的里程碑。特别是,
一个实验所用的计算量,将超过用尖峰神经元模拟人脑18年所需的总量。一般来说,我们可以说,如果给定相同的效率算法,这种趋势将超过达到成人智力水平所需的水平。在第(1)和第(2)款中,
我将相应地讨论这些问题,在第(3)节,我将讨论这一分析的局限性,并权衡这项工作将如何影响AGI的预测。
纵轴:AI训练所需的计算量,单位为1000亿次浮点运算。
要搞清楚这种AI计算趋势在经济上能持续多久,我们需要知道三件事:测试成本的增长率,当前测试的成本,下一次测试能承担的最大支出。
最大的实验规模每3.5个月翻一番(大约一个数量级,即每年10次)。时间度量=LOG(10,2)*3.5/12=0.9689年,约1年),
但是,每计算单位的成本大约每4-12年降低一个数量级(长期趋势是每4年提高成本10倍,而最近趋势是每12年提高成本10倍)。因此,最大的测试成本每1.1-1.4年增加一个数量级。
目前最大的实验是AlphaGo Zero,其成本可能是1000万美元。
当然,实验的规模取决于谁来做。最富有的玩家可能是美国政府。此前,美国将1%的GDP用于曼哈顿项目,而在阿波罗计划实施期间,美国将0.5%的GDP用于美国国家航空航天局。
那么我们假设AI实验最大的支出也能占到GDP的1%,也就是2000亿美元。鉴于一个数量级的增长需要1.1-1.4年,初步测试规模为1000万美元,
那么根据AI计算的趋势预测,在5-6年内,我们会看到一个耗资2000亿美元的实验。那么,鉴于未来(美国)类似的经济形势,将是这种AI计算趋势的终结。
我们也可以考虑如果政府不参与,这种趋势会持续多久。鉴于民营企业规模小,遇到经济门槛会更快。其中最大的是科技公司:亚马逊和谷歌目前每年的R&D预算约为200亿美元。
那么我们可以假设政府之外最大的独立实验是200亿美元。那么私人部门跟上AI计算潮流的时间大概是政府的3/4,大概是3.5到4.5年。
另一方面,特定硬件的研发也可能使计算成本更低,从而导致趋势更长。如果某种新的硬件让计算便宜1000倍,打破摩尔性价比定律,这个经济门槛可以维持得更久一点,大概3-4年。
为了在真正长的时间内(超过10年)保持AI计算的趋势,经济产出必须每年以一个数量级的速度增长。这确实是一个非常极端的情况,但也不是不可能。
主要是看一些极其强大的AI技术能否带来大规模的经济效益。
当然,要知道这些数字都是上限,所以不排除AI计算的趋势会更快停止(比如AI研究的经济性被证明不及预期),不管是突然停止还是慢慢停止。
相关资讯
-
怎么看行业趋势图(怎么看行业趋势分析)详细阅读
您如何看待行业趋势?我们认为,未来十年,中国经济增长的主要动力将是消费升级,这是一个长期趋势。在这个过程中,我们看到了很多新的机遇。比如在互联网领域,我们看到了…
2024-04-24 20:44:32 901
-
杠杆倍数怎么计算公式图解(杠杆倍数怎么计算公式的)详细阅读
杠杆率如何计算?我们知道,杠杆率是衡量企业融资能力的重要指标,也是衡量银行信用风险的重要指标。那么,什么是杠杆率呢?简单来说,就是借款人的资金成本。例如,假设一…
2024-04-24 19:00:43 676
-
南京公积金贷款额度计算公式2023(南京公积金贷款额度计算公式表)详细阅读
南京公积金贷款金额计算公式:借款人申请住房公积金贷款需提供以下材料:身份证、户口簿、结婚证、离婚证、房产证、购房合同、银行对账单、收入证明、社会保障金借款人不符…
2024-04-24 18:07:46 528
-
嘉澳环保股份有限公司怎么样(嘉澳环保股份有限公司招聘)详细阅读
嘉奥环保股份有限公司。该公司主要从事垃圾焚烧发电项目的投资、建设和运营。是国内首家获得中国环境保护产业协会颁发的“绿色环保企业”称号的企业。目前,公司已建成年处…
2024-04-24 16:21:48 648
-
私募基金如何计算提成比例的(私募基金如何计算提成比例多少)详细阅读
私募基金如何计算佣金比例?私募基金管理人应如何确定自己的收益分配方式?这些问题都是投资者关心的。本期我们邀请北京大学法学院教授、博士生导师刘俊杰为大家一一解答。…
2024-04-24 12:17:12 224