大模型越来约便宜主要是由于技术的不断进步和竞争的加剧。
文|动点科技
作者|张炯
排版|李瑞子
本文预计阅读时长7分钟
ChatGPT聊天机器人持续进化，近期三则关键消息都预示了这一AI技术迅速、大规模商用的潜力。首先，OpenAI于3月14日推出了GPT-4大模型，该模型不仅支持多模态输出，而且在复杂推理和表现方面超越了基于GPT-3.5的ChatGPT，一经推出即引起广泛使用和传播。其次，百度在3月16日也宣布发布文心一言，一个可以对标ChatGPT的AI聊天机器人产品。同时，在这之前，ChatGPT的母公司OpenAI也于3月1日宣布开放了ChatGPT的API(应用程序接口)，并将使用成本降低了90%。
随着AI技术的不断发展，像GPT这类的大型AI模型的价格也将逐步降低。那为什么AI大模型会越来越便宜呢?
星图比特(StarBitech)创始人张炯与动点科技就此问题进行了探讨。上海星图比特信息技术服务有限公司(StarBitech)成立于2015年，由上海树图区块链研究院与风语筑(603466.SH)联合投资的一家原生智能数字内容资产科技公司。公司日前已获得微软和OpenAI的赞助，将根据中国历史、文化和语言特色，发挥团队在中文自然语言处理和本土合规领域的优势，围绕GPT、DALLE算法以及强化学习的加持，将在对话机器人、视觉内容创作、营销内容创作等国内垂直领域开展AIGC服务，为营销、游戏、动漫、文旅、政府等行业提供人工智能赋能。
01
为什么像GPT这样的大型AI模型变得越来越便宜，其他的主流模型是否也会顺应这个降价的趋势?
大模型越来约便宜主要是由于技术的不断进步和竞争的加剧。OpenAI 表示，gpt-3.5-turbo与ChatGPT产品使用的是相同的模型，它的费用是1000 tokens(约750个词)只需要0.002美元，将GPT-3.5使用成本降低90%。“turbo”代号指的是GPT-3.5的优化、响应速度更快的版本。
Open AI 成本的大幅下降可能来自于多方面的优化，包括模型架构的调整、算法算力和 GPU 的优化、业务层的优化、模型层优化、量化优化、kernel 层优化、编译器层优化等等。
模型架构的调整主要是指通过剪枝、量化、微调等技术来精简模型的大小，帮助提高模型的性能和准确度的同时，也可以减少模型的计算量和参数量，降低推理时间和成本。算法算力和 GPU 的优化是通过使用高效的算法和GPU 并行计算来加速计算，提高计算效率。业务层优化是指优化整个系统性能，如使用缓存技术和预测技术等降低延迟和重复调用，从而提高系统的性能和效率。模型层优化可以通过优化网络结构来降低训练和推理的时间和成本。量化优化通过使用低精度计算来降低计算量和参数量。编译器层优化通过使用高效的编译器来优化代码的执行，从而提高计算效率。
另外，由于越来越多的公司和研究机构涉足AI大模型领域，如google的LaMDA(137B)和PaLM(540B)，DeepMind的Gopher(280B)、BigScience的BLOOM(175B)、Meta的OPT(175B)、英伟达的TNLG v2(530B)以及清华大学的GLM-130B(130B)等，导致市场竞争变得激烈，同时价格竞争也开始变得激烈。这个因素导致AI模型价格不断下降。(括号中的数字表示这些AI模型的参数量)
其他主流的模型是否会顺应这个降价趋势取决于这些模型的规模、性能和需求。如果这些模型的规模和性能与GPT-3模型相当，且市场需求强烈，那么它们也有可能经历价格下降趋势，但是，如果这些模型的规模较小、性能较低，或者市场需求不强，那么它们的价格可能不会大幅下降。长期来看，随着技术的不断发展，以及软硬件技术的进步，处理大量数据和训练模型所需的成本会逐渐降低，大语言模型的价格可能会有所下降。另外，随着越来越多的公司和组织开始使用大语言模型，市场竞争也会推动价格的下降。当然，具体的降价幅度和时间是无法确定的，因为它还取决于市场的供给关系及模型的质量。当然，对于一些高端模型的价格可能会继续保持高价位，因为对于高质量、高性能和高附加值应用场景的模型，可能需要更多的计算资源和专业知识来支持。
02
在降价的同时，这些AI大模型是否变得更强大、聪明了?您是否认同OpenAI CEO Sam Altman 说的新AI摩尔定律：AI智能总量每18个月翻一倍?
我是很认同新AI摩尔定律的，成本的下降和应用的增多同样也会增加可被AI学习的语料和数据，从而进一步的提升AI的能力，从2022年开始，我们认为全球的互联网环境已经进入到一个无时无刻不再进行“图灵测试”的大AI智能时代，和前几年的图像AI不同，语言本文类AI更多的像是人类的大脑，可以影响的范围更广也根深，但目前AI的能力还很大程度取决于硬件，特别是高性能硬件GPU的能力和供给，所以AI的发展和芯片的摩尔定律有很强的正向关联。
03
推动AI大模型成本下降的一些关键因素是什么?
1) 算法的改进：新的算法和技术会不断的迭代和提出，新的算法能更高效地使用计算资源和数据，从而减少训练和推理的成本;
2) 硬件的改进：随着硬件技术提升，例如GPU和TPU等专用芯片的出现，可以提供更高效的计算能力，加速训练和推理过程，从而降低成本;
3) 数据集的规模：数据是AI训练的关键，更大更优质的数据集能够提供更多的信息，从而提高模型的准确性和泛化能力，同时也可以通过更高效的数据处理和存储技术来降低数据成本;
4) 可重用的预训练模型：预训练模型已经成为训练大模型的重要方式，例如BERT和GPT等预训练模型已经充分验证了他们的能力。这些模型可以作为基础模型来训练其他模型，从而减少训练时间和成本;
5) 分布式计算：将训练过程分解为多个任务并在多台计算机上运行，可以大大缩短训练时间和成本。