ChatGPT自问世以来,立刻就成为全球科技领域关注的热点,据新华社报道,ChatGPT推出约两个月后,活跃用户即已达到1亿,成为历史上增长最快的消费者应用程序。有学者甚至把它同蒸汽机的发明、电力的应用、个人计算机和互联网的发明相提并论,认为以ChatGPT为代表的人工智能技术,将极大推动生产力的发展,引领人类社会的又一次工业革命,推动社会产生重大变革。也有人认为,ChatGPT并不是取得突破性的技术革命,只不过是互联网时代的又一次概念炒作。那么,ChatGPT到底是什么,会为我们带来哪些挑战和机遇?

　　支撑ChatGPT运行的到底是什么?

　　ChatGPT是新一代的自然语言处理模型。语言模型,故名思义,就是用来处理人类语言的。当人们把一段文字输入语言模型后,它经过分析处理,输出相对应的结果。比如有用于翻译外文的翻译模型,用于对内容进行分类的文本分类模型,用于检索内容的文本匹配模型等,而ChatGPT是一个生成式的语言模型。所谓生成式语言模型,简单来说,就是一个聊天机器人。当你输入一段文字后,它根据对文字含义的理解,输出一段对应的回答。类似这样的聊天机器人在互联网刚刚兴起的时候就有,粗看起来并没有什么特别的地方。但是ChatGPT的不同之处在于,它生成的文字并不是由人事先设定好的“标准答案”,它的每一次回答都是经过“思考”后“创作”的结果。

　　ChatGPT之所以具有如此惊艳的“思考”和“创作”能力,正是建立在大数据、大模型和大算力的基础之上。据推测,ChatGPT学习了数以亿计单词量的来自书籍、文章、新闻、网页、博客,以及维基百科等载体的各类资源,这些内容涵盖了人类社会的政治、经济、文化、社会、军事、历史等各个方面。但ChatGPT不是简单地复制和记录所学习的内容,它是通过深度学习技术和自注意力机制来训练自己。所谓深度学习,就是用计算模型模拟一种类似人类神经系统的运行机制,通过学习不断更新模型参数。ChatGPT在学习过程中,会通过根据上文猜下文的方式,来不断摸索所学内容的“规律”,在这个过程中,它会对自身模型中的约1750亿个参数进行反复修正,直到它认为根据上文所猜出的下文从统计规律来看是最合适的时候,参数才趋于稳定。换句话说,它找到了所学内容的“内在规律”,一个训练成熟的语言模型就完成了。值得注意的是,ChatGPT之所以从众多语言模型中脱颖而出还在于它使用了一种经过改良的自注意力机制。在这种机制下,它会判断出一句话之中需要重点关注的内容是哪些,能更好地联系上下文,联系提出的问题和它学习的内容,从而给出更合适的答复。学习如此大规模的数据,且每一次学习都要更新和调整千亿数量级的参数,在投入使用后,面对海量问题快速作出响应,这离不开大算力的支持。据推测,ChatGPT的总算力消耗约为 3640PF-days(假设每秒计算一千万亿次,需要计算3640天),需要7到8个投资规模30亿、算力500P的数据中心才能支撑运行,其单次训练成本超过千万美元。

ChatGPT国内中文版官网入口地址:https://ai.cy211.cn/