费斌杰 熵简科技CEO

作者 | 费斌杰 熵简科技CEO

自从去年12月ChatGPT问世以来，AI的发展正式进入快车道，整个行业开始“按日迭代”。从1957年以来，人类在经历了数轮AI浪潮后，这次通用人工智能（AGI）是真的要来了。

(资料图)

我们团队在2月发表了对ChatGPT技术原理的深度剖析，得到了业内专家朋友们的广泛认可。但随着研究的深入，越来越多的问题浮出水面：

ChatGPT强大的一个重要原因是大语言模型的涌现能力（Emergent Abilities），那么涌现能力究竟为何产生呢？

GPT-5会有哪些意想不到的性能表现？

AGI会走向何方，对社会经济活动又会产生怎样的影响？

在这篇文章中，我们针对以上问题进行深入探讨，并且给出尽可能详实的分析过程。本文浓缩了我们团队的研究成果，共分为以下四个部分：

大语言模型的本质：性能强大的无损压缩器

视觉信息是知识的富矿：从文本走向多模态

大数据时代的数据荒：运用合成数据破局

AGI对人类社会经济活动影响：展望与思考

写在前面：熵简科技是一家专注于帮助资管机构实现投研数字化的科技公司，主要客户包括中金、中信、广发、建投、国信、招商、华夏、嘉实、银华、博时、汇添富、兴全、易方达等证券与基金公司。我是熵简科技的创始人费斌杰，但在写下这篇文章的时候，我更多是纯粹作为一个在新技术浪潮下，既兴奋又紧张的见证者和参与者，尽可能客观地评述分析这项新技术对我们行业会带来怎样的影响与冲击。以下分享是我们熵简团队的研究成果，LLM技术发展日新月异，当前时点的分析难免错漏，欢迎各位指正。

大语言模型的本质：性能强大的无损压缩器

在最近OpenAI的学术分享会中，Jack Rae提出了一个重要的论断： 大语言模型的本质，其实是一个性能强大的数据无损压缩器。