发现很多AI文章下面的评论区，一旦提到蒸馏，很快就会有两派人互相攻击。作者指出咱们回到当年，OpenAI刚刚拿出来ChatGPT震撼全网的时刻。作者回顾当时国内投资圈流行一个说法，咱们中国还是不要追了，差距太大了。作者分析后来国外的开源AI圈子冒出来一个想法，如果抓来一个底子还不错的基础模型，让它模仿顶尖模型的一组问答记录，能不能以较低的成本得到顶尖模型的能力。作者指出这套玩法就叫做蒸馏。作者回顾于是开源社区冒出来一大堆形形色色的蒸馏模型，但好景不长，很快人们发现这些蒸馏模型大体上只是学会了顶尖大模型的语言风格。作者分析后来有大神发现，如果只是让模型模仿更高级的模型的问题和答案，不会明显提高能力，但是如果模仿的是推理过程，则会实质性的提高能力。作者指出AI发展路线上出现过许许多多的技术，蒸馏只是这许多技术的之一。……

会员用户请加微信号：baijiashiping，以防失联！