大模型也需要把脑子和嘴分开
我跟大模型说，怀疑现在和大模型聊天不自然是架构给训练带来的局限导致的。它立刻写了一篇长文，从几个角度分析了我的怀疑。然而我只是起了个头，正常的反应可能是「哪里不自然？」或者「说来听听」。我把这一点告诉它，它又变成了采访主持人，每次先复述我的观点，再问一句让我继续展开。从抢着讲课到只会递话筒，两个方向都不太像聊天。
普通应用会把展示给用户的界面和供开发者调试的日志分开。用户不需要看见程序内部发生的所有事情，界面会按照用户理解起来方便的方式组织信息。我怀疑大模型的回答承担了太多类似日志的职责：它既要参与交流，又要展示自己理解了什么、考虑了什么，方便训练时评价。一句「说来听听」很难体现模型究竟有多聪明，于是它总想把知道的都说出来。推理链已经把一部分内心活动和对外表达分开了，但我觉得还可以分得更彻底。
人在讨论的时候，脑子和嘴经常是不同步的。脑海中的想法可以突然一跃千里，表达和理解却有吞吐量的上限。想到之后，还要站在对方的立场上，考虑怎么说才容易理解，以及现在适不适合说。因此，我想让每个聊天背后有两个模型：后台负责展开推理，前台负责理解讨论的状态和组织表达。后台输出的想法是前台参与交流的素材，可以陆续产生，也可以被后续的思考推翻。前台则根据对方已经听到了什么、正在说什么，决定接下来如何参与。这部分工作不见得比后台简单，前台模型也不见得应该更小。
这样的分工可以让「想到了什么」和「此刻应该说什么」分别成为训练的目标。后台想到五点，前台可以先说一点，听完用户的回应，剩下四点可能就都不用说了。前台也可以先应一句「好的我想想」，然后安静一会儿。什么时候说话、什么时候等对方继续，甚至什么时候什么都不做，都应该是模型能够学习的行为。一条回复是否全面，很难说明这段交流进行得好不好。
我想要的效果其实很简单：把双方发的气泡截出来，看上去就是两个人的聊天记录。用户可以随口起个头，中途改口，想到什么再补一句。如果模型总要一口气交付一篇完整答案，用户也就只好把每句话都写成需求文档了。
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Maecenas lacinia tellus sed massa iaculis maximus. Maecenas aliquam leo eget justo cursus ultricies. In tempor libero metus. Duis eu volutpat leo. Praesent dolor est, eleifend vel imperdiet sit amet, fermentum at mauris. Duis non erat porttitor, efficitur eros eu, molestie urna. Vestibulum eleifend enim et est ullamcorper pretium sit amet sit amet lectus. Aliquam erat volutpat. Morbi condimentum mauris quis dapibus fermentum. Mauris mollis nulla id enim finibus, aliquet sagittis eros molestie. Sed pretium est placerat iaculis venenatis.
Cras nec fermentum metus. Praesent dignissim auctor urna quis commodo. Quisque porta vulputate est, vel sollicitudin tellus blandit ac. Nam id neque pharetra, elementum quam rutrum, fermentum dui. Vestibulum ante ipsum primis in faucibus orci luctus et ultrices posuere cubilia curae; Vestibulum nec mauris dui. Nam sit amet pretium tortor.
Nulla hendrerit libero sit amet tincidunt luctus. Donec efficitur velit ut lectus interdum dictum. Mauris non erat egestas, ultricies quam non, tincidunt orci. Morbi egestas augue ac dui aliquam dapibus. Nunc viverra justo hendrerit nisl luctus pretium. Nam dictum pellentesque ante, pulvinar accumsan mauris egestas quis. Etiam tristique justo vel ligula sodales, sed fringilla arcu convallis. Nullam pretium bibendum nisi, et consequat felis lobortis eleifend. Nullam nec quam volutpat mauris lacinia mattis. Quisque venenatis enim nisl, aliquam vehicula elit viverra ut. Nam imperdiet, sem nec tincidunt molestie, sem lacus pharetra nunc, et aliquet risus lectus ut metus. Nunc auctor pellentesque orci, lobortis convallis sem pharetra nec.
Sed malesuada, eros at lacinia imperdiet, nunc diam congue magna, vel dapibus tellus massa ut turpis. Suspendisse fringilla nisl a dictum consequat. Nunc cursus, ligula at vulputate sagittis, nulla risus elementum lorem, ac finibus magna metus a lorem. Sed cursus, nibh tempus volutpat sodales, libero lacus pellentesque enim, nec condimentum tellus ante sed turpis. Vestibulum nibh diam, aliquam eget nisi faucibus, placerat ultrices nisi. Nulla molestie maximus ipsum, et commodo mauris tristique sed. Donec laoreet est nisl, id malesuada diam interdum fringilla.
Donec porttitor nisi eget arcu sollicitudin consequat. Morbi suscipit magna sem, ac maximus tortor pellentesque eu. Nulla lacinia, diam faucibus facilisis ultrices, nisi est aliquam arcu, non iaculis est mauris non felis. Nunc et velit massa. Nulla nec purus nec nulla cursus dictum eget in eros. Etiam elit libero, lobortis eu tincidunt commodo, bibendum et dui. Donec pretium a purus at eleifend. Interdum et malesuada fames ac ante ipsum primis in faucibus. Curabitur vestibulum, diam nec porttitor varius, turpis sem rhoncus ex, quis malesuada ex est non tellus. Vestibulum dictum quam laoreet lectus blandit, vel tincidunt lectus ornare.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Maecenas lacinia tellus sed massa iaculis maximus. Maecenas aliquam leo eget justo cursus ultricies. In tempor libero metus. Duis eu volutpat leo. Praesent dolor est, eleifend vel imperdiet sit amet, fermentum at mauris. Duis non erat porttitor, efficitur eros eu, molestie urna. Vestibulum eleifend enim et est ullamcorper pretium sit amet sit amet lectus. Aliquam erat volutpat. Morbi condimentum mauris quis dapibus fermentum. Mauris mollis nulla id enim finibus, aliquet sagittis eros molestie. Sed pretium est placerat iaculis venenatis.
Cras nec fermentum metus. Praesent dignissim auctor urna quis commodo. Quisque porta vulputate est, vel sollicitudin tellus blandit ac. Nam id neque pharetra, elementum quam rutrum, fermentum dui. Vestibulum ante ipsum primis in faucibus orci luctus et ultrices posuere cubilia curae; Vestibulum nec mauris dui. Nam sit amet pretium tortor.
Nulla hendrerit libero sit amet tincidunt luctus. Donec efficitur velit ut lectus interdum dictum. Mauris non erat egestas, ultricies quam non, tincidunt orci. Morbi egestas augue ac dui aliquam dapibus. Nunc viverra justo hendrerit nisl luctus pretium. Nam dictum pellentesque ante, pulvinar accumsan mauris egestas quis. Etiam tristique justo vel ligula sodales, sed fringilla arcu convallis. Nullam pretium bibendum nisi, et consequat felis lobortis eleifend. Nullam nec quam volutpat mauris lacinia mattis. Quisque venenatis enim nisl, aliquam vehicula elit viverra ut. Nam imperdiet, sem nec tincidunt molestie, sem lacus pharetra nunc, et aliquet risus lectus ut metus. Nunc auctor pellentesque orci, lobortis convallis sem pharetra nec.
Sed malesuada, eros at lacinia imperdiet, nunc diam congue magna, vel dapibus tellus massa ut turpis. Suspendisse fringilla nisl a dictum consequat. Nunc cursus, ligula at vulputate sagittis, nulla risus elementum lorem, ac finibus magna metus a lorem. Sed cursus, nibh tempus volutpat sodales, libero lacus pellentesque enim, nec condimentum tellus ante sed turpis. Vestibulum nibh diam, aliquam eget nisi faucibus, placerat ultrices nisi. Nulla molestie maximus ipsum, et commodo mauris tristique sed. Donec laoreet est nisl, id malesuada diam interdum fringilla.
Donec porttitor nisi eget arcu sollicitudin consequat. Morbi suscipit magna sem, ac maximus tortor pellentesque eu. Nulla lacinia, diam faucibus facilisis ultrices, nisi est aliquam arcu, non iaculis est mauris non felis. Nunc et velit massa. Nulla nec purus nec nulla cursus dictum eget in eros. Etiam elit libero, lobortis eu tincidunt commodo, bibendum et dui. Donec pretium a purus at eleifend. Interdum et malesuada fames ac ante ipsum primis in faucibus. Curabitur vestibulum, diam nec porttitor varius, turpis sem rhoncus ex, quis malesuada ex est non tellus. Vestibulum dictum quam laoreet lectus blandit, vel tincidunt lectus ornare.