闲话人工智能（二）——养娃带给我的人工智能思考

由于个人目前在从事 AGI（通用人工智能）相关的工作，不可避免地对认知、记忆、学习等智能行为能力的研究有越来越多的涉猎，也自然会经常将「人造智能体」和真实的人进行对比，尝试从后者的运转机制中寻找灵感和方向，尤其是这些能力的早期形成过程有着十分大的参考价值。

而作为一个两岁半熊孩子的老爸，我身边绝佳的「参考样本」不言而喻。在平时的陪伴过程中，儿子的一些或常见或意外的言语行为，总能引起我的很多感叹和思考。这里面除了一个老父亲「亲子滤镜」下的自嗨😅，更多的是工作专业方面的一些启发，以及对小朋友教育的一些反思。

这些思考大多还很浅显，有的方面自己也还未能领悟透彻，但觉得很有必要记录下来，或许以后回头再看会有新的收获，也希望对大家有所启发（无论是养娃的共鸣还是对人工智能的理解）。

01 行走的「复读机」

有娃的朋友可能会发现，当小孩子开始说话并具备了一定的词汇量可以输出句子的时候，他们变得特别擅长「接话」，就是当你说了某句他熟悉的话之后他会接着续说出下文（一般都是我们曾经给他讲过的内容），就像是一个「复读机」。

例如我家娃在公园玩儿的时候总爱去捡地上的东西，这时候我会通常会说：

“欸，这上面有很多虫虫，接触了要生病的哟。”

随即就能听到儿子一边继续饶有兴致地拨弄着地上的东西一边嘀咕：

“然后就要去医院找医生叔叔，然后就要打针。”

这部分说教是我此前一般会接在前面的提醒之后说的内容，在听多了之后儿子就能几乎原封不动地复述了。这样的例子还有很多，为此我专门查询了一些资料的解释：

儿童在语言学习的早期阶段，他们的语言发展主要依赖于模仿和重复，通过听取和复制大人的语言模式，学习语言中的词汇，语法，语音等元素。这种模仿行为不仅帮助他们理解并使用新的词汇和表达，也是一种社交技巧的学习。通过模仿大人的话，他们可以更好地融入社会环境，理解和适应社会规则。

看过我此前介绍大模型构建方式文章的朋友可能还会记得，语言大模型至关重要的一个路径是 NTP(Next Token Prediction)，即根据上文文本预测下文。稍稍还记得一点数学知识的话都能够看出来，预测下一个 token 这个事情本质上还是一个概率统计的问题：以所有的文本语料作为先验知识构建模型，继而在当前给出的上文文本序列基础上预测下一个 token 的条件概率分布（喂喂喂能不能说人话🤷‍♂️）。鉴于有些朋友不一定看过前文（看过的可以跳过下面的例子），这里我尝试用一个新的比喻来描述这个事情：

你可以把这个过程想象成是一个非常厉害的作家。这个作家已经阅读了世界上的所有书籍（这就是「所有的文本语料作为先验知识」），并且他从这些书籍中学到了如何写作。他知道哪些词语经常会一起出现，哪些句子看起来“对”，哪些看起来“不对”。 现在，假设你给这个作家一个句子的开头，比如“一天，我在公园里…”。这个作家会基于他的所有知识，也就是他阅读过的所有书籍，来猜测下一个词应该是什么。 可能他会推测，“遇到”、“看到”、“碰到”等词是接下来可能出现的词，因为在他阅读过的书籍中，这些词经常出现在“我在公园里…”之后。他也可以根据这些可能的词，给出它们出现的可能性有多大。例如，他可能会认为“遇到”的可能性为60%，“看到”的可能性为30%，“碰到”的可能性为10%。这就是「预测下一个 token 的条件概率分布」。

在很长一段时间里我对 NTP 这个路径其实是存疑的，因为这样得到的模型无非是一个高级一些的「复读机」，希望由此发展出智能似乎是不太可能的，直到我带娃的时候发现儿子学会说话之后逐渐表现出的「接话」能力，引发了我对此的重新审视。

其实仔细想来，正在学习说话的小朋友或者已然能熟练表达的我们自己，在语言表达方面又何尝不是和这个作家一样呢，只是阅读的书籍多少有差异而已。尤其是小朋友，能接触到的文本和记忆力有限，所以表现出来的现象就是如同行走的「复读机」一样重复我们大人的言语，甚至很多时候并不真正理解很多词汇或描述的含义，只是模仿大人的语言模式，在面对有些问题的时候还会胡编乱造（这些是不是像极了现在大模型的表现）。

由此我忽然能够些许地理解 OpenAI 义无反顾地选择这条路径的原因了：既然小朋友可以在不完全理解的情况下实现对模式的模仿，并且在此后的成长过程中再逐步补全缺乏的知识来完成对模式的理解，那么先通过 NTP 打造一个强力的「复读机」作为基座，再事后「对齐」它与我们人类的偏好，本质上是异曲同工的过程。

只不过难点在第二阶段：小朋友是在现实的世界中通过体验（语言、视觉、听觉、嗅觉等）来进行的，而大模型的「对齐」过程是缺乏这样一个环境的，这也是大模型若要向通用人工智能方向靠近需要解决的（例如通过引入视频数据来将语言大模型升级为多模态大模型便是一种尝试）。至于这条路径后面该如何走，能走多远，就让我们拭目以待了。

从育儿的角度，我也获得了不小的启发。忘记曾经在哪里看到的说法：“想让小孩刚加聪明，一个最简单的方式就是多和他说话。”这个观点背后的道理在此似乎得到了阐释。多和小朋友说话本质上就是在强化上面的第一阶段，我们不用纠结于他们知不知道某个词语或能不能理解某个概念，只要我们不吝啬自己的语言不断地给他们提供输入，那么这些小小的行走「复读机」们就能构建起自己的强大「基座」，并且在以后的成长体验过程中逐步激活它的能力。

02 小朋友的「举一反三」

如果说「复读机」阶段只是小朋友对大人语言模式的机械性重复，那么能够举一反三便是智能的初见端倪了。而关于这一点，我又从小朋友身上看到了可爱又令人惊叹的表现。

虽然自认为不是也不想成为一个「鸡娃」的家长，但三岁前的语言黄金期里免不了希望尽可能在小娃不抵触的前提下进行一些英语的启蒙。这个过程中不乏许多有趣的瞬间，而就在前不久发生的一个场景让我始终记忆犹新。

儿子在一本新的绘本上看到了结满苹果的苹果树，指着苹果说：“苹果是 apple！这～～～么多苹果！”

‘‘哦～这么多苹果呀，有很多苹果的时候我们会说 apples，后面有个‘嘶’的声音。”这时我忍不住输出了一波超纲的单复数知识点🫣。

儿子立马就跟着念了一遍：“apples！”

此后的一段时间遇到复数的时候也会顺带提上一句加 s 这事儿，倒也没指望他这么早就能理解。

后来某天的下午，带着他画画的时候看到了一只狐狸，顺嘴就考了下：“狐狸的英文怎么说呀？”

这个是比较早就认识的单词，可以说已经记得烂熟了，但是这次小崽子没有像之前一样脱口而出，而是盯着我琢磨了半天，我心想难道是太久没「复习」忘记了，正打算做个口型来提示一下，他忽然开了腔：“fok[fɑːk]。”

不知道看到这里的大家理解过来了没，说实话我当时第一反应是准备纠正的，但两秒钟后我猛然反应过来，理解了儿子给出这个答案的逻辑：

• 很多个苹果是 apples，比 apple 多了个 s 发音
• （之前学的）狐狸是 fox[fɑːks]，末尾也有个 s 发音，那这个可能说的是「很多只狐狸」
• 「一只狐狸」不应该有末尾的 s 发音，所以是[fɑːk]

为了排除是我的过度解读，我还向儿子确认了他的这个思路。

这个稚嫩的举一反三的「推理」当时给我的震撼是相当大的。无独有偶，就在写这篇文章的前两天我还从同事那里听到了她家小娃的另一个类似案例。

同事家的男娃年纪稍大些，有一次接触到了「摩擦力」这个词汇，同事尝试给儿子解释，通过来回搓双手手掌来告诉他：“这就叫摩擦。”但其实并没有提到「力」的概念。然后也是在不久后的一天，同事意外地听见儿子玩的时候在自言自语地嘀咕：“「摩擦力」是用来「摩擦」的，「巧克力」是用来「巧克」的。”

这个同样令人忍俊不禁的逻辑其实也包含了很多小朋友自己的推理：

• 「力」这个字是一个独立的存在（概念）
• 「摩擦」是一个动作，放在「力」字前面是对「力」的功能修饰（在小朋友看来是如此）
• 「巧克力」的「巧克」也在「力」的前面，所以也是用于表达功用的一种动作

和前面的单复数的例子一样，小朋友们其实都通过对例子的理解，完成了在自身认知范围内最合理的知识总结和举一反三。

对于人工智能模型而言，这种理解归纳能力的获取极大地依赖于训练阶段提供的样本数据。比如传统的模型可能需要看过成百上千的例子才能知道大多英文常规名词的复数形式是在末尾添加 s。像上面人类幼崽这样，仅仅基于一两个例子就能进行合理举一反三的能力是令它们望尘莫及的。如今的大模型可以做到，但却是以巨量的参数和更加巨量的训练数据为代价获得的。

仅仅几岁的人类幼崽，智力发育和脑容量水平都相当有限，却能在话都说不利索的时候就具备了如此的智能，不禁让人好奇这背后的机制到底是怎样的。或许是基因编码的神秘力量，又或许是生物构造的奇迹，个人知识水平有限就不在这里妄加臆断了。但在这个方向上持续挖掘，势必可以为我们对人工智能的研究提供十分有价值的参考。

03 第一系统和第二系统

陪伴人类幼崽的时候，我还发现了一个十分常见的有意思现象，就是问小朋友某个教过他的问题（例如某个单词的英文怎么说）时，如果是个相对生疏的、问得少的内容，他通常会立马回答不知道然后又接了一个答案（正确错误都有可能）。这个现象就好像是他并行地通过了两条路径在检索答案，一条路径检索精度低下但响应迅速，很容易给出找不到结果的反馈，而另一条路径检索细致精确但响应缓慢，需要多处理一会儿信息才能给出结果，因此才出现了上面对一个问题出现两次反馈的情况。

这背后的原理可能就需要聊到人脑的「第一系统」和「第二系统」（或者叫系统1和系统2）的相关理论了，由于篇幅有限，并且这是一个很大的主题，因此我打算单独为此分出一个篇幅来介绍相关的内容，这里就先卖个关子了。

小结

虽然说我们人类构建人工智能，并不一定要仿照人类的行动和思考方式来设计，但毕竟人类自身是我们最容易观察和剖析的智能体对象，尤其是处于智力高速发育初期的人类幼崽，他们在此过程中表现出的各种行为现象和思考方式都能成为我们宝贵的灵感来源，同时也能帮助我们更好地理解自身。

简单来说，有空多陪陪娃总是没错的😁！

欢迎大家关注+转发+点赞👻