这里有很多好的历史,但它错过了EZIZA效应。Eliza是60年代最早的聊天机器人之一。他们激发了90年代末的聊天机器人,如AIM的SmaterChild,用户可以自由交谈,甚至提供支持,可以回答基本问题。然后,随着并行计算变得更好,创新变得更容易,然后2016命中,“注意力就是你所需要的” 下降。这是一个改变游戏规则的人,因为在此之前,训练聊天机器人非常困难,而且yoy使用了完全不同的技术,如神经网络,巨大的数据堆栈等。LLMs在可访问性,成本效益 (与其前辈相比) 和速度之间实现了交叉。您需要一段时间才能获得一些巨大的输出,现在您可以在任何8〜16gig卡上运行Gemma 3b并获得不错的结果。如果你想了解更多,我建议在YouTube上韦尔奇实验室。下一个重大飞跃似乎是扩散式llm,它通过使用类似于图像生成的扩散技术而偏离了它们的transformer brothers。他们更容易出错,所以我还没有看到在这方面的发展。 |