flzt120 发表于 昨天 16:54

测试gemini cli在不同编程工具的表现

<p>模型在不同编程工具下表现不一样,测试一下gemini cli的模型通过代理在不同编程工具表现。<br />
参数选手:gemini cli,kilocode,claudecode+ccr<br />
提示词:</p>
<pre><code class="language-css">1.你是一位就职于苹果公司的顶级前端工程师。请创建一个包含 CSS 和 JavaScript 的 HTML 文件,用于生成动画天气卡片。卡片需要以不同动画效果直观展示以下天气状况: 风力,降雨,晴天,下雪。
所有天气卡片需要并排显示,背景采用深色设计。所有 HTML、CSS 和 JavaScript 代码都需包含在这个单一文件中。将前端显示效果优化得更精致流畅,打造出价值 2000 元 / 月的精品天气应用既视感。
</code></pre>
<pre><code class="language-css">2.你是一位资深前端工程师。请创建一个包含 HTML、CSS 和 JavaScript 的单一网页文件,实现完整的在线串口调试工具。工具需要支持以下核心功能:串口连接配置(波特率、数据位等),实时数据收发显示,十六进制和ASCII双模式切换,数据日志记录。
界面采用现代化深色主题设计,具备专业调试工具的视觉效果。集成 Web Serial API 实现真实串口通信,支持数据可视化图表显示。所有代码需包含在这个单一 HTML 文件中。将功能和界面优化得更加专业实用,打造出价值 5000 元的专业级串口调试工具既视感。
</code></pre>
<p>首先是天气卡片</p>
<p>gemini cli</p>
<p><img src="data/attachment/forum/202509/05/165515y0vcvkiw202cvs7k.webp" alt="fa6cb57b4b29845fcd723cff2957210e51fef69c.webp" title="fa6cb57b4b29845fcd723cff2957210e51fef69c.webp" /></p>
<p>缺点:每个卡片都有奇怪的槽点,首先晴天卡片有奇怪的黄线,降雨卡片只在半边有雨并且雨是从卡片顶端落下,下雪卡片没有雪,大风卡片云和风的搭配怪。<br />
优点:卡片周围有做阴影,鼠标悬停卡片动画流畅。</p>
<p>kilocode<br />
<img src="data/attachment/forum/202509/05/165528ba8z5p1opop92zoh.webp" alt="e5eacb731e009a89f2f213c7b1c6120afd767f9f.webp" title="e5eacb731e009a89f2f213c7b1c6120afd767f9f.webp" /></p>
<p>缺点:鼠标悬停晴天卡片时会出现一条白线<br />
优点:天气卡片内动画效果正常,卡片周围有阴影,鼠标悬停卡片动画流畅</p>
<p>综合表现:claudecode+ccr &gt; kilocode &gt; gemini cli</p>
<p>然后是在线串口调试工具</p>
<p>gemini cli<br />
<img src="data/attachment/forum/202509/05/165539xgyv3g8yge6t8qb1.webp" alt="1c25aab2c99233813d44991f25565bd729c176a3.webp" title="1c25aab2c99233813d44991f25565bd729c176a3.webp" /></p>
<p>缺点:数据日志时间戳与收发数据不一致,缺少数据可视化图表显示<br />
优点:串口功能正常,ACSII和HEX格式切换正常</p>
<p>kilocode<br />
<img src="data/attachment/forum/202509/05/165549rhxnh8zxchxcyho2.webp" alt="658109ea4e3259403feadb1676f68291cfed6fb1.webp" title="658109ea4e3259403feadb1676f68291cfed6fb1.webp" /></p>
<p>缺点:页面存在BUG占用大量CPU资源不断滚动刷新数据可视化,串口功能异常只能收不能发<br />
优点:数据日志正常,ACSII和HEX格式切换正常</p>
<p>claudecode+ccr<br />
<img src="data/attachment/forum/202509/05/165603dlcc73l7sl3636cs.webp" alt="cde8da552e66e6ba8f8d0ed6c1075176ce38fec2.webp" title="cde8da552e66e6ba8f8d0ed6c1075176ce38fec2.webp" /></p>
<p>缺点:数据可视化图表异常<br />
优点:串口功能正常,数据日志正常,ACSII和HEX格式切换正常,设计好看</p>
<p>综合表现:claudecode+ccr &gt; gemini cli &gt; kilocode</p>
<p>最后用trae的gemini 2.5pro模型对比一下。<br />
<img src="data/attachment/forum/202509/05/165614iutf0azivviwoaef.webp" alt="bea81da7c6d214efeacf31b4a87c2c283076f8e6.webp" title="bea81da7c6d214efeacf31b4a87c2c283076f8e6.webp" /></p>
<p><img src="data/attachment/forum/202509/05/165620t0lt5f3qglgsfgmh.webp" alt="bd393229a1ab0912f73ce682c19d27e5d8ffd6a1.webp" title="bd393229a1ab0912f73ce682c19d27e5d8ffd6a1.webp" /><br />
猜测不同编程工具内部的上下文工程不同导致了同一模型在相同提示词下不同的表现。还发现了各家由于转换不一样导致了geminicli接口会有不同程度阉割,比如gemini cli+ccr下geminicli不支持流式输出和网页搜索,kilocode支持流式输出但不支持网页搜索,可以尝试用更好的2api转换后使用</p>

 奎奎 发表于 昨天 17:43

之前在论坛上看到,同样的模型在不同编程工具下的表现有所不同。现在测试一下 Gemini CLI 模型通过代理在不同编程工具中的表现。

参数选项:Gemini CLI、Kilocode、ClaudeCode + CCR

提示词:

慢雷子 发表于 昨天 17:53

是流式输出的问题吗?我昨天更新了ccr和geminicli.js之后才开始测试的。

sdwgw 发表于 昨天 18:38

咦,不是说 Gemini 在 CC 上的表现不如其他第三方模型吗?那么是不是意味着…

天际广告 发表于 昨天 18:53

首先,Gemini key的免费调用速率是有限制的。

然后,设置proxy是进行梯子的端口转发,这也和梯子的网络稳定性相关。

瘦土儿 发表于 昨天 19:24

调用的都是 Gemini CLI 中的模型

倘若少许天 发表于 昨天 23:23

你可以试试最新版的ccr+geminicli,看看还有没有问题。

pxwwwd 发表于 6 小时前

确实跟大家的认知不一样啊
页: [1]
查看完整版本: 测试gemini cli在不同编程工具的表现