引言
谷哥已经将Gemini Nano大模型内置到最新的Google Chorme开发版本中,这个大模型可以让用户利用本机的硬件调用大模型进行问题回答。
目前Gemin Nano模型体积约为1.4GB左右,解压到本地,约为1.74GB, 按F12,可以在控制台中运行, 下面是一个演示:
关于本公众号,第一时间了解AI前沿技术,趋势
第一步:先下载最新的Chrome Canary
官方下载地址:
https://www.google.com/chrome/canary/
如果官方下载不了,可以试一下:
https://cdn.givemetoken.com/chrome.dmg
第二步: 启动大模型
1、先开启 optimization guide on device,在浏览器地址栏输入下面的内容:
chrome://flags/#optimization-guide-on-device-model
找到 Enables optimization guide onDevice项,并设置为:Enabled BypassFrefRequirement,具体如下图:
(如有提示重启浏览器,可先不重启)
2、再开启 Prompt API for Gemini Nano,在浏览器地址栏输入下面的内容:
chrome://flags/#prompt-api-for-gemini-nano
找到 Prompt API for Gemini Nano, 并设置为 Enabled,具体如下图:
3、下载模型, 在浏览器地址栏输入下面的内容:
chrome://components/
找到 Optimization Guide On Device Model ,点击Check for Update,会开始下载,下载完成之后,会显示最新的版本号,具体如下图
4、测试是否能本地运行,可以按F12,进入控制台,输入:
window.model.createTextSession ()
正常会返回一个Promise
如下图:
第三步:问题测试
按F12, 输入下面的function:
async function promptLLM(prompt) { try { if (!window.ai || (await window.ai.canCreateTextSession()) !== "readily") { throw new Error("Gemini Nano not ready or not supported."); } const startTime = performance.now(); let charCount = 0; const session = await window.ai.createTextSession(); const stream = session.promptStreaming(prompt); let message = ""; for await (const chunk of stream) { // console.log(chunk); message = chunk; charCount = chunk.length; } const endTime = performance.now(); const timeElapsed = (endTime - startTime) / 1000; console.log(message); console.log(`字数统计: ${charCount} 字`); console.log(`每秒输出字符数: ${Math.round(charCount / timeElapsed)} 字符/秒`); session.destroy(); } catch (error) { console.error(error); } }
我们来测试几道题:
1、普通的文本回答:
promptLLM("介绍一个微积分是什么?")
回答如下:
2、翻译
promptLLM("人类的未来是星辰大海。把这句话翻译成英文")
回答如下:
3、逻辑推理:
promptLLM("黑兔、灰兔和白兔三只兔子在赛跑。黑免说:“我跑得不是最快的,但比白兔快。”请你说说,谁跑得最快?谁跑得最慢?");
回答如下:
可以看到,逻辑推理上,还是有些欠缺
总结:
这个AI做一些简单的文本,翻译等事情还是可以的,但做一些逻辑性的问题,还有问题,但优点就是不以来于网络,本机就可以跑,聪明的你,一定可以挖掘出更多的场景。
----------伟大的分割线-----------
AI饭米粒(my-aifamily) 由一群靠谱的人建立,在AI时代,希望能各位带来AI相关的知识
AI饭米粒只发原创或授权发表的文章,不转载网上的文章
所发的文章,均可找到原作者进行沟通。
投稿请联系:
shenzhe163@gmail.com
本文由 桶哥 授权 AI饭米粒 发布,转载请注明本来源信息和以下的二维码(长按可识别二维码关注)