扫码枪+AI:一扫生成药品信息卡片说明书可以扔了!|AI 教程_安博电竞app官网|安博体育下载地址|安博电竞注册登录

扫码枪+AI:一扫生成药品信息卡片说明书可以扔了!|AI 教程

来源:安博电竞app官网    发布时间:2024-09-02 04:01:07

  记得之前给家里的老人找药时,常常会发现去看药品包装上的信息,要么看药瓶没写详细的用法用量,要么说明书密密麻麻的,找找怎么着也得十来分钟。有时候还看的一头雾水,不知道该怎么去搞清楚药品的用途和用法,更别提给家里人吃了。

  这这非常让我困扰:能不能有一种简单的方法,只需使用电子设备,比如扫码枪或者手机,对着药瓶身或者69码一扫就能得到清晰、易懂的药品信息呢?

  恰好最近在看到扣子(Coze),功能更新极其频繁,比如增加了“抖音评论区”发布渠道、比如模型广场等等。恰好也看到了它的扣子工作坊 bot 大赛,里面提供了好多创建 bot 的思路,其中实用方向里的“AI+硬件”的细分赛道非常吸引我。

  结合我最开始的疑问,我决定利用扫码枪和AI技术来尝试一下,希望能为自己和其他同样困惑的家人们,答疑解惑。其中有三个关键点要实现:

  扫码枪作为硬件,在交互上代替了键盘打字,与扣子平台集成在一起,实现了硬件和软件的深度结合。用户只需对商品条码进行扫描,便可快速获取详细的商品信息。

  自建插件,精准数据处理:同队的小伙伴写了专用插件,用于解析69码并从自建的知识库中提取相关信息。

  API接口独立呈现。通过 Coze Bot 平台的工作流控制内容输出,并利用API接口将处理后的数据独立于平台呈现在网页上。

  基于之前用扣子(Coze)智能体平台做过一些 bot,它一方面提供了丰富的功能和灵活的插件系统,另一方面有提供了工作流,可能性和空间;还能够方便地集成各种硬件设备和AI技术,比如扣子API。

  虽然扣子的页面看起来很复杂,但实际上操作过的都知道,很多 bot 也能通过自然语言搭建完成。

  确定了使用扣子平台之后,下一步就是确定硬件,一款能快速扫描并准确读取商品信息的扫码枪。

  经过在京东上的反复对比和选择,我最终选定了一款口碑不错且性能好价格低的扫码枪。

  你别说,拿到扫码枪的那一刻,我还挺兴奋的,毕竟以前也只有看没有摸的机会。

  我拆开后,直接按着说明书配置,其实发现扫码枪的操作原理其实很简单,就像是键盘输入一样,每次扫描后会直接输出一个序列号。从某一些程度上来讲,扫码枪的“摄像头扫描”就能代替“键盘打字”这个方式,直接跟 AI 进行交流,那就省事儿多了。

  通过多方搜索和筛选,我选择了 Github 上的药品条码数据集,药品条码信息库,共4万余条,日常常见药基本都概括了,直接在地址下载就好。

  既然是要跟AI结合,那我们先来搭建一个能识别条形码的 bot ,利用大模型的自然语言能力,保证它的输出效果。这里可以用提示词先测试下生成效果,然后不断进行调优处理。

  然后再尝试着搭一个简单的工作流,我们用布洛芬来试一试,看能否跑通,出现绿色对勾就说明跑通了。

  对于硬件部分,我主要对扫码枪进行了安装和基本配置。我按照说明书一步步做相关操作,将其连接到电脑上,并确保它能正常工作。连好之后先拿可乐瓶试试,对着瓶身的69码一扫,屏幕上立刻显示出了相应的序列号,这代表第一步已经顺利完成。

  由于涉及到编程的相关知识,这时候就找来了两个程序员朋友 @鱼非 和 @siuser 跟我一起完成剩下的部分。

  硬件和电脑配置好之后,下一步需要把扫码枪与扣子平台做集成。这样的一个过程需要将扫码枪的输出数据传递给扣子平台,并确保平台能够正确接收和处理这些数据。

  在扣子平台上,我已经创建好了智能体 ScanBot,现在能够最终靠配置插件来接收扫码枪的输入。第一次尝试扫码发送给 bot 后,扫码成功,效果如下:

  这时候我们得知bot回复说“未查询到条形码信息”,是因为缺少条形码的相关的数据。做到这一步就涉及到插件创建和数据处理:

  插件创建是为了查询条形码,这一步能够最终靠调取已经搭建好的 API 接口查询商品信息,没有的话就找别人帮忙或者自己搭建一个。

  数据处理需要数据集,我们从 Github 里下载药品数据表,由于知识库一个表最大只能一万行,所以我们分隔成分割成5个 Excel 表格。然后用本地 Excel 方式上传到知识库里。

  配置好之后,我们用扫码枪扫描69码,扣子平台会根据扫码枪提供的序列号,查询数据库并提取相应的商品信息。我们现在再来看一下扫码后的效果:

  这次生成的就是具体的商品信息,只不过内容上会相对比较的粗糙,但是药品该有的关键信息都有了。

  第一个是 bot 在工作时偶尔不会调用工作流,而且即便是调用了之后,也会报错,猜测知识库数据不太稳定;

  既然这样,那我们先尝试下把插件和知识库的部分直接编辑在工作流里,然后测试下效果如何。

  恭喜你,这就完成了硬件扫码枪和扣子 bot 之间的连接,也就是只通过硬件扫描就能得到我们想要的商品信息,测了几次相对来说也稳定不少。

  目前输出的纯文字管感很不好,一下也看不到重点信息,有点儿背离初衷,这样的一个问题可以通过扣子的卡片功能姐觉。

  先设计了一个你自己最喜欢的卡片效果,然后跟插件关联起来,就得到了以下效果。

  尤其是对于药品,卡片效果更加能读懂,不论是小孩还是老人,都很容易接受。与此同时,我特地加入了语音提示功能,适用于各类人群。

  最后的条码扫描结果通过 bot 输出是一种方式,另一种方式是独立于扣子之外,扫码枪一扫描69码就到以下的输入框里,在我们看不到的地方(扣子)借助大模型生成内容,最后由下面的 Coze Bot 呈现出来。

  通过简单的扫码操作,用户都能够立即获取商品的详情信息。尤其是对于药品,生成的卡片不仅包含了药品的名称、用途和用法用量,还配有清晰的图片和语音提示,极大地方便了医学小白和老年人使用。

  这不仅是一次技术上的尝试,更是一次充满创意和挑战的探索。我期待着未来继续完善它,并通过不断的努力,让科技为生活带来更多便利和乐趣。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  善恶终有报!63岁在美国捡垃圾的吕丽萍,已经活成了一个“笑线强诞生!中国金花0-2出局,无缘比郑钦文先晋级,仍最佳

  什么概率?27岁中国女司机在日本闯红灯撞死中国同胞,被日本警方当场逮捕…

  央视曝光“硫超标”枸杞!记者深夜直击加工现场:被熏到呼吸困难、泪流不止……

  华为Mate70 Pro再次被确认:设计和配置基本清晰,能否重返巅峰?



上一篇:深圳机动车环保信息管理官网入口+操作流程
下一篇:工作外设频道_天极网

联系电话

  • 400-167-1698

Email

service@barcode-shop.cn