传媒资料库 > 前沿资讯 > 最新资讯

【科技·互联网】已有手机APP接入GPT

更新时间:2023-03-20 12:34:25

全文PDF下载全文DOC下载

  最近,GPT-4的一项新功能成为了人们的热点讨论。这项功能允许用户通过手机APP上传照片和视频,并使用一键解读的方式让GPT-4对这些媒体进行解析和理解。这种功能让用户可以轻松地了解图像和视频内容的细节,包括解析出其中的物体、人物以及场景等。

  只需要上传图像,再用语音提出需求,GPT-4就能帮助视障人士“看清”眼前的世界。

  随时随地,实时解读,就像聊天对话一样自然。

  例如想要换装,却不知道手里的衣服是什么颜色:

已有手机APP接入GPT-4,上传照片视频一键解读

  只需要拍照上传给GPT-4,它很快就能将衣服纹理描述出来,材质、颜色和形状一清二楚:

已有手机APP接入GPT-4,上传照片视频一键解读△翻译by有道

  在此之前,视障人士除了用手触摸以外,辨别物体往往需要依靠身边的人或是志愿者的帮助。

  有网友看到后赞叹:这是目前见过最令人惊叹的GPT-4应用之一!

已有手机APP接入GPT-4,上传照片视频一键解读

  所以,加入了图像理解功能的GPT-4,究竟展现出了哪些能力?

  基于GPT-4读图能力打造

  这个基于GPT-4的新功能名叫Virtual Volunteer,来自应用Be My Eyes。

  目前来看,包括问路、导航、读取菜单、搜索等功能,接入GPT-4的Virtual Volunteer都能很好地帮用户完成。

  例如问路。

已有手机APP接入GPT-4,上传照片视频一键解读

  只需要拍一张所在地点的照片,再通过语音询问GPT-4如何到达指定地点,它就会输出一条完整路线图,“读”给用户听:

已有手机APP接入GPT-4,上传照片视频一键解读△翻译by有道

  又例如读图翻译。

已有手机APP接入GPT-4,上传照片视频一键解读

  只需要给GPT-4看眼物品描述、甚至只是物体形状,它就能搜索并输出这个产品的功能、具体说明和使用方法。

已有手机APP接入GPT-4,上传照片视频一键解读△翻译by有道

  再例如公众场合导航。

已有手机APP接入GPT-4,上传照片视频一键解读

  想去健身房、却无法掌握空闲的器材位置,只需要拍摄所在场景照片,GPT-4就能指引你走到无人的器材面前。

已有手机APP接入GPT-4,上传照片视频一键解读△翻译by有道

  当然,还有点菜、使用自动贩卖机买饮料、搜索某种植物的名字、给出时装建议……

已有手机APP接入GPT-4,上传照片视频一键解读

  只要将需求告诉GPT-4,它就能帮助视障人士解决对应的问题。

  不过,目前这一功能还在测试中,苹果商店可以加入等待列表,至于安卓版也快来了。

已有手机APP接入GPT-4,上传照片视频一键解读

  搭载它的应用Be My Eyes,是一个为盲人开发的公益应用。

  它最早是一个2012年成立的互助社区,并于2015年上线iOS版本应用,随后又上线了安卓版应用。

  这个应用分为志愿者和盲人两个群体,志愿者会接受盲人传过来的照片或视频,通过语音沟通(打电话)帮助他们解决困难,目前已经有接近45w+视障人士和630w+志愿者使用。

已有手机APP接入GPT-4,上传照片视频一键解读

  如果成为一名志愿者,则只需要保持在线,确保随时可以接听到视障人士的电话。

  如果是视障人士使用,则可以在需要帮助时拨打志愿者电话,或是寻求一些专业人士的帮助:

已有手机APP接入GPT-4,上传照片视频一键解读

  现在加入Virtual Volunteer之后,盲人也可以呼叫“虚拟志愿者”GPT-4的帮助,不用担心深夜无人应答的问题。

  官方还玩了个谐音梗,AI→Eyes,“让AI成为你的眼睛”:

已有手机APP接入GPT-4,上传照片视频一键解读

  还当起美版知乎问答bot

  当然,除了Be My Eyes应用以外,不少其他APP也在争先恐后接入GPT-4。

  例如,在美版知乎Quora出的Poe上,现在已经可以和GPT-4聊天(限免一句话):

已有手机APP接入GPT-4,上传照片视频一键解读

  又像AI律师软件DoNotPay,同样已经接入了GPT-4,并计划用它来推出“一键诉讼”服务。

已有手机APP接入GPT-4,上传照片视频一键解读

  基于这个服务,你看不顺眼的电话诈骗,一键就能举报投诉。

  如果接到电话诈骗,只需要点击一个按钮,对应的电话内容就会被全程录音,并生成1000字的诉讼内容,索赔1500美元的金额。(不过目前还只有美国地区适用)

  值得一提的是,DoNotPay的CEO Joshua Browder表示,他们之前也用GPT-3.5做过类似的功能,但效果不太行,GPT-4则已经能很好地hold住这一要求。

已有手机APP接入GPT-4,上传照片视频一键解读

  甚至已经有网友尝试用GPT-4来搞药物发现了……

已有手机APP接入GPT-4,上传照片视频一键解读

  除了上述应用和功能以外,还有网友察觉到了GPT-4开发小游戏的前景。

  新的GPT-4似乎在编程靠谱度上也有所提升,无论是在60秒内做一个打乒乓球小游戏:

已有手机APP接入GPT-4,上传照片视频一键解读

  还是20分钟之内搞出一个完整的贪吃蛇:

已有手机APP接入GPT-4,上传照片视频一键解读

  都可以说是游刃有余,提出更改需求也可以及时完成,编写的简单程序中基本上没有遇到需要修改的bug。

  你还想到了什么GPT-4好玩的应用场景吗?