今日转得快的读音(转得快的拼音)
您好,来为大家解答以上问题。转得快的读音,...
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI
只需和ChatGPT聊聊天,它就能帮你调用10万+个HuggingFace模型!
(资料图片仅供参考)
这是抱抱脸最新上线的功能 HuggingFace Transformers Agents ,一经推出就获得极大关注:
这个功能,相当于给 ChatGPT等大模型 配备了“多模态”能力——
不限于文本,而是 图像、语音、文档 等任何多模态任务都能解决。
例如告诉ChatGPT“解释这张图像”,并扔给它一张海狸照片。ChatGPT就能调用图像解释器,输出“海狸正在水里游泳”:
随后,ChatGPT再调用文字转语音,分分钟就能把这句话读出来:
A beaver is swimming in the water 音频: 00:0000:01
当然,它不仅支持ChatGPT在内的OpenAI大模型,也支持OpenAssistant等免费大模型。
Transformer Agent负责“教会”这些大模型直接调用Hugging Face上的任意AI模型,并输出处理好的结果。
所以这个新上线的功能,背后的原理究竟是什么?
简单来说,Transformers Agents是一个大模型专属的“抱抱脸AI工具集成包”。
HuggingFace上各种大大小小的AI模型,都被收纳在这个包里,并被分门别类为“图像生成器”、“图像解释器”、“文本转语音工具”……
同时,每个工具都会有对应的文字解释,方便大模型理解自己该调用什么模型。
这样一来,只需要一段简单的代码+提示词,就能让大模型帮助你直接运行AI模型,并将输出结果实时返还给你,过程一共分为三步:
首先,设置自己想用的大模型,这里可以用OpenAI的大模型(当然,API要收费):
from transformers import OpenAiAgentagent = OpenAiAgent(model=\"text-davinci-003\", api_key=\"\")
也可以用BigCode或OpenAssistant等免费大模型:
from huggingface_hub import loginlogin(\"\")
然后,设置Hugging Transformers Agents。这里我们以默认的Agent为例:
from transformers import HfAgent# Starcoderagent = HfAgent(\"https://api-inference.huggingface.co/models/bigcode/starcoder\")# StarcoderBase# agent = HfAgent(\"https://api-inference.huggingface.co/models/bigcode/starcoderbase\")# OpenAssistant# agent = HfAgent(url_endpoint=\"https://api-inference.huggingface.co/models/OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5\")
接下来,就可以使用run()或者chat()两个指令,来运行Transformers Agents了。
run()适合同时调用多个AI模型,执行比较复杂专业的任务。
可以调用 单个AI工具 。
例如执行agent.run(“Draw me a picture of rivers and lakes.”),它就能调用AI文生图工具帮你生成一张图像:
也可以同时调用 多个AI工具 。
例如执行agent.run(“Draw me a picture of the sea then transform the picture to add an island”),它就能调用“文生图”和“图生图”工具,帮你生成对应图像:
chat()则适合以聊天的方式“持续完成任务”。
例如,先调用文生图AI工具,生成一个河流湖泊图片:agent.chat(“Generate a picture of rivers and lakes”)
再在这张图片的基础上做“图生图”修改:agent.chat(“Transform the picture so that there is a rock in there”)
要调用的AI模型可以自行设置,也可以使用抱抱脸自带的一套默认设置来完成。
目前,Transformers Agents已经集成了一套默认AI模型,通过调用以下Transformer库中的AI模型来完成:
1、视觉文档理解模型 Donut 。给定图片格式的文件(PDF转图片也可以),它就能回答关于这个文件的问题。
例如问“TRRF科学咨询委员会会议将在哪里举行”,Donut就会给出答案:
2、文字问答模型 Flan-T5 。给定长文章和一个问题,它就能回答各种文字问题,帮你做阅读理解。
3、零样本视觉语言模型 BLIP 。它可以直接理解图像中的内容,并对图像进行文字说明。
4、多模态模型 ViLT 。它可以理解并回答给定图像中的问题,
5、多模态图像分割模型 CLIPseg 。只需要给它一个模型和一个提示词,它就能根据这个提示分割出图像中指定的内容(mask)。
6、自动语音识别模型 Whisper 。它可以自动识别一段录音中的文字,并完成转录。
7、语音合成模型 SpeechT5 。用于文本转语音。
8、自编码语言模型 BART 。除了可以自动给一段文字内容分类,还能做文本摘要。
9、200种语言翻译模型 NLLB 。除了常见语言外,还能翻译一些不太常见的语言,包括老挝语和卡姆巴语等。
通过调用上面这些AI模型,包括图像问答、文档理解、图像分割、录音转文字、翻译、起标题、文本转语音、文本分类在内的任务都可以完成。
除此之外,抱抱脸还“夹带私货”,包含了一些Transformer库以外的模型,包括从网页下载文本、文生图、图生图、文生视频:
这些模型不仅能单独调用,还可以混合在一起使用,例如要求大模型“生成并描述一张好看的海狸照片”,它就会分别调用“文生图”和“图片理解”AI模型。
当然,如果我们不想用这些默认AI模型,想设置一套更好用的“工具集成包”,也可以根据步骤自行设置。
对于Transformers Agents,也有网友指出,有点像是 LangChain agents的“平替”:
你试过这两个工具了吗?感觉哪个更好用?
参考链接: [1]https://twitter.com/huggingface/status/1656334778407297027 [2]https://huggingface.co/docs/transformers/transformers_agents
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
关键词:
彩虹喷泉、火山喷发、浓烟瀑布……为了吸引家长购买,部分商家将化学实验搬到了孩子们的玩耍场景中。近日,北京商报记者调查发现,电商平台
北京商报 2022-07-08一季度家电行情双线下滑、疫情面扩大消费受到影响、工商业生产和供应链受到影响,这三个因素或对618电商大促产生重要的影响。今年3月以来,
蓝科技 2022-05-20深陷亏损中的生猪行业,笑到最后的选手或不仅有家底,更要会审时度势。4月生猪价格上涨后,头部上市猪企的销售收入随即上涨。不过,不少上
中国商报网 2022-05-205月17日,人民币对美元汇率迎来久违的大涨。人民币对美元即期汇率当日收盘报6 7472,较上一交易日涨495个基点,创出了一年多的最大升值幅度
深圳商报 2022-05-20国家统计局近日发布的数据显示,今年1—4月餐饮收入13262亿元,同比下降5 1%;其中4月餐饮收入2609亿元,同比下降22 7%。值得关注的是,近几
中国商报网 2022-05-20今年以来,广西各级农业农村部门提早谋划、主动作为,积极抓好农业生产。据农情统计,全区春种粮食作物面积已超过全年任务的一半,超额完成
农民日报 2022-05-20源飞宠物IPO近日过会,拟登陆深交所主板,成为宠物牵引用具第一股。 资料显示,源飞宠物主营宠物用品和宠物零食的研发、生产和销售,主要
深圳商报 2022-05-20彩虹喷泉、火山喷发、浓烟瀑布……为了吸引家长购买,部分商家将化学实验搬到了孩子们的玩耍场景中。近日,北京商报记者调查发现,电商平台
北京商报 2022-07-08一季度家电行情双线下滑、疫情面扩大消费受到影响、工商业生产和供应链受到影响,这三个因素或对618电商大促产生重要的影响。今年3月以来,
蓝科技 2022-05-20深陷亏损中的生猪行业,笑到最后的选手或不仅有家底,更要会审时度势。4月生猪价格上涨后,头部上市猪企的销售收入随即上涨。不过,不少上
中国商报网 2022-05-205月17日,人民币对美元汇率迎来久违的大涨。人民币对美元即期汇率当日收盘报6 7472,较上一交易日涨495个基点,创出了一年多的最大升值幅度
深圳商报 2022-05-20国家统计局近日发布的数据显示,今年1—4月餐饮收入13262亿元,同比下降5 1%;其中4月餐饮收入2609亿元,同比下降22 7%。值得关注的是,近几
中国商报网 2022-05-20今年以来,广西各级农业农村部门提早谋划、主动作为,积极抓好农业生产。据农情统计,全区春种粮食作物面积已超过全年任务的一半,超额完成
农民日报 2022-05-20源飞宠物IPO近日过会,拟登陆深交所主板,成为宠物牵引用具第一股。 资料显示,源飞宠物主营宠物用品和宠物零食的研发、生产和销售,主要
深圳商报 2022-05-20您好,来为大家解答以上问题。转得快的读音,...
2023年9月9日12:15 来源:中新网重庆
古装剧《云之羽》原本因为虞书欣、张凌赫这对...
本报北京9月8日电(记者施芳、潘俊强)9月8日上...
近日,索泰推出了一款采用无风扇被动散热设计...
山西长子“羊倌”养羊20余年 带动700余户养殖户发“羊财”
上海首个“两山”实践创新基地成功创建
广西医科大一附院向越南捐赠医疗防疫物资
黄埔海关破获案值5.5亿元走私进口二手挖掘机案
黄河内蒙古段今年首次出现流凌
Copyright 2015-2022 大河仓储网版权所有 备案号:京ICP备2022022245号-75 联系邮箱:435 226 40@qq.com