五千年(敝帚自珍)

主题:ChatAI 使用初体验(0) -- shuyong

共:💬19 🌺144
全看分页树展 · 主题 跟帖
家园 不错的跟踪

这个行业如火如荼,确实三天不学习赶不上刘少奇。

Orca这个论文https://arxiv.org/pdf/2306.02707.pdf很惊艳,不过目前也没开源,吃瓜群众的观感是不太信任。 13B可以干的接近GPT水平。当然现在的共识是开源模型与GPT的差距还是很明显的 https://arxiv.org/abs/2305.15717 当然主要差距还是民间算力瓶颈,资本出手的话大模型水平做上去还是很容易的,比如bloomberger花了一百多万刀自己算的那个金融专用bloomberggpt就是用的BLOOM欧洲开源科研大模型做的,也就是到云里租上几十个A100算上几天的事,收集整理数据反倒要花不少力气,这些数据一般都是藏着掖着。

一个最近的好消息是国内的上海AI Laboratory,SenseTime做的一个叫InternLM的大模型,104B,测试很接近GBT4的水平了,应该比百度华为那些都强的多,毕竟经历了正规测试标准,而且多语种,推理能力看实例很强,当然不能用敏感词去测,alignment上的能力应该实际上超越了GPT4 😁

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河