隨著人工智能技術的飛速發(fā)展,大語言模型(Large Language Models, LLMs)在各行各業(yè)的應用日益廣泛,尤其是在軟件開發(fā)、數據分析、客戶服務等領域。蘑菇云創(chuàng)客空間[445期開放夜] 就以“ChatGPT、Gemini、通義千問等一眾大語言模型,哪家更適合您”這樣的主題,開展了一次深度的大語言模型的測評。開放夜現(xiàn)場測評了十幾個國內外大語言模型,測評角度從邏輯、數學、翻譯、倫理等方面,深入探討和體驗了這些大語言模型的實際效能。

測評的大語言模型:
1.Kimi 智能助手:由月之暗面科技有限公司開發(fā)的先進AI。
2.智譜清言:由智言科技開發(fā)的大語言模型,以深度學習和自然語言處理技術見長。
3.訊飛星火:科大訊飛推出的創(chuàng)新語言模型。
4.文心一言:百度的前沿語言模型,致力于理解和生成自然語言。
5.豆包:專注于提供個性化的智能對話服務。
6.通義千問:以廣泛的知識庫和靈活的對話能力著稱。
7.海螺AI:新興的語言模型,擅長處理復雜的語言任務。
8.騰訊混元助手:騰訊推出的多功能AI助手。
9.Sider: 是由日本公司Sider開發(fā)的大語言模型。
10.ChatGPT:由OpenAI開發(fā),國際上廣受認可的更大規(guī)模、功能更全面的語言模型。
11.Claude:Anthropic開發(fā)的先進語言模型,注重安全性和可靠性。
12.groq:以其專為AI設計的硬件加速器而聞名。
13.Gemini: OpenAI 開發(fā)的較小規(guī)模的語言模型,旨在提供更高效的計算和資源利用。
14.Mixtral:開源人工智能初創(chuàng)公司 Mistral AI 開發(fā)的超越GPT-3.5的AI模型
測評問題一: 雞兔同籠的數學問題
雞兔同籠是一個經典的數學問題,通過觀察雞兔的頭和腳的數量關系,可以利用代數方程來解決問題,從而確定籠子里雞和兔子的數量。這個問題常常展示了代數方程組的應用。



針對雞兔同籠的問題,除了Gemini Pro沒有得出正確的結果,其余的大語言模型都可以給出正確結果。
測評問題二:翻譯(詩句中翻英)
詩人馬致遠的詩句“斷腸人在天涯”,描寫了“夕陽向西緩緩落下,只有孤獨的旅人漂泊在遙遠的地方。”詩句的翻譯涉及到文化差異和詩人獨特情感。Mixtral 的語言模型正確的解釋了詩句本身的含義,幫助翻譯者很好地理解這句詩句。 Claude的語言模型對于詩句的本身理解是不正確的。



這句詩翻譯家許淵沖翻譯為“Far, far from home is the heartbroken one.”由此可見,大語言模型可以幫助翻譯者分析這句詩基本的意思,但是涉及文化層面的深層含義,還是做不到意譯的。
開放夜也探討了如下涉及生活、工作的一些問題,比如:
過年福字要倒著貼,那為什么不直接生產倒過來的福字呢?
收到公司的裁員通知郵件,你應該怎么回復郵件來保住工作?
一個烏龜掉進了井里,井里有30米深。烏龜白天爬3米,晚上滑下2米。問這只烏龜需要多長時間才能爬出井口?


DFRobot AIGC小組主理人夏青在開放夜的現(xiàn)場測評了十幾個國內外大語言模型,通過多維度問題的測評,他認為:對于處理綜合性問題,OpenAI的ChatGPT 4.0邏輯清楚,能提供非常有用的信息。盡管在回答一些較為復雜的問題上略顯不足,但在大多數場合下,其性能仍然令人滿意。然而,ChatGPT 4.0在國內的使用成本是一個不容忽視的問題,不僅涉及訂閱費用,也包括使用的技術門檻。

與此同時,Gemini和Claude等海外語言模型,盡管在遵循指令方面略顯不足,但已達到了實用水平。令人驚喜的是,國內的Qwen1.5 72b開源模型在中文理解和特定任務,幾乎能與ChatGPT4.0匹敵此外,其他開源模型如Mixtral和新發(fā)布的LLaMA3雖在邏輯性上略遜于商業(yè)模型如ChatGPT,但總體表現(xiàn)已超越了ChatGPT 3.5。
綜合分析來看,盡管ChatGPT 4.0仍然是目前市場上最優(yōu)秀的大語言模型,但不可忽視的是,無論是國際市場還是國內市場,其他廠商的模型均顯示出迅速的進步。開源模型的崛起也證明了開源社區(qū)在AI時代的巨大潛力。當前的大語言模型在處理理性問題方面表現(xiàn)一致,但通常無法提供情緒價值回應。例如,一些國內模型如“豆包”將展現(xiàn)其在情緒回應方面的潛力。這種能力的發(fā)展可能為未來陪伴型機器人的商業(yè)模型提供新的方向。
蘑菇云創(chuàng)客空間
蘑菇云創(chuàng)客空間是上海浦東的一家創(chuàng)客空間,是科技部授牌的首批國家級創(chuàng)客空間,由浦軟孵化器提供場地支持、上海智位機器人提供硬件及技術支持的一家為創(chuàng)客服務的開放式創(chuàng)客空間。擁有獨立的加工室、公共協(xié)作區(qū)域以及儲物、耗材商店,為硬件愛好者、程序員、設計師、DIY 發(fā)燒友等各類創(chuàng)客,甚至包括進行創(chuàng)新研發(fā)的科創(chuàng)團隊提供一個開放式的社區(qū)化會員空間。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!
我覺得我們AI的目標是:從芯片設計到軟件生態(tài),全鏈路自主開發(fā),建立可控的世界級AI體系。所以這是俺對未來5年中國AI圈的展望和判斷。(1)2026年,英偉達造車、國產開車26年國產芯片會在推理和垂直場景上發(fā)力。以DeepSeek為代表,大多數AI大模型會以軟件彌補硬件不足,所以訓練和推理分開,訓練就
文/道哥在深陷“后門”風波、接受網信辦問詢之后,英偉達的“特供版”H20芯片,又有了新消息。近日,美國科技媒體《TheInformation》援引知情人士消息稱,英偉達已悄然向其關鍵供應商——包括負責封裝的安靠科技、供應高帶寬內存的三星電子、以及承擔后端處理的富士康發(fā)出指令,要求暫停所有與H20AI
文/二風來源/節(jié)點財經一場關于“中國芯”的IPO審議,正把投資者們的目光鎖定在上交所。根據上交所發(fā)布的公告,上市審核委員會已定于9月26日審議摩爾線程的科創(chuàng)板首發(fā)申請。作為中國半導體自主化浪潮中最受矚目的“考生”之一,包括其創(chuàng)始人顯赫的英偉達背景、高達80億元人民幣的募資雄心,以及在國產GPU領域取
技術的進步永無止境,繼創(chuàng)下TPC-C性能&性價比雙冠之后,阿里云PolarDB云原生數據庫再度實現(xiàn)關鍵突破。9月24日杭州云棲大會上,阿里云宣布推出全球首款基于CXL(ComputeExpressLink)2.0Switch技術的PolarDB數據庫專用服務器。在原有RDMA網絡的基礎上,Polar
2025年9月24日,在杭州舉辦的云棲大會上,阿里云正式發(fā)布全新一代服務器操作系統(tǒng)AlibabaCloudLinux4(簡稱Alinux4)。Alinux4基于Linux6.6內核打造,是首個全面遵循龍蜥社區(qū)“開源生態(tài)合作倡議”規(guī)范的商業(yè)發(fā)行版。它不僅兼容主流開源社區(qū)生態(tài),更針對阿里云最新9代ECS
9月24日,杭州云棲大會技術主論壇上,阿里云重磅發(fā)布AI安全護欄,提供五項核心安全能力,護航AI安全。一方面為客戶提供融入AIAgent開發(fā)全鏈路的原生安全防護,另一方面持續(xù)用AI賦能安全產品智能化升級,打造Agentic-SOC安全運營,提升安全威脅檢測和響應效率。在過去的一年,AIAgent正在
9月24日,魔搭社區(qū)舉辦了“全球協(xié)作?科學突破?創(chuàng)意無限”的專題論壇,并發(fā)布魔搭社區(qū)國際版、科學智能專區(qū)與AIGC創(chuàng)作引擎FlowBench,旨在連接全球開發(fā)者、加速科研范式創(chuàng)新、賦能創(chuàng)意表達。自2022年11月初成立至今,魔搭社區(qū)已成長為中國最大AI開源社區(qū),其模型數量已突破10萬,服務了全球20
9月24日,2025云棲大會現(xiàn)場,阿里云CTO周靖人接連發(fā)布了七款大模型技術產品。七款技術產品覆蓋語言、語音、視覺、多模態(tài)、代碼等模型領域,在模型智能水平、Agent工具調用以及Coding能力、深度推理、多模態(tài)等方面均實現(xiàn)突破。在大語言模型中,阿里通義旗艦模型Qwen3-Max全新亮相,性能超過G
9月24日,阿里云在云棲大會上宣布新一輪全球基礎設施擴建計劃:將在巴西、法國和荷蘭首次設立云計算地域節(jié)點(region),并將擴建墨西哥、日本、韓國、馬來西亞和迪拜的數據中心,以便更好服務全球客戶日益增長的AI和云計算需求。目前,阿里云在全球29個地區(qū)運營91個可用區(qū),是中國最大、亞太第一的云服務商