四兩撥千斤! 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄,輕量化模型孟子一鳴驚人!
本週,中文語言理解權威評測基準CLUE榜單,被「低調」刷新。
不同的是,不是大公司、不是超大模型……
一個新面孔,一個輕量化模型,首戰即登頂,四兩撥千斤。
CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局,被首次打破。
瀾舟科技-創新工場推出的孟子模型,以十億參數完成了此前百億、千億參數模型刷新的紀錄。
這也是瀾舟科技首次對外曝光,背後團隊負責人,正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理,文章來自《量子位》微信公眾號,經授權轉載。
▎輕量化模型孟子?
孟子,基於瀾舟團隊自研技術研發的大規模預訓練語言模型。
包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。
可處理多語言、多模態數據,同時支持多種文本理解和文本生成任務,能快速滿足不同領域、不同應用場景的需求。
孟子模型基於Transformer架構,僅包含十億參數量,基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。
但誰也沒想到,小模型卻有大智慧,一經登場,打破格局。
CLUE,中文語言理解領域最具權威性的測評基準,涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。
該榜單競爭激烈,幾乎是業內所有自然語言理解玩家必爭之地。
騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。
而且隨著大參數模型愈演愈烈,CLUE還漸有巨頭壟斷之勢。
因為百億、千億甚至萬億參數的大模型,已然不再是創業或其他玩家可與之爭鋒。
萬萬沒想到,瀾舟科技-創新工場團隊出手,四兩撥千斤。
因為孟子,走的是基於輕量級、高效訓練的研究路線,致力於構建十億級別的小模型,充分發揮已有參數下的模型潛力,有利於快速、低成本地落地現實業務場景。
孟子預訓練模型性能比肩甚至超越千億大模型,在包含文本分類、閱讀理解等各類任務上表現出色。
相對已有的中文語言模型,孟子模型實現了多項突破性進展:
1) 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下,遠超公開模型的性能。作為精巧的小模型,對標「巨無霸」,小模型性能超越千億規模模型。
2)使用知識圖譜增強模型,讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力,在權威CLUE中文理解評測的總排行榜,以及分類排行榜和閱讀理解排行榜均位列第一,刷新三項榜單世界紀錄。總排行榜分數突破84分,逼近人類基準分數(85.61)。
3)靈活的領域和場景適應能力,方便快速定制和應用。基於T5-style的端到端生成的訓練範式,同步適配BERT-style的判定式架構,既能理解也能生成。便於適配行業應用,覆蓋廣泛業務場景。
當然,隨著孟子一鳴驚人,也必然能讓輕量化模型研究來到聚光燈下。
▎原理方法和應用?
在輕量化模型算法研究方面,基於自研的基於語言學知識、知識圖譜和領域數據增強等技術,從模型架構(包括基礎層Embedding表示和交互層Attention機制)到預訓練策略進行了全方位改進。
具體有四方面:
1) 模型結構方面,將語義角色、詞性標註等語言學特徵融合到Embedding表示中,基於句法約束引入註意力機制中,從而提升模型對語言學知識的建模能力。
2) 訓練策略上,引入基於實體知識和Discourse的Mask機制,強化模型對語言成分和語篇關係的表徵。
3) 為進一步提高訓練效率,使用了大模型蒸餾和初始化小模型策略。
4) 為更好地將孟子模型適應垂直領域如金融、營銷,使用了領域數據繼續訓練並構造相應的提示模版(Prompt),取得了明顯的性能提升。
基於以上算法策略,實現從語料中高效學習涵蓋詞級、句子級和語篇級知識,大幅提升語言模型提煉語言結構和語義信息能力,以及良好的領域遷移能力,適應廣泛的產品應用場景。
另外,在Finetune的進展方面,如何將預訓練模型用於各項任務?
瀾舟團隊也有總結,從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索,進一步提升語言模型的性能:
1) 數據增強:使用領域相關數據;
2) 知識蒸餾:基於Teacher-Student自蒸餾提升訓練效率;
3) 遷移訓練:結合課程學習的思想,由易到難訓練下游模型;
4) 訓練優化:使用多種訓練目標,多角度提升模型能力;
而且孟子還已經展開了垂直化領域應用。
基於領域適應技術,孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型,領域適應策略主要包含兩大方面:
1) 通過大規模的泛金融領域語料,將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業,在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
2) 通過大規模的營銷領域語料,將孟子模型遷移到數字營銷領域,完成了營銷文案生成、新聞摘要等多項任務,將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。
瀾舟方面還透露,孟子模型已在多個領域成功落地實踐,衍生出多項行業領先的產品,涵蓋文本生成、行業搜索、機器翻譯等諸多領域。
並且毫無疑問的是,因為輕量級模型具有的模型參數較少、快速推斷的特點,更易於線上部署和推廣到移動設備中,自然不會局限於現有應用和場景,接下來還會有更廣泛的研究和應用場景中。
▎瀾舟團隊?
最後,也簡單介紹本次一鳴驚人的新面孔瀾舟科技。
瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。
AI領域內,周明已不用過多介紹,他是公認的世界級AI科學家,自然語言處理領域的代表性人物。
周明博士在2020年加盟創新工場,擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型,基於大數據、知識圖譜和行業模型,提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。
據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。
值得注意的是,瀾舟科技除了大牛坐鎮,其實也是行業趨勢的體現。
引用創新工場董事長兼CEO李開復最新分享來說:
AI的發展可以按照兩個時間點劃分。
第一個時間點是2015年,以CNN為核心的計算機視覺技術讓機器超越了人類,帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。
而第二個時間點出現在2019年,以大模型為代表的自然語言方向取得突破性進展,讓NLP從數據、信息走向知識和洞見成為可能,將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。
「如果說CNN造就了今天計算機視覺領域的突破和眾多應用,預訓練大模型+微調也將帶來自然語言的百花齊放的發展,用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果,在新機遇面前躬身入局,一起發掘NLP領域的黃金發展期」,李開復說到。
同時也有4部Youtube影片,追蹤數超過10萬的網紅あかね的日本語教室,也在其Youtube影片中提到,【日本語】 今回は日本語初級の動詞を10個勉強しましょう。 中国語の発音下手です。ごめんなさい。 【繁體字】 這次跟我一起學習日語初級的十個動詞。 這影片里我沒辦法用繁體字輸入了。 不好意思,我的中文發音不好。 【简体字】 这次跟我一起学习日语初级的十个动词。 不好意思,我的中文发音不好。 ...
「student的中文」的推薦目錄:
- 關於student的中文 在 Facebook 的精選貼文
- 關於student的中文 在 國立臺灣大學 National Taiwan University Facebook 的最佳解答
- 關於student的中文 在 Facebook 的精選貼文
- 關於student的中文 在 あかね的日本語教室 Youtube 的精選貼文
- 關於student的中文 在 あかね的日本語教室 Youtube 的最讚貼文
- 關於student的中文 在 Arianna 史愛蓮 Youtube 的最佳解答
- 關於student的中文 在 [交易] 買書/gray's anatomy for student 中文版 - 批踢踢實業坊 的評價
- 關於student的中文 在 Engoo 線上英文- straight-A student (n.) 學霸... - Facebook 的評價
- 關於student的中文 在 prospective student中文-推薦/討論/評價在PTT、Dcard 的評價
- 關於student的中文 在 prospective student中文-推薦/討論/評價在PTT、Dcard 的評價
- 關於student的中文 在 來台灣後變的不只是中文口音 - YouTube 的評價
student的中文 在 國立臺灣大學 National Taiwan University Facebook 的最佳解答
【國立臺灣大學109學年度畢業典禮 致詞代表 資訊工程學系韓哈斯】
Student Address, National Taiwan University Commencement 2021
International student Seth Austin Harding from Department of Computer Science and Information Engineering
.
校長、教授、以及在螢幕前的各位同學,大家好。非常感謝臺大給我這個機會。我是韓哈斯,來自美國華盛頓特區。我會以自身的真實經驗出發,來跟大家分享臺大帶給我的收穫。
我當初為什麼選擇來台灣求學呢?我小時候非常喜歡看武打片,然後我十歲的時候去看了一部電影叫做「功夫熊貓」。這部電影成為了我最喜歡的電影,主角「阿波」的故事跟我的故事很像。我看完了之後就決定要開始學功夫,所以去了「美國武術學院」。那個時候我每天都聽旁邊的人講中文,到了高中我就決定開始學中文。當時我遇到了一位貴人,她是從台北到美國來教書的中文老師,她教的課是我當時最喜歡的課,我每天去她的教室跟好朋友練習。到了高中畢業時,我是全高中中文最好的非母語人士。同時,我第二喜歡的課程是電腦科學,那時候我是程式能力數一數二的學生。後來在成功錄取夢寐以求的學校:臺灣大學之後,我感到雀躍不已,因為我既可以繼續學習中文,也可以持續在世界頂尖的學府中,往電腦科學的方向精進自我。
不過老實說,當我回顧大一的時期,我也曾迷失自我。雖然我修了很多很多的中文課,但是我那時只聽得懂大概一半的課程內容。跟大家對美國人的印象不同,我其實很害羞,也很害怕舉手提問,我甚至不太敢參與社交,所以當時朋友也很少。我開始想家,也變得有一點憂鬱。那時籃球是我唯一的紓壓方式。
但更不幸的是,我在打籃球時弄傷了我的前十字韌帶,做了兩次手術,需要一年半才能恢復。許多的負面情緒壓得我喘不過氣。我被困在人生的低谷,不知如何是好。我覺得我的中文不夠好,我也被診斷出失眠跟ADHD,另外,美國高中的數學太簡單了,來這邊不夠用。種種壓力讓我足不出戶,找不到自己的人生方向。後來,我向臺大心輔中心以及我的心理醫師尋求協助,然後我也開始跟系上有更多互動。有一位教授叫徐宏民跟我說,"Never give up",雖然那時候我覺得這句話太過於簡化了我的問題,不過,在我仔細思考了一個禮拜之後,我下定決心,發誓不讓自己被這些事擊敗。我決定要克盡全力,認真做好每件事。這是我人生的轉捩點,我開始變得異常自律。當時廖世偉教授和洪士灝系主任帶我進入它們的研究室鑽研學術。這重燃了我對資訊工程的熱忱,提醒了我當初會愛上這個領域的原因。我開始研究人工智慧以及區塊鏈,也開始跟其他系上同學交朋友,一起成立臺大人工智慧應用社NTUAI。NTUAI現在是校內頗具規模的技術研究社團,致力於推廣人工智慧給任何對該領域有熱忱的學生。歡迎加入NTUAI,可以掃描我們的QR CODE。
最近,由於疫情的緣故,我已經一年半沒回美國了。但是沒關係,因為我已經找到了我第二個家。我很愛臺大,以及台灣的人事物。雖然我經歷了人生的低潮,但這裡的一切總是給我滿滿的祝福與協助。最後,我想送給大家「功夫熊貓」裡的一句台詞: "You just need to believe"。只要用樂觀的態度去面對困難,就有能力改變自己,甚至改變身旁所愛的人。就像阿波的父親說的,"心誠則靈,只要你相信,點石就能成金。根本沒有什麼秘笈。只有你。"謝謝大家。
.
==============================
.
President, professors, and classmates, I'm very honored to be here. Thank you to NTU for giving me this opportunity. My name's Seth Austin Harding, and I'm from the D.C. metropolitan area. I'm going to tell a real story that's personal but that's relatable and what I see as the real me.
What motivated and guided me to take my undergraduate studies in Taiwan? When I was very young, I really loved watching kung fu movies, and when I was 10 years old, I went to the theater to watch "Kung Fu Panda". This became my favorite movie as I felt like the story of the main character Po was one to which I could very much relate. After watching this movie, I decided that I wanted to start learning kung fu, so I went to the United States Wushu Academy. At the time, I began hearing Mandarin on a daily basis, so when I was in high school, I decided to begin formally studying Chinese. It ended up being my Chinese teacher from Taipei who was my favorite teacher who taught my favorite class, so I decided I'd hang out in the Chinese classroom every day and practice lots. By the time graduation came around, I had attained the highest proficiency in Chinese among any non-native speaker in my school. My second favorite class was computer science, and I ended up attaining among the best coding skills in my school. After getting accepted to the school of my dreams -- National Taiwan University -- I felt honored, humbled, and excited; I could now spend time at among the world's finest universities studying Chinese and at the same time advancing my knowledge of computer science.
But when I look back at my freshman year, to be honest with you, I didn't know what I was doing. Despite having taken very many Chinese classes, when I went to the NTU lectures, I understood only about half of what the teachers were saying. Contrary to most people's impressions of an American, I was actually too shy to raise my hand, to ask questions, or to even meet with teachers after class, so I had very few friends at the time. I started to become homesick and depressed. At that time, I found that basketball was the only way I knew of relieving my stress. However, while playing basketball, I had torn my ACL and it would take two surgeries and a year and a half in time to fully recover. At this point, I felt caught between a rock and a hard place. In fact, this was the lowest point of my life, and I didn't know what to do. I felt like my Chinese wasn't good enough, I had been diagnosed with insomnia and ADHD, and I felt like the math taught in America was too simple to allow for me to keep up with my classmates. I was under immense pressure, and at this time, I lost any sense of purpose or direction. Later on, I went to seek help from NTU counseling, from my psychiatrist, and from my department. I reached out to Professor Winston Hsu from CSIE, and he told me this: "Never give up"; it was such an oversimplified way to approach such a complex series of problems, I had thought. However, I pondered these words intensely for one week, and by the end of that week, I had made a firm decision. This would NOT be another example of me giving up. I decided to go all out, to work diligently and passionately on all tasks at hand. This was the turning point of my life; I started to discipline myself to a very high degree. At this time, I met my then-to-become advisors Professor Shih-Wei Liao and Professor Shih-Hao Hung and entered their labs to begin research. Finally, the passion that I had for computer science that I had previously held in high school was kindled again, and I was finally reminded why I loved this field. I began my research life in blockchain and AI, and at the time I entered the lab, I also began creating NTUAI. NTUAI is now a large and highly successful NTU club that is dedicated to the research and public understanding of AI. Welcome one and all to join us; please scan our QR code here.
For a year and a half I haven't returned to America because of covid. But not to worry; I have found my second home, away from home. I love it here in NTU and I cherish all of the things I've had the privilege to experience in Taiwan. I've gone through the most difficult of struggles in my life here, but I've also had the most fortunate and blessed of experiences. To conclude, I'd like to quote a line from "Kung Fu Panda": "You just need to believe". As long as you are willing to adopt an optimistic attitude in facing challenges and hardships, you may become a positive force in changing the lives of those around you as well as your own life. It all depends on how you view it; just like what Po's father says, "there is no secret ingredient. It's just you." Thank you, everyone.
詳見:
https://www.facebook.com/NTUCommencement/posts/2718185771805180
.
#臺灣大學 #畢業典禮 #NTUCommencement2021 #學生致詞代表 #臺大資訊工程學系 #韓哈斯 #SethAustinHarding
student的中文 在 Facebook 的精選貼文
別放棄
只剩擔心救不了任何人
也許不停的難題讓你一再跟絕望靠近
但不放棄
只會讓你和絕望擦身而過
這部Netflix的中文片名是
「絕望者之歌」
student的中文 在 あかね的日本語教室 Youtube 的精選貼文
【日本語】
今回は日本語初級の動詞を10個勉強しましょう。
中国語の発音下手です。ごめんなさい。
【繁體字】
這次跟我一起學習日語初級的十個動詞。
這影片里我沒辦法用繁體字輸入了。
不好意思,我的中文發音不好。
【简体字】
这次跟我一起学习日语初级的十个动词。
不好意思,我的中文发音不好。
〜お知らせ〜
日本語会話レッスンを始めます!
詳細はこちらです。
https://twitter.com/3minjapanese/status/1122753182910701568?s=21
*日本人の方へ*
このYouTubeチャンネルは日本語学習者が日本語の聴解能力を向上させることができるよう、日本語教師として少しでも役に立てないかと考え動画を作成しております。
日本語学習者が聞き取りやすいようゆっくり話し、語彙も難しいものを避けています。それを御承知の上でご覧いただければ幸いです。
最後までお時間をいただき、ありがとうございました。
------------------------------------------------------------------------------------
仕事のメール✉:3[email protected]
Instagram:あかね的日本語教室
--Chinese language---
(简体字)
大家好!我是 あかね(日本人)。我是日语老师。一起学习日语吧。
我在大学学了北京话,所以会讲一点儿!
(繁體字)
大家好!我是あかね(日本人)。我是日語老師。一起學習日語吧。
我在大學學了普通話,所以會講一點點喔。
---Japanese language---
みなさん、こんにちは。私の名前はあかねです。(日本人です)
日本語の先生をしています。
中国語が少しだけ話せます。一緒に日本語を勉強しましょう☆
---English---
Welcome to Akane’s Japanese lessons.
Hi, I'm Akane. I'm Japanese and I'm a Japanese language teacher.
When I was a student, I studied Chinese. So I can speak Chinese a little.
Let's study Japanese language!
student的中文 在 あかね的日本語教室 Youtube 的最讚貼文
【日本語】
今回(こんかい)は私が中国語(ちゅうごくご)を勉強(べんきょう)している時(とき)に、漢字(かんじ)を見(み)てどんな意味(いみ)か予測(よそく)できなかった中国語を紹介(しょうかい)します。
【中国語】
這次介紹一下我学習中文的時候猜不出来的漢字。
依庭、謝謝幇我拍視頻。
*日本人の方へ*
このYouTubeチャンネルは日本語学習者が日本語の聴解能力を向上させることができるよう、日本語教師として少しでも役に立てないかと考え動画を作成しております。
日本語学習者が聞き取りやすいようゆっくり話し、語彙も難しいものを避けています。それを御承知の上でご覧いただければ幸いです。
最後までお時間をいただき、ありがとうございました。
------------------------------------------------------------------------------------
仕事のメール✉:3[email protected]
Instagram:あかね的日本語教室
--Chinese language---
(简体字)
大家好!我是 あかね(日本人)。我是日语老师。一起学习日语吧。
我在大学学了北京话,所以会讲一点儿!
(繁體字)
大家好!我是あかね(日本人)。我是日語老師。一起學習日語吧。
我在大學學了普通話,所以會講一點點喔。
---Japanese language---
みなさん、こんにちは。私の名前はあかねです。(日本人です)
日本語の先生をしています。
中国語が少しだけ話せます。一緒に日本語を勉強しましょう☆
---English---
Welcome to Akane’s Japanese lessons.
Hi, I'm Akane. I'm Japanese and I'm a Japanese language teacher.
When I was a student, I studied Chinese. So I can speak Chinese a little.
Let's study Japanese language!
student的中文 在 Arianna 史愛蓮 Youtube 的最佳解答
大家好!
在這個影片我介紹我的同學們~ 對不起,知道今天的影片很短~
在這個影片我也不說“大家好你們!”哈哈哈 謝謝你們教我們我說的錯了!
我做這個影片因為銘傳大學的華語中心有一個比赛! 我知道這個影片和我別的影片不一樣!這是有一點奇怪,可是希望你們還喜歡看!
- - -
IG: @_ariannachuucc
FB: https://www.facebook.com/AriannaChuc/
支援我的頻道: https://ko-fi.com/shiailian
student的中文 在 Engoo 線上英文- straight-A student (n.) 學霸... - Facebook 的推薦與評價
straight-A student (n.) 學霸=期中期末的時身邊總是圍繞著許多借筆記的人好險小編不是學霸,期中期末可以專心準備考試~(喂這裡的... ... <看更多>
student的中文 在 prospective student中文-推薦/討論/評價在PTT、Dcard 的推薦與評價
prospective student中文-推薦/討論/評價在PTT、Dcard、IG整理一次看|,另外有prospective student中文相關文章推薦|網路品牌潮流服飾穿搭. ... <看更多>
student的中文 在 [交易] 買書/gray's anatomy for student 中文版 - 批踢踢實業坊 的推薦與評價
如題
Gray's Anatomy for Students 中文版
來信請提供書況及價格
希望能在台北或台中面交
感謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.10.135.198 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/medstudent/M.1600769251.A.27C.html
※ 編輯: chriscko (39.10.135.198 臺灣), 09/22/2020 18:09:55
... <看更多>