馃殌 鎻澶ц妯¤瑷€妯″瀷锛圠LM锛夛細浠庡惔鎭╄揪鍒癘penAI鐨勫叏闈㈡帰闄?馃殌

馃殌 寮€绡囧紩瑷€锛氬湪娣卞害瀛︿範鐨勬氮娼腑锛屽ぇ瑙勬ā璇█妯″瀷锛圠LM锛夋寮曢浜哄伐鏅鸿兘鐨勬柊椋庡悜锛屽畠浠粠鑷劧璇█鐞嗚В鍒扮敓鎴愶紝灞曠幇鍑哄墠鎵€鏈湁鐨勫▉鍔涖€傝嚜2018骞翠互鏉ワ紝绉戞妧宸ㄥご鍜岀爺绌舵満鏋勫璋锋瓕銆丱penAI銆丮eta銆佺櫨搴︺€佸崕涓虹瓑绾风悍鎶曞叆璧勬簮锛屽彂甯冧簡澶氭澶ц瑷€妯″瀷锛屽BERT銆丟PT绯诲垪鍜孋odex锛屼负鑷劧璇█澶勭悊锛圢LP锛夐鍩熷甫鏉ラ潻鍛芥€х殑鍙橀潻銆傜壒鍒槸2022骞碈hatGPT鐨勫彂甯冿紝鏇存槸灏嗗叏鐞冨LLM鎶€鏈殑鍏虫敞鎺ㄥ悜楂樻疆銆傛湰鏁欑▼涓撲负LLM寮€鍙戣€呰璁★紝鏃ㄥ湪鎻愪緵浠庡熀纭€鍒板疄璺电殑鍏ㄩ潰鎸囧銆?/p>

馃殌 鏁欑▼姒傝锛?/p>

鐞嗚涓庡疄璺电浉缁撳悎锛氭湰鏁欑▼娉ㄩ噸鐞嗚涓庡疄璺电浉缁撳悎锛岀‘淇濇瘡浣嶈鑰呴兘鑳藉叏闈㈢悊瑙LM鐨勫唴鏍搞€?/p>

LLM鍩虹锛?/p>

+ 姒傚康涓庡彂灞曞巻绋嬶細浠嬬粛LLM鐨勫熀鏈蹇点€佸彂灞曞巻绋嬨€佹妧鏈寫鎴樹笌鍓嶆部鐮旂┒銆?/p>

+ 鎶€鏈粏鑺傛寲鎺橈細娣卞叆鎺㈣璇█妯″瀷鍘熺悊銆佷紭鍖栫瓥鐣ュ強璋冨弬鎶€宸с€?/p>

+ 搴旂敤瀹炰緥瑙ｆ瀽锛氶€氳繃闂瓟绯荤粺銆佸垎绫讳笌鎽樿鐢熸垚銆佺炕璇戝簲鐢ㄧ瓑NLP浠诲姟瀹炰緥锛屽睍绀篖LM鐨勫疄鎴樺簲鐢ㄣ€?/p>

瀹炶返鎸囧崡锛氭彁渚涗娇鐢―eepspeed-Chat鏋勫缓绫籆hatGPT绯荤粺鐨勮缁嗘楠や笌绛栫暐銆?/p>

璧勬簮鎺ㄨ崘涓庤繘闃惰矾寰勶細鎺ㄨ崘瀛︿範璧勬簮銆侀」鐩渚嬪強閮ㄧ讲绛栫暐锛屽苟涓鸿拷姹傛洿娣卞眰娆″涔犵殑寮€鍙戣€呮彁渚涙寔缁涔犵殑璺緞涓庢柟鍚戙€?/p>

馃殌 寮曡█鐨勬繁鍖栵細

澶ц妯¤瑷€妯″瀷锛圠LM锛夌殑鍏磋捣浠ｈ〃浜嗕汉宸ユ櫤鑳介鍩熺殑涓€澶ч璺冦€備粠瀹㈡湇鍔╂墜鍒颁唬鐮佽嚜鍔ㄧ敓鎴愶紝浠庢柊闂绘憳瑕佸埌璇█缈昏瘧锛孡LM鐨勫簲鐢ㄥ凡缁忔繁鍏ュ埌鍚勮鍚勪笟锛屼笉浠呮彁楂樹簡鏁堢巼锛屽垱閫犱簡浠峰€硷紝杩樹笉鏂嫇灞曠潃浜虹被涓庢妧鏈殑浜や簰杈圭晫銆?/p>

馃殌 鐩爣鍙椾紬涓庢暀绋嬬洰鏍囷細

鏈暀绋嬫棬鍦ㄦ弧瓒冲垵瀛﹁€呭拰鍒濈骇寮€鍙戣€呭浜嗚В澶ц妯¤瑷€妯″瀷鐨勯渶姹傘€傞€氳繃鏈暀绋嬬殑瀛︿範锛屽紑鍙戣€呭皢鑳藉鎺屾彙LLM鐨勬牳蹇冩蹇点€佹妧鏈師鐞嗗強瀹為檯鎿嶄綔鎶€鑳斤紝骞舵湁鑳藉姏鏋勫缓鑷繁鐨凩LM绯荤粺锛屾帰绱I鍦ㄨ嚜鐒惰瑷€澶勭悊棰嗗煙鐨勬棤闄愬彲鑳姐€?/p>

馃殌 LLM鍩虹璇﹁В锛?/p>

LLM姒傚康涓庡彂灞曞巻绋嬭В鏋愶細娣卞叆瑙ｆ瀽LLM鐨勫師鐞嗗拰瀹炵幇鏂瑰紡銆傚熀浜庢繁搴﹀涔犳灦鏋勭殑LLM锛岄€氬父閲囩敤Transformer妯″瀷缁撴瀯锛岄€氳繃澶ц妯℃棤鏍囪鏂囨湰鏁版嵁杩涜鑷洃鐫ｅ涔犮€傞殢鐫€妯″瀷鍙傛暟閲忕殑澧炲姞锛屽叾鍦ㄥ悇绉峃LP浠诲姟涓殑琛ㄧ幇閫愭笎瓒呰秺浼犵粺鏂规硶銆?/p>

鎶€鏈寫鎴樹笌鍓嶆部鐮旂┒鎺㈣锛氬敖绠LM宸茬粡鍙栧緱浜嗘樉钁楄繘灞曪紝浣嗗畠浠粛闈复妯″瀷瑙ｉ噴鎬с€佹暟鎹晥鐜囥€佸叕骞虫€т笌鍋忚璇嗗埆浠ュ強闅愮淇濇姢绛夋妧鏈寫鎴樸€傚墠娌跨爺绌舵鍦ㄦ帰绱㈡洿楂樻晥鐨勮缁冩柟娉曘€佹洿绮剧粏鐨勬ā鍨嬭璁′互鍙婅法妯℃€佸涔犵瓑瑙ｅ喅鏂规锛屼互鎺ㄥ姩LLM鎶€鏈殑杩涗竴姝ュ彂灞曘€?/p>

馃殌 缁撹锛氶€氳繃鏈暀绋嬬殑瀛︿範锛屽紑鍙戣€呭皢鑳藉鎺屾彙鏋勫缓鍜屽簲鐢↙LM绯荤粺鐨勫叧閿妧鑳斤紝涓烘湭鏉ョ殑NLP搴旂敤棰嗗煙鍒涢€犳棤闄愬彲鑳姐€傪煂烲LM鎶€鏈細璇█妯″瀷鐨勫師鐞嗐€佸簲鐢ㄤ笌瀹炵幇

褰撴垜浠帰璁↙LM鎶€鏈椂锛屽叾鑳屽悗鐨勬牳蹇冨師鐞嗘槸鍏抽敭銆傝瑷€妯″瀷閫氳繃鎻忚堪鏂囨湰鏁版嵁鐨勬鐜囧垎甯冩潵宸ヤ綔銆傜畝鍗曟潵璇达紝妯″瀷浼氬熀浜庡凡缁忚緭鍏ョ殑鏂囨湰锛岄娴嬩笅涓€涓瘝鎴栫煭璇殑鍙兘鎬с€備负浜嗗疄鐜拌繖涓€鍔熻兘锛屾ā鍨嬮渶瑕佺粡鍘嗗ぇ閲忕殑鏂囨湰鏁版嵁杩涜璁粌锛屽苟浠庝腑瀛︿範鍒拌瑷€鐨勬ā寮忓拰瑙勫緥銆備负浜嗘彁楂樻ā鍨嬬殑棰勬祴鑳藉姏锛岀爺绌惰€呬滑璁捐浜嗕竴绯诲垪澶嶆潅鐨勭畻娉曞拰绛栫暐锛屽鑷敞鎰忓姏鏈哄埗銆佹搴︾疮绉拰鍒嗗眰璁粌绛夈€?/p>浜屻€佹ā鍨嬩紭鍖栦笌璋冨弬

妯″瀷浼樺寲鏄彁鍗嘗LM鎬ц兘鐨勫叧閿楠ゃ€傝繖涓繃绋嬫秹鍙婂埌璁稿绛栫暐鍜屾妧宸э紝濡傚弬鏁板垵濮嬪寲銆佹鍒欏寲銆佸涔犵巼璋冩暣绛夈€傞€氳繃璋冩暣杩欎簺鍙傛暟锛屾垜浠彲浠ョ‘淇濇ā鍨嬪湪澶嶆潅鐨勪换鍔′腑琛ㄧ幇鍑鸿壊锛屽悓鏃堕伩鍏嶈繃鎷熷悎銆傝繃鎷熷悎鏄寚妯″瀷鍦ㄨ缁冩暟鎹笂琛ㄧ幇寰楀お濂斤紝浠ヨ嚦浜庡湪鏂版暟鎹笂琛ㄧ幇涓嶄匠銆傞€氳繃浼樺寲鍜岃皟鍙傦紝鎴戜滑鍙互璁╂ā鍨嬪湪淇濇寔澶嶆潅鎬х殑瀹炵幇鏇村ソ鐨勬硾鍖栬兘鍔涖€?/p>涓夈€丩LM鐨勫簲鐢?/h3>

LLM鎶€鏈湪澶氫釜NLP浠诲姟涓兘鏈夊箍娉涚殑搴旂敤銆備緥濡傦紝鍦ㄩ棶绛旂郴缁熶腑锛岄€氳繃LLM鎶€鏈紝鎴戜滑鍙互瀹炵幇瀵归棶棰樼殑绮剧‘鐞嗚В鍜屽洖绛斻€侴PT妯″瀷鍦ㄨ繖鏂归潰琛ㄧ幇鍑鸿壊锛岃兘澶熺敓鎴愭垨棰勬祴闂瓟瀵癸紝鎻愰珮绯荤粺鐨勫搷搴旇川閲忓拰鍑嗙‘鎬с€侺LM杩樺箍娉涘簲鐢ㄤ簬鏂囨湰鍒嗙被銆佹憳瑕佺敓鎴愬拰鏈哄櫒缈昏瘧绛夐鍩熴€?/p>鍥涖€佸疄璺垫寚鍗?/h3>

濡傛灉浣犳兂鏋勫缓涓€涓被ChatGPT绯荤粺锛屼互涓嬫槸涓€浜涙楠ゅ拰寤鸿銆備綘闇€瑕侀€夋嫨涓€涓€傚悎鐨勯璁粌妯″瀷锛屽閫氫箟鍗冮棶銆侀€氫箟涓囩浉绛夈€傛帴涓嬫潵锛屾敹闆嗘垨鑾峰彇閫傚悎妯″瀷璁粌鐨勬暟鎹泦銆傚湪妯″瀷璁粌濂藉悗锛屼綘闇€瑕佸鍏惰繘琛屽井璋冿紝浣垮叾閫傚簲浣犵殑鐗瑰畾浠诲姟銆傜劧鍚庯紝璁捐API鎺ュ彛锛岃鐢ㄦ埛鍙互閫氳繃鑷劧璇█涓庢ā鍨嬩氦浜掋€傚湪浜戞湇鍔″钩鍙颁笂閮ㄧ讲妯″瀷锛岃繘琛屽姛鑳芥祴璇曞拰鎬ц兘璇勪及銆?/p>

鍦ㄥ紑鍙戣繃绋嬩腑锛屼綘鍙互鍒╃敤涓€浜涘伐鍏峰拰妗嗘灦锛屽Deepspeed-Chat锛屾潵鎻愰珮寮€鍙戞晥鐜囥€備綘杩樺彲浠ュ弬鑰冧竴浜涘涔犺祫婧愶紝濡傛厱璇剧綉銆丟itHub銆佸鏈鏂囧拰鎶€鏈鍧涚瓑锛屾潵鑾峰彇棰濆鐨勫府鍔╁拰浜ゆ祦銆?/p>浜斻€佹€荤粨涓庤祫婧?/h3>

LLM鎶€鏈槸涓€涓笉鏂彂灞曞拰鍒涙柊鐨勯鍩熴€傚湪瀛︿範杩囩▼涓紝闄や簡鍩虹鐭ヨ瘑锛屾垜浠繕闇€瑕佸叧娉ㄦ渶鏂扮殑鐮旂┒杩涘睍鍜屽簲鐢ㄦ渚嬨€傚弬涓庡紑婧愰」鐩€佷笌绀惧尯鎴愬憳浜ゆ祦涔熸槸鎻愰珮鎶€鑳界殑濂芥柟娉曘€備负浜嗘繁鍏ユ帉鎻LM寮€鍙戯紝鎴戜滑鍙互浠庢ā鍨嬩紭鍖栦笌鍒涙柊銆佸簲鐢ㄩ鍩熸墿灞曘€侀亾寰蜂笌闂浠ュ強寮€婧愰」鐩础鐚瓑鏂瑰悜缁х画鎺㈢储銆?/p>

鎯宠鍦ㄨ繖涓鍩熷彇寰楁洿澶х殑杩涙锛屼笉浠呴渶瑕佹妧鏈拰鐭ヨ瘑鐨勭Н绱紝杩橀渶瑕佷笉鏂湴瀹炶返鍜屾帰绱€傞€氳繃涓嶆柇鍦板涔犲拰瀹炶返锛屾垜浠彲浠ユ垚涓篖LM棰嗗煙鐨勪笓瀹讹紝骞朵负绀句細鍒涢€犳洿澶氱殑浠峰€笺€?h3>浜や簰寮忓涔犱笌鍙嶉绯荤粺姒傝

鍦ㄦ帰瀵荤煡璇嗙殑鏃呯▼涓紝鑻ヤ綘閬囧埌闃荤鎴栨嫢鏈夊疂璐电殑寤鸿锛屼笉蹇呭绔嬮潰瀵癸紝鎴戜滑鏈夊涓簰鍔ㄥ钩鍙颁负浣犳彁渚涚晠鎵€娆茶█鐨勬満浼氾細

GitHub鐨勫紑鏀句笘鐣?/strong>锛?/p>

浣犲彲浠ョ洿鎺ヨ闂垜浠暀绋嬬殑GitHub浠撳簱銆傚湪杩欓噷锛屼綘鍙互鎻愬嚭閬囧埌鐨勭枒闅鹃棶棰橈紝鎴栬€呴€氳繃pull requests璐＄尞浣犵殑鏅烘収涓庡垱鎰忥紝涓€鍚屽畬鍠勬暀绋嬪唴瀹广€?/p>

绀惧尯璁哄潧锛氭€濈淮鐨勭鎾炰笌浜よ瀺锛?/p>

鎶€鏈埍濂借€呬滑姹囪仛涓€鍫傜殑鎶€鏈鍧涙垨绀惧尯锛屾槸瀵绘眰甯姪銆佽В绛旂枒鎯戙€佸垎浜粡楠岀殑缁濅匠鍦烘墍銆備綘鍙互鍦ㄨ繖閲屽彂甯冧綘鐨勫笘瀛愶紝涓庡悓琛屼滑涓€鍚屾帰璁紝璁╂€濈淮鍦ㄧ鎾炰腑婵€鍙戝嚭鏂扮殑鐏姳銆?/p>

閭欢鍒楄〃锛氫俊鎭殑鍗虫椂浼犻€?/strong>锛?/p>

鑻ユ兂鏇存繁鍏ュ湴鍙備笌鏌愪釜绀惧尯鎴栭」鐩殑璁ㄨ锛屽苟鑾峰彇鏈€鏂扮殑璧勮鍔ㄦ€侊紝鍔犲叆鍏堕偖浠跺垪琛ㄦ槸涓笉閿欑殑閫夋嫨銆備綘灏嗗疄鏃舵帉鎻℃渶鏂拌祫璁紝涓庡叏鐞冨紑鍙戣€呭叡鍚屽弬涓庣儹鐐硅璁恒€?/p>

鍙傜収杩欎簺鏁欑▼涓庤祫婧愶紝寮€鍙戣€呬滑濡傚悓鎵嬫彙閽ュ寵锛岃兘澶熷紑鍚疞LM绯荤粺鏋勫缓涔嬫梾锛屾帰绱I鎶€鏈湪鑷劧璇█澶勭悊棰嗗煙鐨勬棤灏藉ゥ绉樸€傝鎴戜滑涓€鍚岃璇佹妧鏈殑鍔涢噺锛屽叡鍚屽閫犳湭鏉ャ€?/p>