THE CHINESE BOOK FOR LARGE LANGUAGE MODELS 大语言模型 Copyright © RUC AI Box赵鑫 李军毅 周昆 唐天一 文继荣 著భ ࿽ 2022୍ָđChatGPT ᆑݪഈཌđնე࿽ଆ྘࠯ඌ࿡෎o༜जpਔᆜ۱ഠ߶đದ ۽ᇆି࠯ඌၹՎ႒টਔ၂Ցᇗေࣉᅚb૫ؓնე࿽ଆ྘఼֥նྟିđ໡ૌ҂࣌ေ ໙ğᆦӪᆃུଆ྘֥М࠯ުඌ࣮ࣨ൞൉હĤᆃ၂໙ี໭ၐӮູਔᇙ؟॓࿹ದჴ֥ නॉׄࢊb сྶᆷԛ֥൞đ նଆ྘࠯ඌѩ҂൞၂ᵉࣼطđ ఃؿᅚ৥ӱᇏ༵ࣜު৥ਔ๤࠹ე ࿽ଆ྘aപࣜຩ઎ე࿽ଆ྘aყ࿞਀ე࿽ଆ྘ؿ۱؟֩ᅚ؍ࢨđૄ၂҄ؿ֥ᅚ׻ୠ ࢲਔᇙ؟॓࿹۽ቔᆀ֥ྏ࿓აӮݔbቔູնე࿽ଆ྘࠯ඌ֥ᇗေ๷׮ᆀđ OpenAI ܄ඳႄਵਔЧՑ࠯ඌэ۪đಞ໡ૌᄜՑܤ߭ఃᆌؓնଆ྘࠯ඌ֥࿹ؿ৥ӱb 2015 ୍đOpenAI܄ඳᆞൔԷ৫đष൓ฐ෬๙Ⴈದ۽ᇆି࠯֥ඌਫ਼ཌbᄪ௹֥ OpenAI ๶ؒຶಡ఼߄࿐༝a؟ଆ෿aე࿽ଆ྘۱ࠫ֩ᇗေٚཟࣉྛਔധೆ࿹࣮bఃᇏđႮ Ilya Sutskever ਵ֥֝๶ؒᇶေܱᇿე࿽ଆ྘֥࿹࣮bۣܡ֒ 2017୍๷ԛࠎႿᇿၩ ৯ࠏᇅ֥ Transformer ଆ྘ުđ OpenAI๶ؒ࿡෎׳ҳ֞ਔఃమᄝ֥Ⴊᄀྟđಪູᆃ ᇕଆ྘ॖି൞၂ᇕնܿଆॖঔᅚ࿞਀֥৘མܒࡏbࠎႿՎđ OpenAI๶ؒष൓ࡹܒ GPT༢ਙଆ྘đѩႿ 2018୍๷ԛਔֻ၂ս GPTଆ྘—GPT-1đିܔ๙ݖo ๙Ⴈ໓ Ч࿞਀-หק಩ༀັט p֥ٓൔಀࢳथ༯Ⴓ಩ༀbࢤ༯টđ GPT-2ބGPT-3ଆ྘๙ ݖঔնყ࿞਀ඔऌބଆ྘ҕඔܿଆđཁᇷิശਔଆ྘ྟିđѩ౏ಒ৫ਔࠎႿሱಖ ე࿽ྙൔ֥๙Ⴈ಩ༀࢳथਫ਼ࣥbᄝ GPT-3ࠎ֥Ԥഈđ OpenAIႻ๙ݖս઒࿞਀aದ োؓఊa۽ऎ൐Ⴈ࠯֩ඌؓႿଆ྘ྟି҂؎ശࠩđ๷ԛਔۿି఼ն֥ GPT-3.5༢ ਙଆ྘b 2022୍11ᄅđChatGPT ᆞൔഈཌđିܔၛ߅ؓྙൔࢳथ؟ᇕ಩ༀđ൐֤ Ⴈ޼ିܔ๙ݖຩ઎ APIุဒ֞ე࿽ଆ྘఼֥նۿିb 2023୍3ᄅđOpenAI๷ԛਔ ѓᆽྟ֥ GPT-4ଆ྘đࡼଆ྘ି৯ิശᇀಆྍ؇ۚđѩࡼఃঔᅚᇀႚႵ؟ଆ෿ۿ ି֥GPT-4Vଆ྘b ّܴGPT༢ਙଆ྘ؿ֥ᅚ৥ӱđႵਆׄ਷ದႆའധख़bֻ၂ׄ൞ॖຉᅚ֥࿞ ਀ܒࡏა࿐༝ٓൔğ Transformer ܒࡏିܔຉᅚ֞Ϥၡa తၡമᇀຣၡҕඔܿଆđ ѩ ౏ࡼყ࿞਀಩ༀ๤၂ູ ყҩ༯၂۱Ս ᆃ၂๙Ⴈ࿐༝ٓൔĠׄؽֻ൞ؓႿඔऌᇉਈ აඔऌܿଆ֥ᇗ൪ğ҂๝Ⴟ BERTൈս֥ყ࿞਀ე࿽ଆ྘đᆃՑնე࿽ଆ྘֥Ӯ ۿაඔऌႵሢ۷ູࣅૡܱ֥༢đۚᇉਈඔऌaӑնܿଆඔऌӮູնე࿽ଆ྘ܱ֥ ࠎ࡯Ԥbഈඍ֥නਫ਼ुරࡥֆđ֌ିܔՖᄪ௹ᇙ࠯֥؟ඌਫ਼ཌᇏ࿙ᅳ֞ᆃ่ਫ਼ཌđѩ౏ֹקࡔಀᆳྛᆃ่ਫ਼ཌđᆃࣼ൞ OpenAIӮ࡯ܱ֥ۿ෮ᄝbܤ߭ OpenAI֥ᄪ ௹ં໓đൌ࠽ഈᄪᄝ GPT-2֥ં໓ᇏđࣼധೆษંਔࠎႿնܿଆ໓Чყ࿞਀֥๙ Ⴈ಩ༀ࿐༝ٓൔđಞದ҂ۋ࣌ฑ OpenAI๶࠯֥ؒඌభᅑྟbෙಖᆃᇕ࿹࣮ଆൔޓ ଴گᇅđ֌൞ᆴ֤໡ૌಀනॉa࿐༝b OpenAI๶ؒሱ GPT-3ष൓đޓࣼഒᄝ܄ष֥ҋਘᇏิࠣཌྷ࠯ܱඌ༥ࢫđޓ ࠯؟ඌБۡᇶေ൞ࢺക௟ҩཌྷ֥ܱଽಸb֞ଢభູᆸđܱႿ GPT༢ਙଆ྘ނ֥ྏ ࠯ඌಯಖ଴ၛປಆࢳૡbෙಖႵᇙ܄؟ඳᄝӇ൫گख़ GPTඣ௜֥նე࿽ଆ྘čೂ Anthropic aGoogle֩Ď đ֌൞ᆜุটඪđ OpenAIಯಖᄝնଆ྘࠯ඌഈႵሢࢠն֥ ਵ༵ྟb۴ऌ Sam Altman ܄֥षҐࢺ٠കđഉໃؿ֥҃ GPT-5ཌྷбGPT-4߶ࡼႵ ᇗေ࠯֥ඌࣉ҄bೂݔ൙ൌೂՎđପહ GPT-5֥֞টࡼᄜՑঘնਔა֒భః෰ն ე࿽ଆ྘֥ҵएđॖିၩ໅ሢದোཟሢ๙Ⴈದ۽ᇆିႻજԛਔᇗေ၂҄b ཌྷྐႵ؟ޓದ߶׻Ⴕ၂܋۱๝֥ၐ໙ğູ൉હ GPTඣ௜֥նଆ྘଴࿞਀Ĥܱ ႿູޅGPTࠩљ֥նଆ྘଴ၛ࿞਀đ ྸ؟ದॖି߶൮༵མ֞ෘ৯֥ཋᇅb ಒൌđ ູ ਔ࿞਀Ϥၡࠩљ֥ۚඣ௜նଆ྘đ๙ӈླေቋഒϤवࠩљ֥ A100/A800 (80G) ሧ ჷđطູਔԉٳฐ෬࿞਀ݖӱᇏ۲֥ᇕ༥ࢫđສສླေႵతवࠩљ֥ A100/A800 (80G)ሧჷቔູᆦӪbؓطႿతၡaຣၡଆ྘টඪđ෮ླေ֥ٮݻෘ৯ሧჷ۷൞ࠞ ູஔնbଢభđ࿐ඌࢸ૫ਢ֥ᇗն็ᅞ൞ᆇᆞႵԉቀሧჷಀӇ൫ყ࿞਀࠯ඌ֥๶ ؒഒᆭႻഒđၹՎ֝ᇁਔֻ၂൭ࣜဒኇكđ଴ၛᆰࢤषᅚཌྷܱ࿹࣮b նଆ྘࿞਀ടࠣᇙ؟࿞਀֥༥ࢫđᆃུ༥؟ޓࢫൈީ໭مՖၘႵ॓࿹ં໓ᇏ ᆰࠆࢤ౼bᄝ๤࠹࿐༝ൈսđॖၛᆌࠏؓఖ࿐༝ଆ྘ࣉྛ٤ӈԉ֥ٳൌᆣ࿹࣮đ২ ೂ൐Ⴈᅅ۬ෆ෬ҕඔ֥ቋႪᆴa࿊ᄴݦނඔaᆳྛࢌҭဒᆣ֩b๙ט֥ܼٗݖႪ ൌဒđ࿹࣮ದჴޓॹࣼିࠒ৆ԉቀ֥࿞਀ࣜဒđطࣉྙӮؓႿᆃུ๤ࠏ࠹ఖ࿐༝ ଆ྘֥ധೆ৘ࢳb֌൞đնე࿽ଆ྘ႮႿҕඔᇙ؟aቆگࡱᄖa࿞਀ݖӱ္бࢠ گᄖđᄪ௹֥ൌဒฐ෬ೂݔ҂ႄೆ಩ޅ༵ဒᆩ്đॖି֝߶ᇁᆷඔࠩᄹӉ֥ൌဒ ඔਈbಖطđགྷൌ౦ঃ൞đ؟ޓ࿹࣮ದჴѩીႵቀ֥ܔሧჷಀປӮ၂Ցປᆜ֥ն ܿଆყ࿞਀ൌဒđᆃ൐֤ᅧ໤նଆ྘࠯ඌֻ֥၂൭ࣜဒэ֤Ⴍູ঒଴đ۷҂Ⴈඪ Ֆਬष൓ฐ෬ཌྷܱ॓࿹໙ีđࠞնཋᇅਔ࿐ඌࢸᄝՎՑದ۽শӖᇏ෮ఏ֥֞ቔႨb ଢభđି৯ࢠ఼֥նე࿽ଆ྘ࠎЧ׻ჷሱ۽ြࢸđᆃ၂౴൝ෛሢൈ֥ࡗ๷၍ॖି ߶эࡆ۷֤ૼཁbՖֻ၂൭ࣜဒᇏo Know-How p đؓႿ॓࿹ದჴটඪ٤ӈᇗေđᆺ ႵࢤԨ࠯֞ඌނྏđҌିᆇᆞ৘ࢳଧུ໙ี൞Ⴕၩၬ֥đѩᅳࢳ֞थٚσb ਷ದྋ༟֥൞đ໭ં൞ᄝ࿐ඌߎࢸ൞۽ြࢸđದૌ׻ᇯࡶಪ്֞ਔoष٢p֥ᇗေྟđିܔु֞ᄀটᄀ܄֥؟षࠎ֥Ԥଆ྘a࠯ඌս઒ၛࠣ࿐ඌં໓đႵ৯ֹ ๷׮ਔնଆ྘࠯ඌ֥o๩ૼ߄p bᆺႵ๙ݖष܋ބ٢ཚđҌି߸ऊಆದো֥ᇆ߰đ ܋๝๷ࣉದ۽ᇆି࠯ඌؿ֥ᅚbൌ࠽ഈđ۴ऌགྷႵ܄ष֥ሧਘđնଆ྘࠯ඌ္൞ oႵᅣॖ࿖p֥đೂᆜุ࿞਀ੀӱaඔऌౢ༡مٚaᆷ਷ັ࠯טඌaದোொؓݺఊ ෘ֩مb۴ऌᆃུ࠯ඌđᄝෘ৯ሧჷᆦӻ༯đ࿹ؿದჴၘࣜିࢠܔູඨ০ֹປӮ նଆ྘֥ᆜุ࿞਀ੀӱđѩ౼֤҂հ֥ଆ྘ིݔbෛሢނ؟۷ྏ࠯ඌࢣ֥ൕބष ٢đնଆ྘࠯ඌ֥o๩ૼ߄pࣉࡼ၂҄ิۚb ູਔֹݺ۷ᆜ৘ބԮѬնଆ྘࠯ඌ֥ቋྍࣉᅚა࠯ඌุ༢đ໡ૌᄝ 2023୍3 ᄅؿіਔնე࿽ଆ྘ሸඍ໓ᅣu A Survey of Large Language Models v đѩ҂ࣉ؎ྛ ۷ྍປ೿bᆃ௉ሸඍ໓ᅣၘ۷ࣜྍֻ֞ 13۱ϱЧđЇݣਔ 83်֥ᆞ໓ଽಸđѩ ൬੣ਔ900Ⴥ௉ҕॉ໓ངbሱႇ໓ሸඍ໓ᅣഈཌުđ੤࿃Ⴕ؀ᆀ࿘໙൞ڎႵؓႋ ֥ᇏ໓ϱЧbູՎđ໡ૌႿ 2023୍8ᄅؿ҃ਔھሸඍč v10Ď֥ᇏ໓يၲϱbᄝ 2023୍12ᄅָđູਔֹݺ۷ิ܂նଆ྘࠯ඌ֥ᇏ໓ҕॉሧਘđ໡ૌఓ׮ਔᇏ໓඀ ֥щཿ۽ቔđѩ౏Ⴟ࣍ರປӮԚ۠bაႇ໓ሸඍ໓ᅣק໊֥҂๝đᇏ໓ϱ඀۷ࠡ ᇿᇗູնଆ྘࠯ඌ֥ೆ૊؀ᆀิࢳࢃ܂đູՎ໡ૌᄝଽಸഈࣉྛਔն۷֥؇ږྍ აᇗቆđ৯๭ᅚགྷ၂۱ᆜุ֥նଆ྘࠯ඌॿބࡏਫ਼ཌ๭bЧ඀ൡႨႿ ऎႵധ؇࿐ ༝ࠎԤ୍֥ۚࠩЧ॓ളၛ୍֮ࠣࠩ࿹࣮ള ൐Ⴈđॖၛቔູ၂Ч ೆ૊ࠩ࠯֥ඌ඀ࠡb ᄝሙСᇏ໓඀ݖ֥ӱᇏđ໡ૌܼٗᄇ؀ਔགྷႵׅ֥ࣜં໓aཌྷܱս઒࢝ބҋđ Ֆᇏิ৿ԛނྏۀ୑aᇶੀෘمაଆ྘đѩࣉྛਔ༢๤ྟ֥ቆᆮაࢺകb໡ૌؓႿ ૄ۱ᅣ֥ࢫଽಸԚࣉ׻۠ྛਔ؟Ցྩᆞđ৯౰іղ֥ౢ༉ྟაሙಒྟbಖطđᄝ඀ ཿݖӱᇏđ໡ૌധۋሱദି৯აᆩ്֥अཋྟđ࣐ܵၘڱࣜԛਔࠞն֥୭৯đ֌ ଴૧߶Ⴕ၌੐ࠇ҂֒ᆭԩbЧ඀֥Ԛϱࣇ൞၂۱ఏׄđ໡ૌ߃࠹ᄝຩഈӻ࿃ࣉྛ ଽಸ۷֥ྍބປ೿đѩหљߋ႒؀ᆀิԛЏ֥݌஻௟აࡹၰđ္߶๝҄ᄝຩᅟഈ ؓႿิԛЏࡹ݌ၰ؀֥ᆀࣉྛᇁ྆b໡ૌࡼщཿՎ඀ݖ֥ӱ֒ቓ၂۱ሱദ֥࿐༝ ݖӱđ္༐ຬିܔ๙ݖЧ඀ა؀ᆀࣉྛധೆࢌੀđཟ֥؟۷ྛြ๝ྛ࿐༝b ሹᆭđնଆ྘࠯ඌᆞԩႿॹ෎ؿᅚ؍ࢨđࠎԤჰ৘ታրฐ෬a࠯࡯ܱඌታր ڿ೿bؓႿ॓࿹ದჴط࿽đնଆ྘࿹۽࣮ቔԉડਔམའॢࡗđ਷ದູᆭപສbෛ ሢ࠯ඌ֥҂ࣉ؎҄ა܋ཚष٢đ໡ૌႵ৘Ⴎཌྷྐđໃটದ۽ᇆି࠯ඌࡼ౼۷֤ն ࣉ֥ᅚđࡼᄝ؟۷ਵთջট۷ູധჹ֥႕ཙb ቔᆀ 2024୍3ᄅ31ರ