文章主题：
在几个月前，我向大家开源了misaka-writerV1模型（下文简称V1模型）。小说发布后有不少写手上手用过了，确实相比较gpt类型的ai写作模型更不容易出现新的人名地名，换而言之对作者来说可控性更强了。
🌟🚀新纪元来临！Misaka-Writer V2模型震撼登场！🎉🔍之前的版本虽有突破，但仍存在瓶颈——推理速度慢如蜗牛，文章逻辑构建略显粗糙。作为一位执着的优化者，我深感责任重大，于是倾力打造了V2模型，旨在为用户提供更流畅、智慧的写作体验。🚀🌈 sürprisingly, V2在原有基础上进行了革命性升级：速度大幅提升，每秒迭代次数飞跃数倍，让创作不再等待！💨🔍而逻辑层面，我引入了深度学习算法，确保每个段落都如丝般顺畅，观点连贯，无瑕疵。 yazability跃升至全新高度，让文字更有说服力和感染力。📝🎯对于那些急于见证成果的朋友，不必再犹豫，直接进入效果展示部分，V2的卓越性能将一目了然！👀🌟若您对改进细节感兴趣，不妨稍作停留，这里将详尽解析每个优化背后的技术突破，让您深入了解模型如何成为文字艺术的典范。📖💻#Misaka-WriterV2 #写作革命 #速度与智慧
模型改进
🌟速度提升大揭秘🔍：从V1的tf2.5.keras到V2，推理速度的飞跃是我关注的重点。经过对比，我发现tf1.15/tf2.2在推理效能上远超当时的tf2.5.keras，这背后的谷歌优化策略确实让人费解。但对于CPU用户来说，速度才是硬道理！🌟为满足快速响应的需求，V2版本特别针对CPU设计了独到的注意力缓存机制，告别了keras GPU版本中复杂的cache管理。这一创新让CPU用户也能在短短一分钟内轻松生成文字，效率翻倍，体验升级！🚀值得一提的是，这个改动不仅提升了用户体验，也体现了我对技术优化的执着追求。如果你对推理速度有高要求，不妨试试我们的V2版本，它将带给你前所未有的流畅体验。💪
然后是文字逻辑的问题。说是问题但又不是一个问题，因为V1模型去掉词表只有60M。对于这么小的一个模型来说，强求逻辑什么的确实有点难为了。所以解决这个问题的办法也就很简单，就是预训练三件套1.升级模型 2.加参数 3.加语料。小孩才做选择，作为成年人当然是全都要。
1.模型升级
在模型方面，我将transfomer中的MHA换成了苏神设计的GAU-alpha.相比较普通的MHA来说，GAU可谓是又快又好。大部分的设置都参考自苏神的预训练模型，包括deep norm rms norm 去掉bias等。decoder端则对齐了transformer的结构 每个block采用了 GAU Cross-GAU GAU的结构（GAU既可以看作是FFN也可以看作是MHA）。
但和苏神模型不同的是，V2模型里encoder decoder共享一个embeding，而输出单独一个embeding。这是因为词表比较小，占用的参数量并不多，输入输出共享embeding节省的显存并不多所以干脆就放开了。
2.加参数
在加参数方面，相较于V1模型8+8层 512维（t5 small的设置）升级到了15+15层 640维。肯定有读者奇怪为什么不采用12 + 12 768的常规设置呢？其实没有为什么，我只是想在现有条件下尽可能做深一点。最开始我设置的是16+16 512，后来发现实在跑不动才在参数量相似的情况下改成了现在的设置。
但整体来说从V1的80M升级到了V2的200M，参数量的提升随之带来的也是模型效果的提升。至于具体生成文字的逻辑读者可以自行比较与misaka-writerV1模型的差别。
3.加语料
其实V1模型的语料并不少，但V1模型是一个中英双语模型。我们都知道多语言模型在效果上会往往弱于单语言模型，换句话说V1模型并没有发挥出他那100G语料该有的效果。因此在V2里我们去掉了英文语料转变为纯粹的中文模型。
除了这点外，我们进一步增加语料的数量。这部分语料也开源出来给大家自己取用。
https://pan.baidu.com/s/1rI0AnGEeS_6EbJWpZwHNWA?pwd=xgz9 提取码:xgz9
除了这部分自己收集语料外，在V1的使用过程中我发现V1纯小说训练出来的模型极度缺乏常识。比如他会把休克当作是人名而不是一种病/或者说状态。
为此在V2里我们加入了中文摘要数据集、百科数据、悟道的部分数据以及各种杂七杂八的通用语料期待改善模型的常识生成能力。
效果展示
讲完了模型，话不多说直接上效果（以下为cpu版本的生成展示）
内容质量什么的就见仁见智了，但速度方面差不多是达到预期的。
然后再看看gpu的生成速度（古典文学模型续写三国演义）
质量上大家自己感受吧，但是速度上平均每条20s也还行吧。
另外和大家说个有意思的发现，noval ai相信大家都不陌生。通过比如“一个男孩抱着一个女孩，男孩穿粉色衣服，女孩戴绿色帽子’的tag方式生成图片。
我们发现，如果让misaka模型对着一本小说使劲过拟合后也能达到类似的效果。
那对于某本小说过拟合后能达到这个效果，那我放出来的精调权重和还未开源的原始权重能不能达到这个效果呢。于是我索性试了下。
对于调整后的模型如图所示，显然是不大行的。虽然主题没有离开tag，但是名字完全没有识别。但如果人工修改下没识别的名字其实倒也不错。
而对于原始权重来说，名字识别对了，但是写的内容和tag其实没多大关系。还会出现我和我 谈恋爱，我杀了我这种逻辑问题。
但这似乎表明了V2模型相较于gpt类模型除了避免人名地名外有着更强可控性的玩法。
但更多的玩法还是交给各位用户去探索吧，毕竟会造高达和会开高达是两码事
另外由于结构不一样，gpt类模型可以从任意句子出发给你续上。但本模型建议输入是带句号的完整句子
欢迎使用
延续V1的设定，感谢 北大美少女
为我们的工作提供了UI和懒人包。
由于百度云实在太慢了，所以本项目的所有资源（懒人包和模型权重）都放在了qq 群（905398734）里。欢迎大家加群使用。
目前放出了 古言，科幻，言情，日轻，二次元，玄幻，穿越重生，都市，中国古典文学这几个类型的权重。欢迎大家下载并分享玩法。
最后希望大家能给本项目的github点个star
2023年一月二号更新
misaka模型新增扩写功能，算是中文世界最早的小说扩写开源模型，欢迎加群体验
生成文章如下所示
===============================下面的就是章纲==============================
玄幻章纲 沧颜身姿轻灵，笑着和叶苏交谈，看的周围的人诧异不已，没想到天仙族的天骄竟然会对叶苏如此的态度良好。
==============================章纲文本截止区域=============================
她身段挺拔，纤尘不染，站在那里宛若一株带着灵性的天仙子，面庞莹白如玉石，绝美而空灵。
她有种出尘的气质，平和而无喜怒哀乐，这种气质一出，让无数人都心颤。
人们确信，这是一个无比出众的女子，简直就是【 】第一丽人，称得上倾城倾国，就是她都会心动。
沧颜风姿绝世，风姿动人，风姿国色天香，非常的惊艳，整个人身段完美，如同行走在【 】最为绚烂的红色钻石间。
她不可一世，身段修长，肌肤白皙而晶莹，肌肤晶莹细腻而有光泽，光泽柔和而又有光泽，整个人明净而不染尘埃。
“你可真是风华绝代。”
她轻轻开口，在这里轻灵的笑着，宛若仙子般，美丽而超然。
当她这样轻描淡写的一句话出口，让一群人的面色都变了，这种姿态太轻灵，风姿绝代，整个人都仿佛要羽化飞仙，化成真仙！
这种姿态，让人觉得十分难受。
她的姿容，她的气质，无疑都是相当惊艳的，这种姿态若是在各族天骄身上都能体现出来，将会被各族喜欢。
就是一些老怪物都会眼红，这种姿态的人非常罕见。
一个女子若是在【 】内在天仙瀑布内渡劫，进入外界则会成为【 】的天骄！
这种姿态太惊艳，别说是其他人，就是【 】的老怪物都会心动。
“你这么自信，我都有点不好意思了。”叶苏一脸笑意，一副娇羞的样子。
“我这不是看你才过来的吗？”沧颜笑着开口，白皙如羊脂玉石，整个人十分空灵。
“好说，好说。”叶苏微笑，一副风度翩翩的样子，相当的优雅。
他们两人间的气氛越发的融洽，不过在这片地带有人不安分，因为来了不少人。
当然，有不少都是天才，不怕这里的地势，但也不愿冒犯他们中的【 】的天女，都想远远地离开。
此时，他们都很有默契，不想让那两人察觉。
但是，他们不知道，哪怕是【 】的天骄，也看出了端倪，眸子中露出异样之色。
“我也有一个结拜兄弟。”远处，【 】一位年轻的天才微笑，露出矜持的神色，没有过去。
“你是沧澜仙子吧？”有人轻声询问，话语中带着调侃之意，这让他身边的人不爽。
这个人叫沧澜，只是【 】的一位小辈天骄，年岁不大，却已经是【 】境界，在这种地方居然没有出现在前十大中，着实让人惊异。
“在下……”沧澜微笑，没有回应，很是自然的走到了一边，不想多说什么。
“我知道了。”叶苏点头，而后看向叶珞仙，这是她姐姐，自然知道了她和叶苏间的事。
一时间，所有人都惊异，这个所谓的沧颜族的天骄都有点怪，看着清秀，但是气质很高，居然这么的冷。
此时，叶苏大眼扑闪，看着沧颜，带着疑惑，还有那么的笑意，她刚才也很高兴，现在也在微笑。
“我们相谈甚欢，当不得那种称呼。”沧颜说道，她是真的不喜欢高人一等，这种姿态实在是有些过了。
叶苏笑的开心，道：“真的，你若是对我有意，我便交个朋友，有朝一日若是你我遇到了，我会竭尽所能的去照顾你，你若是遇到了难以解决的问题，我可以送你一颗天仙果。”
这种话语，让许多人都惊讶，这位小公主太张扬了，居然想与她交朋友？
“好，有些朋友有缘还是会相见的。”沧颜微笑，很快又敛去，她一身紫衣，整个人越发的空灵出尘，她的身段修长，有种无与伦比的美。
然而，其他人则很诧异，仔细的看着，这位小公主身段高挑，曲线惊人。
一些人轻灵的迈步向前，跟着她一起向前走去，向前迈步的人更是看向前方的青年，露出惊容。
沧颜则侧头看向那个青年，道：“他就是叶苏，来自星空中的一个名人，很有名气。”
沧颜身姿轻灵，笑的如同花骨朵般，眼波流转，红唇鲜艳，她抬起头来，看着叶苏，眼底深处略有一抹异色，道：“我认为，你应该会来【 】。”
“我是来自地球的一颗生命星球上的普通人，跟你们这些古老的进化文明有缘，来到【 】，是我们这颗星球上的荣幸。”
叶苏平和的说道，他没有理会此女，也没有看一眼对面的一群人，而是看向沧颜。
“看你肤色雪白晶莹，宛若羊脂玉石雕刻而成，风姿动人，长相虽然不俗，但是还不够资格，我看，还是你们地球的一些天纵人物可以跟你们地球天才争锋。”
说到这里，她一招手，顿时有一群年轻人从远处走来，从而出现在两人的近前。
有的人头上戴着紫金冠，有的人则头上插着羽毛般的发丝，还有的人则是穿着五色战衣，都是天才，年岁不大，但是都很出众。
此人皮肤雪白如玉，称得上美男子一个，很英俊，他肤色雪白，没有一点瑕疵，瞳孔深邃，看起来相当的有气质。
“【 】的天才就是不错。”叶苏说道，并且没有看那些年轻人，而是盯着叶苏。
这种评价让人诧异，都说【 】的天骄很强，他们在这颗星球上排名第十一，可现在看来，只是表象。
“沧颜仙子，【 】的天女，以后可是要嫁给我啊，我怎么觉得像是在看神话传说呢。”叶苏笑道。
沧颜瞥了他一眼，没有说话。
他们的这种关系，其他人不能说，不能窥探，不然的话会被【 】出手镇杀。
叶苏美丽动人，睫毛很长，如同天鹅般的睫毛眨动间，一双大眼瞟动，非常有灵气，她一身白衣，风姿绝世。
叶苏看到她的美眸，看到她的风采，知道这是一个很出众的女子，是一个十分出众的女子。
同时，他也在观察，想要看出她的来头，是哪一族的天骄，很快就知道了。
“那边，有一个看起来很英俊的年轻男子，在那里一直在看着你，还有那个娇小玲珑的少女，也在那里，都很艳丽。”
叶苏的注意力自然集中在两人身上，看到了叶苏身边的两人，当时眼睛一亮，那是……黄金天蛛，还有一个神秘的年轻女子，看起来是仙子，不过其实是【 】的天女。
叶苏觉得，应该要去了解下。
而此时，不少人都在关注叶苏与叶苏，包括几位天骄的天女，也有人在关注他们两人，因为两人太耀眼了，远远的看着，让人惊叹。
沧颜相当的随和，轻灵而又灵动，身段很轻灵，她迈着优雅的步子，轻灵地走来。
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
转载请注明：破晓新篇：misaka-writerV2模型大升级，推理速度飞增，文字逻辑新突破，一键生成带你飞！ | ChatGPT资源导航
相关文章
