Time
2024.5
Role
独立负责项目设计
直播头像框LoRa模型训练｜ 搭建ComfyUI设计工具｜提升团队AI设计能力
快速掌握最新AI技术 ➡️应用于项目 ➡️ 总结设计工具提质提效团队
背景： Mj普及之后因为其上手难度低，整个团队已经全面应用了，但由于可控性不高，需要反复微调和人工后期才能达到业务要求 1*N ➡️ N*N 我基于comfyui落地了一些项目，主要是基于扩散模型和但是最新的技术如Lora模型训练、节点插件等，根据需求反推设计了提效提质的工作流，实现了1*N的提效产出，并且制作了教程引导和一键开箱即用的工作流使用流程给到设计、产品、甚至研发也会问我要工作流，实现了N*N的提效产出
LoRa模型训练
问题： 基于Mj生产头像框光影不够统一，调整过程繁琐，且头像框需求数量大，非常消耗设计资源 解法： 根据需求效果反推定向微调设计训练SDXL的Lora模型，过程经历多版素材源优化、打标优化、训练参数调整、Lora模型测试筛选，得到泛化性、准确性、可靠性较高的模型
搭建ComfyUI设计工具将模型能力共享给团队
探索多种方法，最终通过域网完成开箱即用的头像框自动化设计工作流搭建 http://30.210.168.119:8188；单个头像框产出效率提高了8倍不止，效果对比基于MJ拼凑的也质感和光影也更好
1*N ➡️ N*N
不止我能量产，大家基于我的工作流也提高了很大的效率，得到了设计和产品的好评；甚至产品知道我们有工作流之后现在需求量大了3倍不止，更多的活动也能拉更长的时间和活跃度，收入也更高
主播照片美化 工作流显著节省设计资源
基于comfyui的主播照片美化，结果上显著提质提效，并且得到了产品的好评；主要是用在活动与UI配合、或者海报里，而这又直接影响主播的活跃度（露出头像能得到更多的关注），由于每个盛典项目涉及的主播数量都很大，而且主播也有流动性，导致每次照片都得重新修；而与活动有关就有数以千计的主播，一个人要基本一周才能处理完；应用工作流之后一天可处理完 即使用各种节点例如IPA、IClight重打光、ControlNet、原图提取细节等，以及测试了各种模型效果和调参；细节上最后也补充了自动扣图和规则明名，让前后链路交接比较方便