手机端扫码访问
微信公众号

动态

专业实践风采|庄昊霖: 交叉创新,兴趣结合

2023-08-11

引言 /编者按


专业实践是电子信息(互联网+创新设计)专业学位研究生培养的重要环节。高质量的专业实践是培养高层次应用型人才的重要保证。

近期,我们将邀请Open FIESTA 专业实践表现优秀、成果突出的同学分享相关经验,以增进同学们对专业实践的了解。



庄昊霖


互联网+创新设计项目2021级学生,2022年7月至2022年11月在元象完成专业实践。


专业实践二等奖获得者。



理论学习,夯实基础

庄昊霖于2021年9月加入清华大学深圳国际研究生院,师从吴志勇副研究员,期间主要从事音乐驱动舞蹈生成方向的研究。在开学初期,他自学了大量关于信号处理和人工智能的相关知识,并积极参与了师兄师姐的课题研究。这些经历为他奠定了扎实的理论基础和科研能力,为其后续的科研探索和专业实践工作打下了坚实的基石。



交叉创新,兴趣结合

作为互联网+创新设计项目的学生,庄昊霖深刻认识到学科交叉的重要性和必要性。他认为,在新时代科技发展浪潮下,应用人工智能进行文化艺术创作的交叉创新研究具有巨大的科研价值和社会意义因此,他综合研究方向、专业所学知识、实践公司的产业需求,选择了流派一致的长序列3D舞蹈生成为题目的专业实践。既能为舞蹈生成研究领域和数字人工业发展作出贡献,也能推动人工智能与文化艺术领域的交叉创新。


在研究生期间,庄昊霖还担任了DK5s街舞社的副社长。在日常街舞训练中,他思考如何将舞蹈的专家知识融入自己的科研课题。通过与社团老师、同学讨论,庄昊霖发现编舞师通常会根据音乐来决定舞蹈流派,由此推测音乐与舞蹈流派可能存在相关性。


基于此,庄昊霖与实践企业导师讨论,构建了基于流派令牌网络的舞蹈生成框架,并引入了对于流派令牌网络的预训练与微调方案,解决了传统方案中生成舞蹈流派不一致的问题,极大地提升了生成舞蹈的表现力与视觉质量。同时,在企业同事的帮助下,庄昊霖将所提出的舞蹈生成框架应用到了业务中, 在元象“3D AIGC-数字人多模态交互”业务模块中落地,增加了实践企业的技术储备此外,庄昊霖在专业实践期间成功发表了国际学术会议论文一篇,申请了发明专利一项,并整理了数据集一套。




图|生成结果对比,上图 (红色Avatar) 为所提出方法的生成结果,下图 (蓝色Avatar) 为基线模型生成结果



脚踏实地,潜心研究

庄昊霖告诉我们,这段专业实践经历对他来说有特殊的价值。这种价值不仅体现在实践阶段取得的成果上,更源于在18周专业实践过程中每一天都坚持脚踏实地地努力工作实践初期,庄昊霖对这个课题并不是驾轻就熟,但在校内外导师的指导和自己的坚持下,他不断探索方案和思路并取得了成长。庄昊霖表示:“我将在未来继续进行音乐驱动舞蹈生成方向的研究,希望能够产出更有价值的成果,让更多的人体验到舞蹈所带来的快乐


图|庄昊霖在国际学术会议上分享自己的工作