¡¾¿É°®ÓêÒ¡¿¼Û¸ñ³åͼƬ³åÆ·ÅƳåÔõôÑù-¾©¶«É̳ÇÃÀÅ®½ÌʦÉÏÃżҷÃ,¾¹±»Ñ§ÉúŪµÃÏ°ëÉí¶¼ÊÇË®³åÍøÒ×ÊÓƵ
ÖйúÏã¸Û¡¢¶«ÄÏÑÇ£¬¶«ÃËÊ®¹úÒѾ¿ªÊ¼Öð²½½øÈ룬ÔÚÄÏÃÀ¡¢ÖÐÑǵijö¿ÚÒѾ¿ªÊ¼£¬Å·ÖÞ½ñÄêÏ°ëÄêÒ²»á³ö¿Ú£»
2024Äê12ÔÂ24ÈÕ£¬7. Íò¹úÆÏÌÑÑÀϵÁÐ
¡¾¿É°®ÓêÒ¡¿¼Û¸ñ³åͼƬ³åÆ·ÅƳåÔõôÑù-¾©¶«É̳ÇÃÀÅ®½ÌʦÉÏÃżҷÃ,¾¹±»Ñ§ÉúŪµÃÏ°ëÉí¶¼ÊÇË®³åÍøÒ×ÊÓƵ
ÎÒÖ±½Ó¾Ü¾øÁ˸æËß´óÉ©:ÎÒÕÒµ½ÁËס¼Ò±£Ä·µÄ¹¤×÷Ò»¸öÔÂ8000Ôª¹ÍÖ÷¾Í¿´ÉÏÁËÎҵijøÒÕ
×Ö½ÚÈôï·ÒÆæºÍÃÉÄÈÀöɯ¡°¸ô¿Õ³³¼Ü¡±£¬Ö»ÐèÒ»ÕÅͼ¡¢Ò»¶ÎÒôƵ2024-01-15 10:22¡¤Á¿×ÓλAIGCÔÚÊÓƵÉú³ÉÁìÓòÕ¹ÏÖ³ö·Ç·²µÄDZÁ¦¡£½üÆÚ£¬ ×Ö½ÚÌø¶¯ÖÇÄÜ´´×÷ÍŶӺ͵ÿËÈø˹´óѧ´ïÀ˹·ÖУÓÖÌá³öÁËÒ»ÏîÃûΪDREAM-TalkµÄ»ùÓÚÀ©É¢Ä£ÐÍ¿ò¼Ü£º½ÓÊÕÒ»¶ÎÇý¶¯µÄÒôƵÐòÁС¢Ò»ÕŸø¶¨µÄÈËÏñͼƬºÍÒ»¸öÇé¸Ð·ç¸ñµÄÀý×Ó£¨Ò»¶ÎÓÐÇé¸ÐµÄ½²»°Ã沿ÊÓƵ£©×÷ΪÊäÈ룬¾ÍÄÜÉú³ÉÒ»¶Î±ÆÕæµÄ¡¢×촽ͬ²½µÄ½²»°Ã沿ÊÓƵ£¬ÆäÖаüº¬¸ßÖÊÁ¿µÄÇé¸Ð±í´ï£¬Á¬»ÏñÒ²ÄÜ»æÉù»æÉ«µØ½øÐбíÑÝ£¬»¹Ö§³Ö¶à¸öÓïÖÖ¡££¨ÒÔϽá¹û°üÀ¨ÕæʵÈËÀàͼÏñºÍÓÉ AIGC Éú³ÉµÄͼÏñ¡££©DREAM-Talk ¿ò¼ÜµÄÁ÷³ÌÈçÏ£ºÊ×ÏÈ£¬½«ÒôƵӳÉäµ½±íÇéÊÇÒ»¸öÒ»¶Ô¶àµÄÎÊÌ⣬ʹµÃ»ñµÃ¶¯Ì¬ºÍÕæʵµÄ±íÇé±äµÃÀ§ÄÑ¡£Æä´Î£¬Éú³ÉһϵÁÐ3DÁ³²¿±íÇé²ÎÊýÉæ¼°Ðí¶àÎÊÌ⣬ÈçÁ¬ÐøÐԺͶàÑùÐÔ¡£ÎªÁËÓ¦¶ÔÕâЩÌôÕ½£¬ÍŶÓÌá³öÁË»ùÓÚÀ©É¢µÄÄ£ÐÍ£¬ÓÃÓÚÉú³É3DÃ沿±íÇéÐòÁС£ÒÔÊäÈëµÄÒôƵ¡¢³õʼ״̬ºÍÇé¸Ð·ç¸ñ×÷ΪÌõ¼þ£¬ÍŶÓÀûÓÃEmoDiffѧϰËæʱ¼äÈ¥Ôë3D±íÇ飬ʹÓûùÓÚTransformerµÄ¼Ü¹¹½øÐÐÐòÁн¨Ä£¡£³õʼ״̬¶ÔÓ¦ÓÚµÚÒ»Ö¡ÖеıíÇ飬Çé¸Ð·ç¸ñÓÉËæ»úÑ¡ÔñµÄ±íÇéƬ¶Î¶¨Ò壬¶ÀÁ¢ÓÚÊäÈëÒôƵ¡£´ÓÀ©É¢Ä£ÐÍ»ñµÃ¶¯Ì¬Çé¸Ð±í´ïºó£¬ÍŶӹ۲쵽À©É¢ÍøÂçÎÞÒâÖмõÉÙÁËÒôƵµÄÓ°Ï죬µ¼ÖÂÒôƵºÍ×ìÐÎÖ®¼äÃ÷ÏԵIJ»Æ¥Åä¡£ÕâÖÖÏÖÏó¹éÒòÓÚÀ©É¢ÍøÂçÉú³ÉÕæʵÐòÁеÄÇãÏò£¬´Ó¶ø¼õÈõÁËÒôƵµÄÓ°Ï졣ΪÁ˾ÀÕýÕâ¸öÎÊÌ⣬ÍŶÓÒýÈëÁËÒ»¸ö×촽ͬ²½Ï¸»¯ÍøÂ磬ÀûÓÃÏàͬµÄÒôƵºÍÇé¸ÐÊý¾ÝÀ´ÖØÐÂУ׼²¢Éú³Éϸ»¯µÄ×첿²ÎÊý¡£ÀûÓÃÌõ¼þÔ¼ÊøµÄÒôƵºÍÇé¸Ð±í´ï£¬×촽ϸ»¯Ä£ÐͽøÒ»²½ÓÅ»¯¿Ú²¿¶¯×÷£¬¶ø²»¸Ä±äÇé¸Ð£¬Ö®ºóʹÓÃblendshapeÉú³ÉÏàÓ¦µÄ 3D äÖȾÃ沿¡£×îºó£¬ÍŶӲÉÓþ¹ý΢µ÷µÄFace-Vid2VidÄ£ÐÍÉú³ÉÇé¸Ð½²»°ÊÓƵ¡£¾ßÌåÀ´Ëµ£¬ÍŶÓʹÓÃFace-Vid2Vid·½·¨×÷Ϊ»ù±¾µÄÉñ¾äÖȾ·½·¨¡£´ËÍ⣬ÍŶӶÔÄ£ÐͽøÐÐÁË΢µ÷´¦Àí£¬Ê¹Óþ«ÐÄÌôÑ¡µÄ¸ß·Ö±æÂʱí´ïÐÔ½²»°ÊÓƵ£¬À´×ÔTalkHead-1HKÊý¾Ý¼¯£¬Ö¼ÔÚÌáÉý±í´ïÐÔºÍäÖȾÖÊÁ¿¡£Óë×îз½·¨µÄ±È½Ï£ºÔÚÇ°Á½¸ö±È½ÏÖУ¬ÍŶӷֱð¶ÔMEADºÍHDTFÊý¾Ý¼¯½øÐÐÆÀ¹À¡£ÔÚµÚÈý¸ö±È½ÏÖУ¬ÍŶÓʹÓÃÒ»¸öÓÉAIGCÉú³ÉµÄÃ沿¡£ÍŶӻ¹½«ÍŶӵÄRigÄ£Ðͽá¹û×÷ΪÖмä±íʾ½øÐпÉÊÓ»¯¡£ÍŶӵķ½·¨ÔÚÇé¸Ð±í´ï¡¢×촽ͬ²½¡¢Éí·Ý±£³ÖºÍͼÏñÖÊÁ¿·½ÃæʼÖÕ²úÉúÏÔÖøÓÅÔ½µÄ½á¹û¡£¶àÈËÎïÇé¸ÐÑÝʾ: Ö§³Ö¸÷ÖÖÇé¸Ð±í´ï£¬Èç·ßÅ¡¢¿ìÀÖ¡¢±¯ÉË¡¢¾ªÑȵȡ£¿çԽʱ¿ÕµÄ¶Ô»°ÑÝʾ: ´ï·ÒÆæÖ÷Òª±íÏÖ·ßÅ£¬¶øÃÉÄÈÀöɯÔò±íÏÖ¿ìÀÖ¡£¶àÓïÑÔÑÝʾ: Ö§³ÖÇé¸Ð±íÇéÉú³É£¬°üÀ¨ÖÐÎÄ¡¢ÈÕÓï¡¢·¨Óï¡¢µÂÓïµÈ¡£Á˽â¸üÏêϸµÄÐÅÏ¢£ºArxiv: https://arxiv.org/abs/2312.13578Project page: https://magic-research.github.io/dream-talk/¶ÔÓÚ×Ö½ÚÌø¶¯ÖÇÄÜ´´×÷ÍŶÓÖÇÄÜ´´×÷ÍŶÓÊÇ×Ö½ÚÌø¶¯AI&¶àýÌå¼¼ÊõÖÐ̨£¬¸²¸ÇÁ˼ÆËã»úÊÓ¾õ¡¢ÒôÊÓƵ±à¼¡¢ÌØЧ´¦ÀíµÈ¼¼ÊõÁìÓò£¬½èÖú×Ö½ÚÌø¶¯·á¸»µÄÒµÎñ³¡¾°¡¢»ù´¡ÉèÊ©×ÊÔ´ºÍÁ¼ºÃµÄ¼¼ÊõÐ×÷·ÕΧ£¬ÊµÏÖÁËÇ°ÑØËã·¨-¹¤³Ìϵͳ-²úÎïÈ«Á´Â·µÄ±Õ»·£¬Ö¼ÔÚÒÔ¶àÖÖÐÎʽΪ¹«Ë¾ÄÚ²¿¸÷ÒµÎñÌṩҵ½çÇ°ÑصÄÄÚÈÝÀí½â¡¢ÄÚÈÝ´´×÷¡¢»¥¶¯ÌåÑéÓëÏû·ÑµÄÄÜÁ¦ºÍÐÐÒµ½â¾ö·½°¸¡£Ä¿Ç°£¬ÖÇÄÜ´´×÷ÍŶÓÒÑͨ¹ý×Ö½ÚÌø¶¯ÆìϵÄÔÆ·þÎñƽ̨»ðɽÒýÇæÏò¹«Ë¾¿ª·Å¼¼ÊõÄÜÁ¦ºÍ·þÎñ¡£¸ü¶à´óÄ£ÐÍËã·¨Ïà¹Ø¸Úλ¿ª·ÅÖС£»»±ðÈËÉíÉÏ£¬Äêн°ÙÍò¡£