機器學習如何徹底改變遊戲中的物理模擬

圖片
量子力學奠基者之一、英國理論物理學家保羅·狄拉克(Paul Dirac)在1929年說過:“大部分物理和化學所需要的數學理論的定律都是已知的,但這些定律的方程太複雜無法求得精確解”。他認為,從蛋白質折疊、材料失效到氣候變化,所有的物理現像都可以模擬為量子計算。但由於控制方程太複雜,科學家無法在現實的時間尺度上求解。
那麼,這是否意味著我們永遠無法實現實時物理模擬?
以前物理學家通過模型開發、求近似解等方法可以在較短時間內達到預期的結果。然而,隨著研究、軟件和硬件技術的進步,實時仿真只能在極限條件下才能夠實現,這一點在視頻遊戲物理學中最為明顯。
模擬物理現象(如碰撞、變形、破裂和流體流動)屬於密集型計算。在遊戲中實時模擬此類現象需要對不同的算法進行了大量的簡化和優化。目前最先進模擬方法是剛體物理學(rigid body physics),它可以確保兩個物體在碰撞和反彈的過程中不會發生變形或斷裂,這是模擬虛擬遊戲的基礎。當兩個物體碰撞時,算法能夠進行實時檢測並採用適當的力模擬碰撞。
如下,電子遊戲中的“摧毀”可能是剛體物理學應用的最佳示例。
图片
需要說明的是,剛體物理學可用於模擬不變形物體的碰撞,但虛擬遊戲中往往存在著大量可變形物體,比如頭髮、衣服。而要想解決這個問題就需要用到柔體動力學(soft-body dynamics)。
以下是模擬可變形物體的四種方法(按複雜度排序)

彈簧質量模型(Spring-Mass Model)

由命名可知,彈簧相互連接的點的質量系統代表模型檢測的目標,我們可將其視為三維胡克定律網絡。胡克定律是力學彈性理論中的一條基本定律,它表明受力固體材料中的應力與應變(單位變形量)之間成線性關係。
該模型的主要缺點是建立質量彈簧網絡時需要大量的人力成本,並且材料特性與模型參數之間沒有嚴密的邏輯關係。但儘管如此,該模型在“BeamNG.Drive”賽車遊戲中也達到了非常不錯的效果,如下圖,基於彈簧-質量模型的實時車輛模擬器,可用於模擬車輛變形。
图片

基於位置的動力學

運動學模擬的方法通常基於力學模型,如粒子加速度遵循牛頓第二定律計算,通過積分計算獲取每個時刻的速度和位置。
在基於位置的動力學,通過求解約束方程的準靜態問題來計算位置。PBD方法的精確度較低,但計算速度優於基於強制的方法,因此非常適合遊戲、動畫電影等視覺場景。遊戲中人物的頭髮、衣服的運動通常都是採用該模型來實現。PBD不僅局限於可變形固體,還可用於模擬剛體物體和流體。更多內容可參考這篇關於PBD方法的綜述[2]。
图片

有限元法(finite element method ,FEM)

有限元方法計算變形材料是基於彈性場理論求解應力-應變方程。
它本質上遵循3D胡克定律,首先將材料劃分為四面體的有限元,通過求解線性矩陣方程,獲得每個時刻步長上頂點上的應力和應變。FEM是一種基於網格的軟體動力學模擬方法,它的優點是精確度高,且模型參數與材料特性(如楊氏模量和泊鬆比)直接相關。一般而言,FEM模擬在工程應用方面不能實時運行,但最近知名半導體公司AMD發布多線程FEM庫,表明FEMFX在遊戲中可實時模擬變形材料。
图片
AMD的實時有限元解算器FEMFX模擬木材斷裂
图片
AMD的FEMFX模擬塑性變形

材料點法(Material Point Method ,MPM)

MPM是一種高精度的無網格方法,它比基於網格的方法更適合模擬變形、斷裂、多材料系統和粘彈性流體,因為運行效率和分辨率更高。MPM是目前最先進的無網格混合歐拉/拉格朗日的方法,是細胞內粒子(PIC)和流體隱式粒子(FLIP)等傳統方法的升級。
MPM模擬不是實時運行的,在一個含有一百萬個點的系統中,MPM每幀大約需要半分鐘。詳細內容可見MPM綜述文章[3]。
图片
一片麵包的撕裂模擬需要1100萬MPM粒子

機器學習與物理模

以上四種方法與機器學習有什麼關係呢?
我們注意到,基於傳統方法,模型的計算速度、精度/分辨率等指標已經陷入了一種瓶頸。物理解算器經過過去幾十年的優化,其發生階躍式改進的空間已所剩無幾。而在此背景下,機器學習就派上了用場。
最近,牛津大學[5]、Ubisoft La Forge實驗室[6]、DeepMind公司[7,8]以及蘇黎世聯邦理工學院[9]的研究表明,深度神經網絡可以學習物理間的相互作用並實現模擬,重點是速度可以提高多個數量級。其過程大致為:生成數以百萬計的模擬數據——通過神經網絡進行訓練——使用經過訓練的模型模擬物理解算器。 Continue reading

《失控玩家》中的NPC數字意識覺醒,是如何發生的?

圖片
大數據文摘授權轉載自數據實戰派
AI仍然具有相當熱度。至少它還沒有掉出2021年8月的Gartner 新興技術成熟曲線圖。了解這個概念及其未來幾年的價值,仍然比以往任何時候都要重要。

图片

對於好萊塢電影界來說也不例外。作為一種藝術表達形式,電影向來熱衷誇大戲劇效果,例如終結者係列中,天網派出的殺手機器人成為人類生存的最大威脅。今天,秉承AI威脅論色彩觀點的群體,還常常把這個“壞AI”掛在嘴邊。在這個形象的另一端,AI是人類最好的幫手。他們可以比人類更好地執行模擬和預測等分析任務,協助完成各種任務。同樣,有大量好萊塢作品描述了“好AI”。無論“壞”還是“好”,這些電影中的AI,都反映著人類對於通用人工智能(AGI)究竟能強大到何種程度的想像。但鮮少有作品提及AGI的“起點”在哪,也就是回答這個關鍵問題——第一個AGI會怎樣誕生。最近上映的熱門電影Free Guy 的上映,繼續嘗試為這個問題的回答添磚加瓦:他將在遊戲世界中誕生。

更讓我們舒一口氣的是,和《西部世界》中AI在殺戮遊戲中覺醒不同,Guy 不需要喚醒對人類仇視,而是在一片love &peace 的氛圍中,和自己的自主意識相遇。

图片
片中,雷諾茨飾演的Guy,從一個NPC 是突然之間擁有自我意識的,成為了他的締造者口中的“全世界第一個AGI”,這個變化出乎了所有真實人類的意料。

那麼,他究竟是如何從一個NPC進化成AGI的?

從“反應機器”到“自我意識覺醒”

美國密歇根州立大學人工智能專家Arend Hinze曾經將機器劃為4種類型,第一種類型是反應機器,Reactive machines,即只能進行反應,但沒有記憶能力,也無法利用過去的經驗來製定現在的決策。

图片

這些類型的機器在視頻遊戲中很常見。比如說,一旦玩家進入預先確定的邊界,遊戲中的敵人可能會發動攻擊,它會繼續攻擊直到你或它被擊敗。根據遊戲設計者設置的條件,其行為會發揮作用。

對玩家來說,你可能感覺得到遊戲角色似乎在做決定,但它本質上是在瀏覽流程圖。這些角色的行為大致相同,不會考慮過去發生的事情或未來可能發生的事情,只考慮當下的條件是什麼,並從可用的行動中進行選擇。可以說,自電子遊戲出現以來,這些類型的角色就已經存在。電影的開頭,Guy 就是這樣一個盡職盡責的“反應機器”。每一天,他說著同樣的台詞,穿同樣的衣服,去同樣的咖啡館,點同樣的咖啡,見同樣的人,過著一成不變的生活。即便遇到不同的遊戲玩家在自己工作的銀行搶劫,他都同樣會在槍響之後抱頭臥倒。畢竟,NPC的設定就是遊戲的背景襯托,沒有屬於自己的“想法和感受”。

图片

“咖啡讓NPC覺醒”倒不失為一個好的廣告創意

回溯到現實的人工智能發展早期,還有一個典型例子,是在1990年代末擊敗國際象棋大師Garry Kasparov 的IBM國際象棋超級電腦“深藍”。“深藍”雖然可以預測自己和對手接下來的走法,還能在各種可能的走法裡面選出最優方案,但它依然對過去沒有任何概念,也不記得之前發生過什麼。因此,“深藍”同樣是一種反應機器。

麻省理工學院的機器人大佬Rodney Brooks曾在一篇論文Intelligence without representation中表示,人類只應該開發這樣的機器。

图片

第二種類型的機器自然比第一類要更進一步,即有限記憶機器,Limited memory。顧名思義,這類機器希望復刻人類的記憶能力(記憶、學習和根據過往經驗制定決策,被認為是人類智能的三大關鍵能力)。這種機器至少存儲一些過去的交互,並使用這些知識來修改未來的行為。這個概念已經更接近於大部分人所設想的人工智能:不僅會思考,而且會學習的機器。比如說自動駕駛汽車,這類產品已經能夠實現一些類似的功能。例如,它們可以觀察其他車輛的速度和方向,但這些歷史信息存在的時間都很短暫,無法像經驗豐富的人類司機那樣,將其存儲在腦海中的“經驗庫”。

如何才能開發一套系統,使之可以記住自己的經驗,並學會如何應對未知的新情況?

图片

近年來最受矚目的遊戲AI之一——由DeepMind 打造的AlphaStar AI 正在朝著這個方向邁進。
在開發AlphaStar AI 的過程中,DeepMind使用了一種全新的思路提升智能體的水平。他們設計出智能體聯盟(league)這樣一個概念。初始化後,每一代訓練的智能體在這個聯盟之下,然後新一代的智能體需要和整個聯盟中的其它智能體相互對抗,通過強化學習訓練新智能體的網絡權重。這樣,智能體會持續不斷地挖掘各種可能的作戰策略,同時也不會將過去已經學到的策略遺忘掉。最終,雖然AlphaStar 沒有擊敗所有人,但它排在前0.5% Continue reading

Facebook自研AI芯片曝光!將用於內容推薦和視頻轉碼

昨日,據美國技術媒體The Information獨家報導,Facebook正在開發新的機器學習芯片。

據知情人士透露,其中一款AI推理芯片主要用於推薦算法等;另一款則主要進行視頻轉碼任務,提高Facebook用戶觀看錄製和直播視頻的質量。
如果Facebook成功,其芯片將會在性能有所提升的同時,變得更加便宜。同時,自研芯片還有助於Facebook降低數據中心的碳排放,並減少Facebook對英特爾、高通等芯片廠商的依賴。
01
Facebook正獨立研發AI芯片,每天要處理2.5億個視頻
此前,Facebook就曾招聘過芯片設計師,以開發半定制和專用集成電路,不過其並未披露最初的定制芯片用途。
Facebook的一位發言人稱,Facebook“目前沒有關於未來計劃的新消息”,並且其內部團隊一直在與芯片合作夥伴探索提高計算性能和能耗的方法。
一位知情人士提到Facebook的芯片設計師最初和外部芯片公司一起修改現有的芯片設計。2019年,Facebook就曾與英特爾、高通和博通合作,一起開髮用於人工智能推理和視頻轉碼的半定制ASIC(專用集成電路)芯片,提升芯片的性能、功耗和效率。
現在,Facebook則正在單獨開發推理和視頻轉碼芯片,沒有讓外部的芯片公司參與。知情人士認為,Facebook正在開發的自研芯片並不會完全取代其現有的芯片,而是將會和其他公司設計的半定制芯片一起用於自己的數據中心。
今年早些時候,Facebook的工程師在一篇博客中寫道,Facebook正在大力投資半定制ASIC芯片。相比通用芯片,這些半定制ASIC芯片可以處理30倍以上的人工智能任務。此外,半定制ASIC芯片的能效也要更高。
Facebook每天要用半定制ASIC芯片處理近2.5億個視頻,如果可以完成開發並擁有匹配的軟件,其完全定制的ASIC芯片能夠做得更好。
一位比較了解Facebook的人士透露,Facebook還在為Oculus VR頭顯等個人計算設備設計芯片。
彭博社此前報導稱,Facebook已聘請谷歌芯片設計團隊的前負責人Shahriar Rabii來領導VR/AR芯片設計工作。今年4月,以色列《國土報》稱,Facebook計劃在以色列設立一個芯片設計中心。
02
谷歌、亞馬遜、微軟紛紛入局自研芯片
專門為數據中心定制芯片的還有谷歌、亞馬遜和微軟等公司。
谷歌在意識到其數據中心的處理能力需要翻倍後,於2013年開始開發數據中心芯片Tensor。2015年,谷歌開始使用Tensor為其搜索、街頭視頻、照片和翻譯服務提供動力。現在谷歌正在憑藉開發Tensor芯片的經驗,設計智能手機SoC和雲計算定制芯片。
亞馬遜在2018年宣布,為其云計算客戶設計了Graviton服務器處理器。今年3月,The Information獨家報導了亞馬遜的網絡芯片項目,該芯片專門為網絡數據交換機設計,可以降低亞馬遜對博通的芯片廠商的依賴。
微軟也在自研芯片,去年12月,據彭博社報導,微軟正在為服務器和Surface個人電腦設計芯片。

图片

▲微軟在以色列的機房(來源:以色列《國土報》)

03
投資量級僅為數百萬美元,還能降低數據中心成本
Facebook、亞馬遜、谷歌等公司通常使用ASIC芯片執行推理和機器學習模型訓練等工作負載。
美國諮詢公司Bain & Company的半導體合夥人Velu Sinha評論道,當下主要的科技公司正在研發定制芯片,這些芯片相比與英特爾、英偉達設計的CPU和GPU開發成本較小。Velu Sinha說:“我們正在談論的是投資數百萬美元來嘗試開發自研芯片,而不是數億美元。”
定制芯片不僅開發成本較小,其專用性也超過通用處理器。Facebook之前透露,僅靠通用處理器無法滿足自己的數據中心需求,推理和視頻轉碼是工作量增長最快的兩大任務。2019年,Facebook每天就要處理200萬億次推理、60億次語言翻譯和7500萬視頻觀眾的需求。
雖然英偉達的GPU也可以完成這些任務,但專門針對訓練和推理的ASIC芯片可以更快地完成這些任務,消耗能源更少且更加高效,能夠降低數據中心成本。作為定制芯片,ASIC很難完成設計範圍之外的任務。
04
結語:Facebook芯片佈局較為謹慎
對於Facebook等科技巨頭來說,自研芯片不但滿足自身需求,降低採購成本,完成軟硬件一體的佈局;自研芯片還能夠減輕科技巨頭對芯片供應商的依賴,完全掌控芯片研發進度和上線時間。
同時,Facebook的芯片佈局也並不魯莽,而是先與芯片供應商合作培養自身的芯片設計團隊,之後才進入到已有過設計經驗的領域。目前,Facebook等科技巨頭的芯片還是自用為主,暫時對芯片廠商構不成威脅。長期來看,這些科技巨頭的芯片佈局則可能改變行業的走勢。

在元宇宙中絕對需要的雙手!AI算法實現手指重建,倒酒沏茶不在話下,甚至可以搖花手!

最近,“元宇宙”的概念火了。

扎克伯格帶著VR設備在虛擬辦公室接受采訪的視頻在各大平台傳播,人們似乎在期待一個新的時代的到來,就連相關的股票都應聲上漲。

那麼,我們離《頭號玩家》中“綠洲”那樣的元宇宙還有多遠呢?

事實上,羅馬不是一下子建成的。扎克伯格給“元宇宙”的計劃時間是五年,技術也需要一步一步實現,這其中包括很多正在快速發展的技術,比如全自由交互。

打個比方,如果我們要用我們的雙手和虛擬世界交互,那麼我們就需要對整個手部進行建模,比如這樣:

图片

是不是覺得不過如此?確實,很早之前,我們通過佩戴指環就可以大體實現這樣的功能,但是,上面這張圖中所展現的效果,並未借助任何手指傳感器,僅僅是通過AI算法對攝像頭中的手指進行建模就能得到如此精細的手部動作。

還覺得不過癮的話,看看這個對搓手動作的還原,簡直絲毫不差!

图片

這項研究由來自愛丁堡大學的He Zhang和Facebook Reality Labs的幾位合作者共同完成,對,就是那個致力於更精確的VR技術的Facebook Reality Labs!

图片

論文鏈接:

https://research.fb.com/wp-content/uploads/2021/06/ManipNet-Neural-Manipulation-Synthesis-with-a-Hand-Object-Spatial-Representation.pdf
無需手指傳感器,還原最真實的手指運動

與其他類似研究相比,這項研究幾乎擁有目前效果最好的手指動作建模。

图片

這時候你可能覺得,這個AI還原的算法是不是通過在手指上接上傳感器,然後獲得大量的數據學習得來的?我們不妨看看論文附帶的演示視頻:

图片

注意看右上角的Input,手指上沒有任何傳感器。

這一切都是依靠團隊提出的ManipNet深度神經網絡算法。ManipNet利用手-物體對象的空間之間的關係特徵,直接從數據中學習手部的自然動作。

論文中,作者表示,該空間表徵算法結合了作為體素佔比(三維空間分割上的最小單位)的整體物體形狀和作為最近距離樣本的物體局部的幾何細節。這種算法使得深度神經網絡可以通過從手腕和物體的輸入軌跡中模擬手指運動。

图片

具體來說,ManipNet提供了過去、現在、未來三個節點的手指運動軌跡,以及從這些軌跡中提取的空間表徵,然後深度神經網絡會根據這些已有的數據生成一個自回歸模型,預測從過去、現在到未來這幾個節點之間缺少的其他手指姿態。

图片

如上圖所示,ManipNet是從控制信號和物體幾何特徵中預測操縱對象的手指姿態((a)右手握住茶壺,左手握住杯子(b)右手轉動手中的圓環),其中控制信號是手腕和物體的6D軌跡,並且該深度神經網絡只需要一個最小的和明確的輸入表示,以便實現更好的泛化。

此外,ManipNet只處理一個手-物體的“輸入”,然後通過鏡像運算兩次,為雙手生成預測圖像。

图片

FRL為“元宇宙”提供更好的VR技術,相關技術國內也在發展

Facebook Reality Labs可以說是紮克伯格實現“元宇宙”夢想的重要技術動力來源。

在官網介紹中,Facebook Reality Labs表示,這裡匯集了世界級的研究人員、開發人員和工程師團隊,在虛擬現實和增強現實中建立未來的連接。

图片

就像ManipNet這樣的研究,正在不斷的為“元宇宙”中現實與虛擬的交互添磚加瓦。

ManipNet的團隊研究人員也表示,手指交互在遊戲和AR/VR實時交互應用中有很大的潛力。“隨著AR/VR硬件在消費者市場的崛起,將我們的系統與其內置對象跟踪相結合可以為新的互動內容打開了許多創造性的機會。”

事實上,國內的一些公司也在研究相關技術,比如愛奇藝被計算機視覺領域國際頂會ICCV 2021收錄的一篇題為“

图片

愛奇藝這篇論文中提出的I2UV-HandNet,將UV映射表徵引入到三維手勢和形狀估計中,其設計的UV重建模塊AffineNet能夠從單目圖像中預測手部網絡(hand mesh),從而完成由粗到精的人手3D模型重建。

這一設計意味著對於三維重建中所需的空間中的景深信息,不用再通過昂貴的硬件完成偵測,在普通RGB攝像頭拍攝的圖片中就可以完成景深信息獲取。

I2UV-HandNet另一個組成部分是SRNet網絡,其作用是對已有人手三維模型進行更高精度的重建。SRNet網絡以研究團隊獨創的“將點的超分轉化為圖像超分的思想”為原則,實現在不增加過多計算量的情況下,進行上萬點雲的超分重建。

同樣,愛奇藝團隊也認為,手部、人體重建卻是用自然的肢體語言實現人機交互的關鍵技術,相比一些可穿戴設備,更能帶來體驗和沈浸度。例如手柄無法模擬手指每一個關節的活動,手部重建則能實現更加精細的操控。這意味著這項技術可以應用在遊戲、數字化工廠、虛擬場景培訓等更多場景。

FAIR 訓練AI 玩拳擊,效果堪比真人比賽,試探+周旋+爆頭

AI 拳擊可以有多好玩?
小紅紅,吃我一拳。
嘿,我擋。
图片
前期先試探周旋幾次,再找機會吧。
沒錯,就是這個空隙,爆頭。
图片
還想故技重施,我躲。
图片
怎麼樣,AI 拳擊動畫效果是不是和真人比賽神相似?
基於AI 深度強化學習的拳擊選手身體不僅擁有超高自由度,而且它還掌握了格擋、後退、擺拳等拳擊基本動作。
Facebook 人工智能研究部門(FAIR)在機器學習領域,總能帶來一些意想不到的成果,上面的演示正是它們在《Control Strategies for Physically Simulated Characters Performing Two-player Competitive Sports》(模擬人物進行雙人競技運動的控制策略)一文中的部分演示片段。
論文地址:

https://research.fb.com/wp-content/uploads/2021/06/Control-Strategies-for-Physically-Simulated-Characters-Performing-Two-player-Competitive-Sports.pdf

在這篇論文中,研究人員開發了一個學習框架,通過物理模擬角色學習基本技能、學習回合級別的策略、深度強化學習的步驟方法,來模擬人們學習競技體育的訓練路線。
同時,它們還開發了一個編碼器-解碼器結構的策略模型來讓物理模擬角色進行訓練學習,該結構包含一個自回歸潛在變量和一個專家混合解碼器。
图片
為了展示框架的有效性,研究人員通過拳擊和擊劍兩種運動,演示了物理模擬角色在框架學習到的控制策略,這些策略可以生成戰術行為,並且讓所有動作看起來更自然。

論文概述

在雙人競技運動中,運動員經常在比賽中展示出高效的戰術動作,如拳擊和擊劍。但創建多人動畫場景是一項巨大的挑戰,因為它不僅要求每個人物模型都以自然的方式行事,而且還要求它們彼此之間的互動在時間和空間領域都是同步的,以顯得自然。
图片
相互作用的密度越大,問題就越具有挑戰性,因為在相互作用之間沒有時間“重置”。使用物理模擬角色簡化了問題的一部分,因為低層次的物理互動(如碰撞)是通過模擬自動生成的。
然而,由於學習包含比賽的一系列技能,人們還沒有對不同技能的協調進行深入研究,如刺拳、勾拳、等拳擊級別的反擊和壓力戰鬥策略。
在競技運動中使用模擬角色的一個關鍵挑戰是,需要學習基本技能和拳擊級別的策略,以便它們能夠正確地協同工作。
在這篇論文中,FAIR 探討了訓練控制系統的技術,開發了一個框架,為角色之間的互動生成控制策略。其中的人形機器人擁有超高自由度,並由關節力矩驅動。
研究人員解釋,他們的設計靈感源於現實世界。對於大多數運動來說,人們首先是在沒有對手的情況下學習基本技能,然後通過與對手競爭來學習如何結合和完善這些技能。
基於此,FAIR 模仿這兩個過程,通過深度強化學習,讓物理模擬角色學習基本技能和學習比賽級別的策略。 Continue reading

神經機器接口新進展!讓“假肢”運動自然如真胳膊,登上Science子刊新封

圖片

美國克利夫蘭診所為仿生手臂開發的一項“神經-機器接口”新研究,剛剛登上了Science Robotics最新人機交互專刊封面。

图片

通過在改造的仿生手臂裝上微型機器人,患者能像正常人一樣能去思考、決策、執行任務,不僅可以直接控製手臂運動,還能感受到手臂和手的運動、抓握和触摸,恢復基礎的上肢運動能力。
這些發現是朝著實現截肢患者完全恢復自然手臂功能所邁出的重要一步。
該研究論文題目為《仿生上肢的假肢觸覺、運動感覺和運動的神經機器人融合促進了內在的大腦行為(Neurorobotic fusion of prosthetic touch, kinesthesia, and movement in bionic upper limbs promotes intrinsic brain behaviors)》,於2021年9月1日發表在Science Robotics上。
論文鏈接:
https://www.science.org/doi/10.1126/scirobotics.abf3368

图片

01
仿真手臂市場大,技術落後
根據2021年國際市場調研機構Grand View Research的相關報告,到2028年,全球假肢和矯形器市場預計將超過80億美元。
但目前假肢研究已經遇到了機械障礙,它們不能實現許多日常生活中人體需要的直觀感覺,比如說張開和合上雙手。
根據美國克利夫蘭診所所勒納研究所生物醫學工程系副教授、研究通訊作者保羅·馬拉斯科(Paul Marasco)的說法,由於佩戴傳統假肢的人無法用四肢來感知環境,他們在日常生活中完成任務時的行為和沒有截肢人的行為會不同。
例如,佩戴傳統假肢的人在使用假肢時必須目不轉睛地註視著假肢,並且當他們用力過大或過小時,很難學會糾正這些錯誤。

图片

▲保羅·馬拉斯科(Paul Marasco)

借助新的仿生手臂和先進的評估工具,研究人員可以看到研究參與者的大腦和行為策略發生了變化,與沒有截肢的人可以相匹配。
研究參與者不再需要看他們的假肢,可以在不看的情況下找到東西,可以更有效地糾正錯誤。
馬拉斯科說:“在過去的10年或20年裡,假肢的進步幫助佩戴者實現了更好的功能,並自己管理日常生活。第一次,上肢截肢的人現在能夠再次像健全人一樣’思考’,新仿生手臂可以為假肢佩戴者實現新程度無縫重新融入日常生活。”
針對這種情況,美國克利夫蘭診所研究人員牽頭的國際團隊(合作機構有加拿大阿爾伯塔大學和加拿大的新不倫瑞克大學)開發了一種新的仿生系統,來改裝標準護理仿生手臂。
02 Continue reading

音樂界的元宇宙要來了!HTC推出BeatdayVR平台,將有六場音樂會

圖片

據外媒Variety報導,中國台灣科技公司HTC即將推出VR平台Beatday測試版,將以此建立“一個以音樂為焦點的元宇宙”。
Beatday將通過虛擬場地與現實表演結合的形式,在PC端和移動設備上打造一個全息演唱會,讓更多的觀眾參與互動。
HTC是消費級VR設備的頭部玩家之一,曾與開發商Valve合作在2016年共同推出VIVE頭顯,而後HTC還推出了VIVE Focus系列,並對產品更新迭代。

图片

▲VIVE系列頭顯

“我們相信,Beatday正在改變娛樂業,人們會對此很感興趣,”HTC Vive Originals總經理劉思銘表示,“它正在整合音樂授權、唱片公司和藝人管理機構,並創造新的商機和收入模式。”
01
全息演唱會或成線上演出的新方式
由於疫情防控,許多演唱會轉為線上直播的形式,但這樣的方式,與觀眾現場觀看演唱會在體驗上具有較大差距。
如何打造一場具有現場感的線上演唱會?HTC將全息音樂會視為一個新的解決方案。

图片

▲HTC Vive為VR音樂節Lost Horizon提供直播

劉思銘認為,“現場演唱會因疫情取消後,’全息演唱會’將成為線上演出的新方式”。
他表示,HTC將與中國台灣“Amazing Show”合作,共同舉辦六場音樂會,每場音樂會持續半小時,但他並沒有透露具體的演出日期。
不僅如此,到2021年底,HTC Vive Originals還預計簽約三到四個演員入駐該平台,其中包括一些台灣最知名的演員。
02
拆解虛擬場景與現實表演,
HTC通過3D錄製打造全息演唱會
全息演唱會主要分為兩個技術部分,建立虛擬場地與錄製現實表演。
首先,全息演唱會需要構建一個虛擬表演的舞台空間。相較於現實演唱會,舞台設計師和燈光團隊在數字舞台設計上擁有更大的發揮空間。
隨後,表演者們需要在動作捕捉工作室(movement seize studio)裡進行3D錄製,全方位記錄表演的實景情況。目前在日本、法國以及國內都有相應的動作捕捉工作室。

图片

▲日本霸天少女隊通過3D錄製參與VR演出

然後,Beatday通過將虛擬場地與現實演唱會相結合的方式,打造一個全息演唱會,並提供紀念門票、商品等。
觀眾也可以通過創建一個自己的虛擬形象來參加演唱會,甚至可以在虛擬場地上飛行。
03
率先用於PC和手機,
Beatday或推出VR完全版
劉思銘表示,Beatday將會提供兩個不同形式的初代版本,一個適用於PC端,一個適用於移動設備上,而VR版本可能會根據市場情況推出。
“我們首先會在PC和移動終端上推出Beatday,來吸引一些年輕的用戶。當我們在市場上達到一定規模後,我們會發布一個VR版本,解鎖真正的高端體驗。”

图片

有關價格方面,HTC表示一張門票的價格可能在60到130人民幣左右,並且他們還提供音樂會的入場劵以及定制頭像。此外,HTC還將通過付費的服裝和配飾來創造營收。
04 Continue reading

Nature重磅:復旦團隊研發新型智能夾克,可為手機無線充電、實時監測身體健康

圖片

小時候,你是否有過這樣一個夢想:

就像鋼鐵俠一樣,只需要按下胸前衣服上的按鈕,就能瞬間披上戰甲,變得無所不能。也許在未來,我們擁有“特異功能”也並非一件不可能的事。
图片(來源:Pixabay)

如今,在智能手機的創新逐漸走弱及其市場容量也接近飽和的大背景下,智能可穿戴電子設備已經成為智能終端產業的下一個熱點。而柔性可穿戴電子設備是未來智能可穿戴電子設備發展的熱點研究方向之一。但是,對於柔性可穿戴電子設備而言,電池對其設計和功能有很大影響,由於常規鋰電池比較笨重,難以在可穿戴電子設備中大規模使用。因此,在過去的數10 年中,如何提高可彎曲鋰電池(紡織鋰電池)的能量密度、柔韌性、機械強度和循環穩定性等性能,一直是科學家爭相研究的熱點課題。近日,由複旦大學高分子科學系彭慧勝教授領銜的研究團隊,為解決短纖維鋰離子電池(長度只有幾厘米)在連接中會損害纖維的能量密度和穩定性的問題,研發出了一種長纖維鋰離子電池(fibre lithium-ion batteries,FLIB),並製作了一種不僅可以為手機等外部設備充電、還可以監測人體健康的智能夾克。

图片

(來源:Nature)

相關研究論文以“Scalable production of high-performing woven lithium-ion fibre batteries” 為題,發表在權威期刊Nature 上。復旦大學高分子科學系、先進材料實驗室的彭慧勝教授和陳培寧青年副研究員為該論文的共同通訊作者。

下一代電子通訊工具?

可穿戴電子設備,即直接穿在身上,或整合到衣服或配件上的一種便攜式設備。而智能可穿戴電子設備,則可以通過軟件支持、數據交互、雲端交互來實現強大的功能。如今,隨著現代黑科技的飛速發展,越來越多的可穿戴電子產品出現在我們的日常生活中,為我們提供了極大的便利。例如,早在2012 年就出現的谷歌眼鏡(Google Glass),它擁有與智能手機一樣的功能,可以聲控拍照、視頻通話、上網衝浪,以及處理文字和電子郵件等功能。

图片

(來源:Glass)

當前,可穿戴電子設備的主流產品形態主要包括以手腕為支撐的watch 類(手錶、腕帶等)、以腳為支撐的shoes 類(鞋、襪子或者其他腿上佩戴產品)和以頭部為支撐的Glass 類(眼鏡、頭盔、頭帶等);非主流產品形態則包括智能服裝、書包、拐杖、配飾等。而柔性智能可穿戴電子設備一般是指具有機械柔性、可以直接或間接與皮膚緊密貼合的電子設備,就像奧特曼、鎧甲勇士的“皮套”一樣,除了具備一定的交互功能,還非常貼合人體。例如,今年3 月份彭慧勝教授團隊發明了一種新奇的智能電子織物 在測試中,這種織物展現出了優異的可拉伸性、透氣性和耐用性,同時該織物還能作為大面積顯示屏,根據不同的數字信號輸入呈現出多元化的內容。相關研究論文也已發表在Nature 上。

图片

圖|由“智能織物”製成的衣服可顯示出不同的字樣(來源:Nature)

未來,基於纖維或者紗線的柔性電子設備將是下一代多功能柔性可穿戴電子的重點研究方向,這類電子設備不僅具有增強的光電性能和力學性能,還可以實現最小功耗和可持續的自我功能,在集成更多功能後,也有望塑造下一代電子通訊工具。

打破以往認知

在此項研究中,研究人員在生產長纖維鋰離子電池方面進行了初步嘗試,在商用鋁線周圍塗覆鋰鈷氧化物以形成正極,並在銅線周圍塗覆石墨以形成負極。而且,為防止出現短路的情況,負纖維電極用商用隔離膜包裹。

图片

圖|用於產生連續纖維鋰離子電池的裝置原理圖。鈷酸鋰(紅色)和石墨(藍色)漿料分別塗覆在鋁和銅集流器上。乾燥後,用分離器將負極纏繞,然後以優化的節距與正極擰在一起,通過擠壓將其封裝在聚合物複合管中。(來源:該論文)

图片

圖|a.扭曲結構的纖維鋰離子電池原理圖;b.纖維鋰離子電池的照片;c.可拆卸的纖維鋰離子電池顯示正極、負極、隔膜、封裝管等部件。(來源:該論文)

研究人員手動將正極和隔膜包裹的負極纖維電極纏繞在一起,製成了不同長度(0.1、0.2、0.5 和1 Continue reading

每滴水用3.5次,台積電用水有多摳?近9成是再生水

 

我國台灣地區今年可謂多事之秋,新冠肺炎疫情遲遲未解,剛剛熬過百年一遇的嚴重干旱,又面臨洪澇災害。而連遭天災暴擊的台灣最大晶圓廠、全球芯片代工一哥、島內最大用水用電企業——台積電,卻沒怎麼被危機影響生產進度,就連在同樣遭遇嚴重干旱的美國亞利桑那州所建新廠,當前建設計劃也未受影響。

這背後,台積電多年打磨的企業風險管理措施功不可沒。另據奧地利數據公司World Data Lab統計,已有24億人生活在水資源貧乏的地區。聯合國亦指出,2030年,水資源短缺將使7億人流離失所。全球範圍內,缺水危機頻頻上演,提前預警防範這些突發災害已是各大半導體廠商必行之策。

通過近期台積電設施部高級總監Arthur Chuang發表的一篇文章,我們提煉了台積電處理水資源短缺問題的要點以及台積電的綠色製造措施,看看台積電用水到底有多“摳”?

一、晶圓廠日用水超1.5萬升,特別工作組應對供水風險

在全球缺芯的當下,水是芯片製造的基本要素之一。美國水處理設備廠商Water Technology的數據顯示,一家晶圓廠每天需要消耗2000萬加侖到4000萬加侖(約7570萬升-1.5億升)的水來清潔矽片和冷卻設備。如果發生缺水問題,將會嚴重地影響到芯片廠商的生產能力。

因此為了避免水資源短缺的風險,台積電很早之前就建立了包含供水風險在內的企業風險管理系統。

台積電還有氣候相關財務披露特別工作組(TCFD)來確定氣候相關的風險。針對不同的缺水階段,台積電設立了不同的反應程序,以處理短缺情況。

而隨著半導體技術的進步,芯片製造的材料和流程也更加複雜,很多化學用品都是芯片製造的重要原料,極大地增加了晶圓廠對水資源質量和數量的要求。

在這樣的情況下,每一滴水都十分寶貴。Arthur Chuang稱,無論節水效果如何,台積電都不能忽視任何節約用水的機會。

每滴水用3.5次,台積電用水有多摳? 近9成是再生水▲台積電每日用水和可用水資源對比(來源:EE Times)

二、避免有毒溶劑使用,150只螢火蟲安家晶圓廠

Arthur Chuang在文中寫道,水資源的消耗其實是晶圓廠能源消耗的一個單獨問題。如果想要實現綠色製造,晶圓廠需要能源管理和廢水排放上堅持高標準。

具體到晶圓廠內部,台積電在整個晶圓廠內部建立了能源管理系統,系統中台積電採用了較為高效的IE3和IE4電機和熱回收設備,可以準確地了解每個設施所消耗的能源情況。

同時,台積電開始在晶圓生產中開始減少或避免使用有毒溶劑。據Arthur Chuang分享,如今台積電已不在晶圓清洗環節使用NMP(N-甲基吡咯烷酮)溶劑。該溶劑選擇性強、穩定性好,經常在高精密電子、電路板或鋰電池中用作清洗劑,但是對人體和環境具有一定的毒性。

為了保護水源,台積電還擁有一套可以根據廢水特性和濃度運行的廢水排放分離系統,並禁止使用任何無法自然分解或從水中去除的化學品。

每滴水用3.5次,台積電用水有多摳? 近9成是再生水▲台積電水處理槽(來源:台積電)

在這樣的努力下,台積電的環境保護策略已經取得了一定成績。台積電Fab 15位於台中大渡山腳下,與自然環境較為貼合。Fab 15在2020年獲得了可持續水資源管理標準(AWS Standard)的白金證書,這使台積電成為了全球第一家連續2年獲得AWS白金認證的半導體企業。

由於螢火蟲的生長對環境要求較高,尤其是水資源的潔淨程度對其成蟲相當重要。2020年7月,台積電的Fab 15廠區發現了第一隻水生黃螢;截至2021年2月底,Fab 15中已培育了150餘隻蘆生窗螢。這些小生命的出現,側面肯定了台積電對晶圓廠環境的維護。

每滴水用3.5次,台積電用水有多摳? 近9成是再生水▲台積電Fab 15中的螢火蟲(來源:台積電)

三、再生水廠今年運行,每天可回收5000立方米

水處理和回收是台積電節水的重要一環,當前台積電所使用的水源中,85%-90%都是再生水。

去年,台積電位於中國台灣南部科學園區的再生水廠開工,計劃在今年投入使用,以回收工廠廢水,補充城市水源。該再生水廠是中國台灣的首家民營水廠。如果水廠建成,每天可回收5000立方米的水源;到2023年,台積電預計每天回收再生的水資源將達到2萬立方米。

每滴水用3.5次,台積電用水有多摳? 近9成是再生水▲台積電再生水廠和Fab 6、Fab Continue reading

首款AR隱形眼鏡要來了!能閉眼看片,還能無線充電

圖片

據外媒報導,美國初創公司Mojo Vision開發的自家首款隱形AR眼鏡的相關原型已經通過了毒理學檢測。如果一切順利,Mojo Vision有望於今年公佈一款功能齊全的隱形AR眼鏡原型裝置。目前,市面上尚未出現類似的產品。

图片

▲Mojo Lens

位於美國加州的初創公司Mojo Vision,是一家致力於開發隱形計算技術的公司,在2020年9月與日本隱形眼鏡製造商美尼康(Menicon)簽署了智能隱形眼鏡聯合開發協議,合作開發隱形眼鏡。
01
已通過毒理學測試,
完整版產品有望年內推出
8月24日,Mojo Vision介紹了與美尼康合作開發的隱形AR眼鏡項目的最新進展。首席技術官Mike Wiemer在Hot Chips處理器大會上詳細介紹設計的時候說:“我們已經幾乎完成了所有工作,非常接近(完整版產品)”。該AR隱形眼鏡產品原型已經通過了毒理學測試,Mojo預計今年會推出一個功能齊全的原型。

图片

▲Mojo Lens中的畫面

Mojo Lens的核心是一個不到半毫米寬的六邊形顯示器,每個綠色像素的大小只有紅細胞寬度的四分之一。該AR隱形眼鏡使用一種名為“femtoprojector”的放大系統,用來擴展圖像並將其發送到視網膜的中央斑塊上。

图片

▲Mojo Lens顯示器

Mojo Lens的鏡片上環繞著多種電子設備。包括一個捕捉外部世界的相機。一個用來處理圖像的電腦芯片,控制顯示器控制顯示器並與外部設備(例如手機)進行無線通信。一個補償眼球運動的運動追踪器。該設備由電池供電,可以像智能手錶一樣在夜間進行無線充電。

图片

▲Mojo Lens的鏡片環繞有多種設備

Mojo的計劃是拋棄笨重的頭戴設備,例如微軟的HoloLens。如果該項目成功,Mojo Lens可以幫助視力有問題的人,比如在文本中高光字母,或者讓文字的邊緣更明顯(使文字更加“清晰”)。該產品還可以幫助運動員在不使用其他設備的情況下,了解自己騎了多遠或者心跳有多快。
02
閉著眼也能看見畫面

图片

▲Mojo Lens畫面中的數據標識

Mojo Lens的一個關鍵部分是其眼動追踪技術,可監控眼球的運動軌跡並相應的調整圖像。如果沒有開啟眼動追踪功能,Mojo Lens會在視野的固定中心區域顯示圖像。例如,當使用者只是快速掃視,而不是閱讀文本,那麼只會看到文本塊隨著眼球視線移動。這個眼球追踪技術借鑒了從智能手機行業汲取的加速計(accelerometer)和陀螺儀(gyroscope)等技術。
Mojo Lens依靠一個叫做繼電器附件的外部設備來處理和控製圖像,並提供用戶界面。但顯示器和投影儀並不會干擾使用者的真實世界視覺,“你根本看不見顯示器,這不會影響你對現實世界的視覺”,Wiemer說,“你甚至可以閉著眼睛看書或者看電影。”
03
Mojo是最接近上市的AR隱形眼鏡
Mojo Vision在其產品上市前還有很長的路要走。該設備必須通過監管機構的審核並且還要能讓大眾所接受。互聯網巨頭谷歌曾經嘗試將AR技術融入到眼鏡之中,這也是大眾所熟知的谷歌眼鏡,但該項目從2012年開始到2015年關閉僅持續了三年,這其中就有著社會對其侵犯隱私疑慮的影響。 Continue reading

聯絡我們

地址
香港九龍觀塘鴻圖道57號南洋廣場1808室
Rm.1808, Nanyang Plaza, 57 Hung To Road., Kln. HK

電話
23091888

電郵
info@iothk.net