蘋果AR頭顯明年登場，目標10億部，搭Mac電腦級晶元

11月26日消息，剛剛天風證券分析師郭明祺發佈報告，稱蘋果將於2022年第四季度推出AR頭顯，蘋果AR頭顯將搭載性能媲美M1的”桌面級”芯片和索尼4K Mirco OLED顯示幕，目標是在10年內取代iPhone，預計出貨將超過10億部。

郭明祺稱，蘋果AR頭顯需要進行6-8個鏡頭的實時光學處理，算力需求遠高於iPhone，因此要用到Mac級處理器。

值得一提的是，這款AR頭顯將擺脫手機、電腦獨立運作、支援各類應用，不再是”大號遊戲機”，並且可以同時支援AR和VR功能。 另外，中國臺灣科技企業 欣與電子將成為蘋果AR頭顯晶元關鍵材料ABF（Ajinomoto Build-up Film）載板的重要供應商。

蘋果將要推出AR頭顯的信息已經在業內發酵多時，從去年就陸續有消息放出，而當下元宇宙概念火爆，蘋果這次AR頭顯多個重磅信息的釋放，無疑表明蘋果也在AR領域積極佈局。

不論「元宇宙時代」何時到來，有一點是肯定的，少了誰，也不可能少了蘋果。

在過去五年間，庫克十五次在公開場合表達了自己是AR的忠實擁躉，他認為AR將是蘋果的下一個”節點”，而目前蘋果已經在AR領域投入了近千人的研發團隊。

過去10年，蘋果一直享用著賈伯斯創造iPhone後的”福利”，而庫克接棒10年後，是否要用一款足夠重磅產品”證明自己”，在自己退休前畫上一個完美的休止符，可以說整個科技產業都十分期待。

AR頭顯和汽車，顯然是庫克彈藥庫里的兩塊寶。

本文福利：蘋果AR頭顯明年即將問世，上游核心元件光學和顯示配套日漸成熟，AR行業即將迎來爆髮式增長，推薦精品報告《洞察VR/AR藍海，解鎖上游供應格局》。 可在公眾號聊天欄回復關鍵詞【智東西218】獲取。

01 . AR頭顯晶元強如M1，索尼4K Micro OLED顯示幕加持

目光回到此次的蘋果AR頭顯，郭明祺稱，蘋果將於2022年第四季度推出AR頭顯，並且這款AR頭顯將會搭載兩顆晶元，一顆高端、一顆中低端。

其中這顆高端晶元算力將會媲美Mac電腦，也就是說蘋果AR頭顯的晶元性能可能會接近M1系列晶元。 Continue reading →

传苹果自研5G基带芯片2023年量产，采用台积电4nm工艺

11月25日消息，本週三，據日經新聞報導，蘋果計劃採用台積電的4nm工藝生產其自研iPhone 5G基帶晶元，預計在2023年實現量產。

據瞭解，台積電的4nm工藝還未部署用於任何商業產品。 目前，蘋果的5G基帶晶元正在通過台積電的5nm工藝進行設計和測試。

此前幾乎壟斷蘋果基帶晶元業務的高通最近表示，其在iPhone基帶晶元訂單中的份額將在2023年降至約20%。

▲外媒發佈的蘋果5G基帶晶元概念圖

01.”打破”高通專利牆，自研基帶晶片

外媒The Verge表示，目前高通公司是基帶晶元行業的主導者，為整個iPhone 13系列生產元件。

基帶晶元是決定通話品質和數據傳送速率的關鍵元件，該細分市場長期以來一直由美國高通、中國臺灣的聯發科和中國的華為公司主導，並且高通圍繞該技術建造了一面大型專利牆。

蘋果和高通在2019年解決了一場漫長的專利版稅法律糾紛，最終以高通獲得超過40億美元的賠償作為和解條件。

自2016年以來，英特爾與高通一起向蘋果提供基帶晶元。 2019年英特爾退出了智慧手機基帶晶元的開發，並將5G基帶晶元部門出售給蘋果，這也為蘋果現在的轉變埋下了伏筆。

多個消息人士表示，除了節省目前向高通支付的費用外，開發自己的基帶晶元還能為蘋果的內部移動處理器與台積電的晶元集成鋪平道路。

這將使蘋果對其硬體整合能力有更多的控制權，並提高晶元的開發和利用效率。

02.3nm的跳躍，計劃2023實現量產

台積電一直是蘋果的重要合作夥伴，也是iPhone處理器和M1 Mac處理器的唯一生產商。 一位知情人士告訴日經新聞，台積電有數百名工程師在加利福尼亞州庫比蒂諾與蘋果的晶元開發團隊合作。

四位知情人士表示，蘋果計劃採用台積電的4nm晶片工藝大規模生產其首款內部5G基帶晶元。

蘋果還正在開發自己的射頻和毫米波元件，以補充基帶晶元生產。 同時還在為基帶晶元開發自己的電源管理晶片。

雖然蘋果使用自己的A系列移動處理器十多年了，但開發移動基帶晶元更具挑戰性，因為它們必須支援從2G、3G和4G到最新的5G標準通信協定。

消息人士稱，蘋果正在使用台積電的5nm工藝來設計和測試、生產新的5G Continue reading →

元宇宙一哥爭霸，微軟Meta誰才是大BOSS？

從各立江山到聯手作戰，起底微軟Meta的”元宇宙”底牌。

全球市值第一的微軟和全球社交巨頭Meta的元宇宙佈局正式展開！

Facebook通過全線產品改名”Meta”的方式，表示其對於下一代互聯網勢在必行的決心。 隨後，重回市值第一的微軟在Ignite大會上正式宣布進軍元宇宙。

▲微軟Mesh for Teams平臺

據智東西不完全統計，Meta共投資了24家涉及”元宇宙”領域的公司，其中以遊戲公司，以及與VR/AR硬體有關的創企為主。 而微軟共投資了11家涉及「元宇宙」的企業，其中，微軟也參投了Meta的C輪融資，並於2011年參與了Meta 15億美元的戰略融資。

此外，我們還挖掘了Meta和微軟在元宇宙佈局方面的不同之處，分析其在從底層技術、基礎設施、硬體入口、目標使用者、內容生態以及產品研發六大層面各自擁有的產品和平臺。

摩根士丹利最新研究報告顯示，元宇宙有望成為一個8萬億美元的龐大市場，並很可能成為下一代的社交媒體、流媒體和遊戲平臺。

面對如此巨大的藍海市場，Meta和微軟將如何面對新一輪互聯網浪潮的洗牌，又做好了哪些準備？ 在深入挖掘后，我看到了微軟和Meta佈局元宇宙背後的產品生態和技術支撐。

01.連推新品，微軟和Meta正式宣布進軍元宇宙

微軟和Meta這兩大科技巨頭將如何玩轉萬億級的元宇宙市場？ 從最近半年的動態來看，我們發現兩位玩家以現有的硬體設備體系為基礎，帶領著新的使用者奔向元宇宙。

1、以硬體為核心，Meta投入百億加強研發

首先說Meta，作為現在喊著「元宇宙」口號聲量最大的玩家之一，Meta在硬體上、軟體上甚至是內容生態上都投入大量資金和人力。

2021 Facebook Connect大會上，Meta透露明年將推出內部代號為Project Cambria的高端頭顯，和代號為Project Nazare的XR眼鏡。 Meta目前現有的硬體設備主要還是以VR一體機為主，暫不覆蓋PC端的VR設備。

▲內部代號為Project Cambria的高端VR頭顯

加上此前的Oculus系列產品，Meta已經逐漸豐富自己的硬體產品線和不同的產品類型，鞏固了自身在”元宇宙”硬體入口的地位。

在研發投入上，Meta將投入100億美元資金到現實實驗室（Facebook Reality Labs）中，專注於AR/VR的產品開發。 Continue reading →

價格大漲41%後首跌！ 存儲晶片要供過於求？ 三星美光SK海力士調整生產戰略

近日，美國市場調研公司IC Insights的報告顯示，今年強勁上漲的動態隨機存取記憶體（DRAM）價格預計將在2021年第四季度下滑0.5%。

DRAM的平均售價在2021年前八個月飆升了41%，從1月份的3.37美元上漲至8月份的4.77美元。 10月份PC用DRAM通用產品成交價僅為3.71美元，行業研究機構集邦諮詢TrendForce預計其價格會在2022年下跌15%。

多個行業預測機構數據顯示，明年半導體行業的存儲晶元業務可能會受到供過於求的打擊，從而繼續壓低價格，這可能意味著三星電子、美光科技、SK海力士等存儲晶元製造商的收益下降。

一、10月成交價3.71美元，相比最高點下降36%

DRAM是最普遍的存儲晶片，在電子產品中發揮著至關重要的作用，它們用於在PC和伺服器中存儲資訊，可以暫時保存系統處理器使用的資訊。 另一個存儲晶片的主要類別是NAND，該存儲晶元可用於在智慧手機和計算機中存儲數據。 存儲晶元也屬於一種大宗商品，該市場容易受到供需平衡輕微波動的影響。

IC Insights的報告顯示，受新冠疫情的影響，在今年前三個季度，PC和處理器製造商擴大生產，併購買了大量存儲晶片，以幫助緩解疫情影響下潛在的製造和運輸延遲，使得存儲晶元的價格上漲。

該報告中顯示，DRAM的平均售價在2021年前8個月大幅上漲，而9月份的DRAM平均售價下滑了3%至4.62美元，10月份DRAM成交價僅為3.71美元，與今年最高點3月末的5.3美元相比下降了36%。

▲DRAM的價格變化趨勢（圖片來源為IC Insights）

IC Insights的報告顯示，隨著新冠疫情開始緩和，部分國家和地區的經濟開始恢復，PC和伺服器製造商的存儲晶片庫存充足，預計他們將在2021年第四季度減少DRAM採購，以消耗現有庫存。

行業研究機構集邦諮詢TrendForce的最新調查顯示，預計明年DRAM的總供應量將同比增長18.6%，但全球DRAM市場將轉向供過於求。

這種轉變主要歸因於，不僅大多數製造商現在擁有相對較高的DRAM庫存，而且2022年DRAM需求也預計僅同比增長17.1%，低於供應量的增長。 在價格方面，由於DRAM行業的寡頭壟斷性質，這種情況將導致2022年DRAM平均售價下降，但不會導致年度DRAM收入大幅下降。 預計2022年DRAM收入將達到915.4億美元，同比小幅增長0.3%。

TrendForce還表示，即使是微小的供需差異也足以壓低價格。

投資證券公司Eugene Investment & Securities的分析師Lee Seung-Woo說：”在我們看來，存儲晶片供應的增加應該保證高於市場變化趨勢的價格和獲利率。 ”

尤其是DRAM記憶體方面，Seung-Woo表示目前其價格將繼續走弱，但正在接近最低值，應該會在明年第一季度后開始出現一些復甦跡象。

Seung-Woo表示：「由於晶片元件短缺的負面影響，導致PC供應鏈疲軟，記憶體模組製造商不斷表示存在進一步下行風險。 第一季度通常也是淡季。 當然，現貨價格很容易反彈。 ”

伯恩斯坦分析師Mark Li對存儲晶元巨頭三星電子和美光科技持負面觀點，他預計到2022年底，價格下跌和供應短缺將使存儲晶元市場蒙上陰影。

二、Q3收益強勁，Q4需求不確定性較強

TrendForce的調查報告顯示，2021年第三季度全球DRAM製造商營收排行榜中，三星電子市場佔有率達到44%，遙遙領先於其他製造商，SK海力士市場佔有率為27.2%，美光科技市場佔有率為22.9%。 上述三大巨頭的市場佔有率總計超過94%。 Continue reading →

蘋果造車有眉目了？ iPhone團隊操刀晶元，計劃2025年推出

本週四，彭博社援引知情人士報導，蘋果公司的電動汽車最早將於2025推出。 蘋果公司正在努力加快電動汽車的開發，並將重點放在完全自動駕駛能力上，為解決困擾汽車行業的技術挑戰。

蘋果公司的汽車專案被稱為泰坦計劃（Project Titan），自2014年左右啟動，它經歷了戰略變化和高管更替。 今年9月，蘋果汽車團隊負責人道格·菲爾德（Doug Field）任職三年後選擇離開，並進入福特汽車公司。

目前，蘋果汽車團隊的新領導者是Apple Watch軟體執行官凱文·林奇（Kevin Lynch），知情人士表示，林奇正在推動一款具有轉向和加速功能的完全自動駕駛系統汽車專案，而林奇並不是一個汽車行業的”老手”。

報導表示，蘋果公司的電動汽車將不安裝方向盤和踏板，其內飾設計專為無人駕駛功能服務，類似於電動汽車行業的新貴Canoo的Lifestyle Vehicle汽車。 在那輛車裡，乘客可以面對面坐在車的兩側。

彭博社報導該消息后，蘋果股價上漲2.4%至157.23美元。

一、iPhone團隊操刀晶元，計劃2025年推出

在試圖掌握自動駕駛汽車的過程中，科技和汽車巨頭已經花費了多年時間，但該功能的實現仍需要很長時間。

電動汽車市場的領導者特斯拉公司距離推出完全自動駕駛汽車可能還需要幾年時間。 Alphabet的Waymo在開發這項技術的過程中也遭遇了一連串的離職潮。

在過去的幾年裡，蘋果的汽車團隊同時探索了兩條路徑：一個是和現在許多汽車類似的，創建一個專注於轉向和加速的具有有限自動駕駛能力的模型，而另一個是創建一個不需要人工干預，具有完全自動駕駛能力的版本。

蘋果內部的目標是在四年內推出其自動駕駛汽車，這比一些工程師今年早些時候計劃的五到七年的時程表要快。 但實現2025年的目標取決於其完成自動駕駛系統的能力。 蘋果汽車在底層自動駕駛系統、處理器晶元和先進的感測器方面已經取得了重大進展，但如果蘋果無法實現改進自動駕駛系統，它可能會推遲發佈或在剛開始銷售技術含量較低的汽車。

蘋果公司還探索了將汽車資訊娛樂系統置於車輛中央一個類似iPad的大型觸摸屏上，增強使用者在整個行駛過程中的互動性。 該車還將與蘋果現有的服務和設備高度集成。

為iPhone、iPad、Mac製造處理器的蘋果矽工程團隊為蘋果的汽車設計晶片，而不是汽車團隊內部人員設計。 這項工作包括訓練在晶元上運行的底層軟體，以支持自動駕駛功能。

蘋果汽車晶元是蘋果內部開發的最先進的元件，主要由神經處理器組成，可以處理自動駕駛所需的人工智慧，但該晶元可能會需要複雜的冷卻系統。

这些汽车设计上的进展很快就会进入道路测试。苹果计划开始在经过多年测试的改装汽车中使用新的处理器设计和更新的自动驾驶传感器。据知情人士称，该公司目前拥有一支由69辆雷克萨斯SUV组成的车队，以试验其汽车中的相关技术。

二、特斯拉、沃尔沃、通用汽车高管加持

开发出一种可以让客户在长途旅行时免于驾驶疲劳的车辆，对于像苹果这样的汽车领域外行公司来说，需要合作伙伴关系。该公司正在与与多家制造商交涉，并考虑在美国制造该车辆。

安全是一个主要难题。参与这项工作的工程师说，苹果正在寻求建立比特斯拉和Waymo更强大的保护措施。这包括创建大量备份系统，以避免汽车中的安全和驱动系统故障。

苹果正在积极寻求工程师来测试和开发安全功能。“特别项目小组正在寻找一位有成就的机械工程师，以领导具有关键功能的安全机械系统的开发。”苹果最近的一份招聘信息中写道。

其次，苹果也在招聘更多的自动驾驶和汽车硬件工程师，这包括对特斯拉前自动驾驶软件总监CJ Moore的招募。

最近几周，苹果还聘请了沃尔沃汽车的气候系统专家、戴姆勒卡车的经理、Karma汽车有限责任公司和其他汽车制造商的电池系统工程师、通用汽车公司Cruise LLC的传感器工程师、来自均胜安全系统的汽车安全工程师以及特斯拉的其他多名工程师。

根据苹果公司的招聘信息，该公司还在招聘软件工程师来研究“人类与自主技术交互的体验”，这表明它正在深入开发汽车用户界面。这意味着苹果汽车正在开发的软件将与iPhone操作系统的技术类似。

为了给车辆供电，苹果已经在考虑与组合充电系统兼容，但这种方法与它为iPhone和Apple Continue reading →

Nature子刊：AI檢測毒品準確率達86%，沒見過的也能測

本週一，據外媒NewScientist報導，加拿大哥倫比亞大學研究小組創造了一種機器學習工具——DarkNPS，可以用AI快速篩選新精神活性物質（new psychoactive substance，NPS），這是與可卡因和海洛因類似的興奮劑藥物。

由於NPS的化學多樣性及其在非法市場上的存在時間短等性質，目前該藥物的檢測措施面臨重大挑戰。DarkNPS可以大大縮短新出現的NPS識別時間，並有效縮短對其化學結構的搜索範圍。

該論文發表於Nature子刊Nature Machine Intelligence。

鏈接：https://www.nature.com/articles/s42256-021-00407-x

一、AI查毒只需幾小時，準確率達86%

新精神活性物質又稱“策劃藥”或“實驗室毒品”，是不法分子為逃避打擊而對管制毒品進行化學處理所得到的毒品類似物，具有與管制毒品相似或更強的興奮、致幻、麻醉等效果。

加拿大不列顛哥倫比亞大學研究小組成員Michael Skinnider和他的同事創造了一種名為DarkNPS的機器學習工具，通過AI工具進行簡單的分析，快速提取出精神活性“新型藥物”化學結構的可能分子結構。

該工具可以快速開發實驗室測試服務，以篩選與可卡因和海洛因等毒品具有類似效果的、且無法在當前測試中檢測到的藥物使用情況。

研究小組從世界各地的法醫實驗室收集了大約1700種已知新型設計藥物的化學結構，對其進行訓練。訓練集包括每種藥物的串聯質譜結果，也就是翻譯並分析其部分重組蛋白數據，可以提供有關分子質量及其包含的元素的信息。這使得AI能夠識別串聯質譜數據和化學結構之間的模式。

Skinnider表示：“我們的方法可以將識別NPS所需的時間從幾週或幾個月縮短到幾個小時。”

給定一種以前未知的NPS的串聯質譜數據，DarkNPS可以猜測其分子結構。該過程準確度約為51%。如果AI能夠對其分子結構的前10項進行預測，其準確度將增加到86%，這意味著該工具能有效縮小對分子結構的搜索範圍。

Skinnider說：“這不僅節省了大量時間，還能更快識別新上市的新精神活性物質。”

二、1700個實例生成穩健AI模型

研究小組在論文中表示，DarkNPS可以僅使用質譜數據自動闡明未知NPS的化學結構，並基於化學結構的深層生成模型。

該研究小組的模型橫跨化學和深度學習領域，因為它們有可能根據需要生成具有任意物理化學或生物性質的分子，從而解決所謂的“逆向設計”問題。

這項工作的大部分集中在分析具有活性的特定藥物對策分子結構可能性上。

研究小組表示，他們在研究過程中尋求生成與一個或多個分析測量特性相匹配的類NPS分子，並使用適用於處理低級數據存儲區的策略來實現這一目標。

從約1700個實例中學習設計藥物的穩健生成模型，並從這個模型中取樣，隨機產生與現有的NPS存儲空間類似的新的分子結構。

研究過程顯示，從模型中取樣新分子的頻率可以用來表明最有可能解釋觀測到的精確質量的化學結構。將生成的結構與串聯質譜數據相結合，進一步提高了結構解析的準確性。

DarkNPS最先闡明了2021年2月首次出現在歐洲的NPS的分子結構。

該模型的最終結果是建立新型精神活性物質的深層生成模型。

三、AI生成數據，為模型提供數據庫

許多計算工具已經開發出來，能夠在質譜數據中自動識別藥物及其代謝產物。然而，所有這些工具都需要一個已知化學結構的數據庫，可以將觀察到的質譜數據與之進行比較。因此，這些工具無法用於識別現有數據庫中未發現的新合成設計藥物。

該研究小組推斷，通過生成一個新的、類似核動力源的化學結構數據庫，就可以自動識別完全未知的核動力源。因此，研究人員著手學習核動力源化學結構的深層生成模型，從中隨機取樣新的核動力源結構（圖1a-b）。

目前包含NPS結構最新、最全面的資源數據庫是用於NPS篩選的數據庫HighResNPS，來自世界各地數十家法醫實驗室的貢獻者在生物樣本或執法部門緝獲的物品中檢測到新物質時，會向HighResNPS提交數據。儘管如此，在2020年6月初，該數據庫僅包含1753個獨特的NPS結構。

這一數據集的有限規模反映了非法市場上出現並隨後被法醫實驗室檢測到的核動力源數量。然而，通常用於訓練化學結構生成模型的數據集將包含數十萬個數據。

之後，該研究團隊獲得了194種NPS藥物的數據，發現其中176種出現在AI生成的數據中。研究人員還通過使用AI推斷1億種可能的化學結構，研究未來可能生成的藥物。

此外，哥倫比亞大學梅爾曼公共衛生學院的研究人員正在研究使用機器學習來評估法律及其與處方阿片類藥物分配模式的關係。

“機器學習方法越來越多地應用於類似的高維數據問題，並可能為其他形式的政策分析提供一種補充方法，包括作為篩選工具來識別需要進一步關注的政策和法律規定相互作用。”哥倫比亞大學流行病學副教授Silvia Martins說。

結語：AI+醫療，落地場景更廣闊

“機器學習方法越來越多地應用於類似的高維數據問題，並可能為其他形式的政策分析提供一種補充方法，包括作為篩選工具來識別需要進一步關注的政策和法律規定相互作用。”哥倫比亞大學流行病學副教授Silvia Martins說。

NPS特殊的化學結構，使得不法分子有可乘之機，而AI模型能夠快速識別其分子結構，並利用AI從藥物分子結構中預先推斷其可能的情況，提前阻止某些藥物流入市場。這為AI工具的應用提供了新範例，能夠評估類似的藥物分子結構、藥物分配模式等問題。

時隔10年，谷歌要重啟谷歌實驗室，聚焦AR、VR項目發力元宇宙

​上週五，美國科技博客TechCrunch報導，經谷歌發言人證實谷歌實驗室（Google Labs）正在重組。該實驗室業務將包含谷歌現有的AR、VR項目、Starline項目、谷歌內部孵化器Area 120以及其他高潛力的長期項目。

重組的谷歌實驗室將致力於提供一系列實驗性產品，而非面向消費者。

新團隊將由谷歌副總裁Clay Bavor領導，並直接向谷歌首席執行官Sundar Pichai匯報工作。此前，Bavor負責谷歌的AR、VR方面的前瞻性工作，新團隊將谷歌的許多創新、長期項目集於一體。

谷歌實驗室曾於2006年成立，用來測試谷歌未公開發布的新項目產品。2011年7月，谷歌調整實驗室運作方式，關閉該項目，將精力集中於谷歌地圖、谷歌閱讀等用戶量大、使用率高的產品。

一、副總裁掌舵，曾負責AR、VR

谷歌尚未公開宣布實驗室重組工作，但谷歌發言人在接受外媒TechCrunch採訪時，證實了重組實驗室以及谷歌副總裁Bavor職位變化的消息。

在向員工發布的公告中，谷歌將此次重組描述為“專注於在整個公司範圍內啟動和發展新的、具有前瞻性的投資領域，該組織的核心是一個名為Labs的新團隊，專注於研判技術趨勢並孵化一系列高潛力的長期項目”。

重組後谷歌實驗室的負責人Bavor是一位資深的谷歌員工，也是一位具有將創新理念轉化為核心產品經驗的領導者，多年來負責許多重要的谷歌項目的管理，包括谷歌郵箱Gmail、在線雲存儲服務Google Drive、在線辦公軟件Google Docs和企業管理解決方案Google Apps for Work（現在更名為Google Workspace）。

在接管谷歌實驗室之前，Bavor負責領導谷歌的AR、VR團隊，並負責監督2016年基於安卓系統的虛擬平台Daydream VR的發布。但由於谷歌虛擬平台項目在智能手機領域表現效果不好，以及聯想發布的6DOF Daydream頭顯Mirage Solo的市場表現不佳，該項目在2019年已經停止。其次，該團隊還幫助開發了ARCore，這是一款增強型軟件開發套件，將基於智能手機的AR功能引入數百萬的安卓設備中。

▲Daydream平台界面（圖片來源為谷歌官網）

實驗室重組可能會提升公眾對谷歌一些項目的關注。

二、集成內部孵化器，20個項目同時運行

谷歌此次重組將Starline項目、AR、VR項目和Area 120項目合併於新實驗室下。

此前，Bavor就已經在負責尖端全息視頻會議項目Project Starline，這是一個實驗性的光場顯示系統，谷歌將其設想為某種“魔窗”，讓相隔距離較遠的用戶能夠在不需要頭顯設備或特殊眼鏡的情況下，以相比於視頻會議更自然的方式進行對話。

▲Starlinex項目（圖片來源為谷歌官網）

此外，2016年推出的Area 120項目是一家內部技術孵化器，已經成功孵化了包括演示共享工具Threadit、對話AI初創企業Adlingo、遊戲平台Gamesnacks在內的幾家初創公司。

Area 120推出時被定義為一種更好地留住谷歌創業人才的方式，同時讓該團隊能夠訪問谷歌的數據、產品和資源並測試新想法。

多年來，Area 120推出的項目包括面向新興市場的HTML5遊戲平台GameSnacks；技術面試平台Byteboard；表格工具Tables；AI驅動的對話廣告平台AdLingo；視頻平台Tangi和購物平台Shoploop；以及基於互聯網的旅遊應用程序Touring Bird等，但上述部分產品已經退出谷歌。

目前，Area 120正在孵化視頻平台ThreadIt、頻譜市場Orion、文檔掃描儀Stack等項目。一般情況下，Area Continue reading →

從意唸書寫到電子皮膚，微型芯片如何打開仿生之門？

微型芯片，正成為開啟仿生之門的鑰匙。

人腦擁有地球生物中最複雜的結構，芯片是各種電子設備的核心，當自然的精妙之作與人類的智慧結晶接壤，或許能破解生命的奧秘。

一些科學家們執著於此。他們突破固有思維，探索人體的特徵，嘗試將芯片植入大腦、皮膚，以此解析生命信號的更多可能。

在這場改變人類命運的長期求索中，有兩位天才科學家的研究工作頗具代表性。

腦機接口專家、斯坦福大學教授、神經假體系統轉化實驗室聯合主任Krishna Shenoy，將芯片放入人腦，通過腦機接口解讀思維，讓失語者重新具備表達的能力。

“柔性電子之父”John A. Rogers是少有的入選美國所有國家科學院（美國國家工程院、美國國家科學院和國家醫學科學院）的天才人物，他設計出能連接皮膚的電子設備，可以精確測量各種人體指標，甚至能輔助新冠患者監測監控狀況。

無論是腦機接口，還是柔性電子皮膚，都通過研發對人體友好的新型計算機芯片，在為生命傳遞更多科技的溫度，向“數字永生”再邁進一步。

一、腦機接口：向大腦植入微型芯片，實現意唸書寫

大約3磅重的人腦，是世間最神秘的構造之一。

如何傾聽和讀懂大腦的語言，幫助有相關障礙的病患？這是Krishna Shenoy一直在探索的事。

通過連接大腦去幫助有其它疾病或損傷的患者，有可能徹底改變整個醫學體系。

而微型芯片，在大腦損傷而導致某種活動無法實現時，也許能讓失明者重見光明、癱瘓者恢復運動能力。

芯片就像指甲或阿司匹林藥片那麼大，高度定制化，能耗極低，通過神經外科手術被植入大腦外層後，就能收集神經元發出的電信號，並對其進行實時的數學計算。

Krishna Shenoy展示的電極陣列中，每個電極4毫米見方，共有100個微型電極，每個長度1.5毫米，這組電極陣列就是該研究領域的核心，名為“猶他電極陣列”（Utah Electrode Array）。

通過手術在大腦開一個小口，然後快速地放入電極陣列，大概在大腦表皮以下1.5-2毫米處，這些電極的末梢緊挨著個體細胞和神經元，觀察其中一個電極，可以看到電壓和時間脈衝。

每次你想移動手臂的時候，你會從不同的神經元那裡獲得不同樣式的反饋。

為了對來自大腦的神經活動進行精準解碼，每個電極都接通至小型連接器的不同面板上，連接器非常小且位於大腦之上。

但我們可以想像一下不用這個連接器，各種活動仍然可以進行，我們可以用一個小型無線電發射器來替代，就像手機中的藍牙或者WiFi裝置，這就是微型芯片。

這樣頭部皮膚能保持完整，頭髮可以完好無損。

最後一步，當我們想要在實驗室或使用者家中記錄這些信號時，我們會放置一個小型的信號擴大器，收集並放大這些極其微弱的信號，然後傳輸至電腦中進行解碼。

“我剛才所說的這些，完全有可能在不久的將來，通過芯片得以實現。”Krishna Shenoy說，“該領域的許多研究團隊和企業都在為此而努力。”

得益於相關機器學習和解碼算法的進步，參與實驗的癱瘓患者，通過在大腦中想像寫字，意念操縱機器屏幕每分鐘生成大約90個字母。

這比此前用屏幕光標打字的速度快了1倍多，錯誤率從原來的5%降至0.5%。

如此一項幫助失語者實現正常速度交流的重要進展，在今年5月登上科技頂刊Nature的封面。

二、表皮電子設備：芯片走進皮膚，改變健康診療

類似的，“柔性電子之父”John A. Rogers也致力於研究另一種“人體芯片”。

除了腦機結合外，他希望電子設備也能夠用於人體的其它重要器官，包括心臟、皮膚。

皮膚是最大的人體器官組織，如果能將電子設備與皮膚無感相連，則可以在任何日常環境下持續進行健康監測，傳遞和監控人體多個器官和系統的神經活動。

而這有一個前提：矽基芯片能變得像橡膠一樣柔軟，無創地與人體結合嗎？ Continue reading →

哥倫比亞大學「機械手」無需提前了解抓握物體，也能靈活適應形狀！

大數據文摘轉載自機器人大講堂

人類天生擁有先進而靈活的手部操縱能力，能夠輕鬆完成日常很多動作，例如移動物體、開門、打字、繪畫等。

但對機器人來說，要實現多任務操控，並根據不同物體適應最合適的抓握手勢，這可是件難事。

很多靈活強大的機械手使用了無模型強化學習技術（RL）來進行精確抓握，這種方法通用性很強，它無需過多假設，而且能自動掌握很多技能。由於這種方法除了建立函數無需其他信息，所以很容易在改進後的環境中重新學習技能，例如更換了目標物體或機械手。

但大部分情況下，這種策略需要外部傳感信息，例如，用多攝像頭系統來跟踪手指或物體，然而這種系統很難部署在實驗室以外的環境。

為了解決該問題，哥倫比亞大學機器人操作和移動實驗室的研究人員首次將無模型強化學習技術（RL）與本體觸覺反饋相結合，在沒有任何外部信息、機械手也不知道物體形狀的情況下，僅利用“觸覺感知”就能靈活操縱物體。

將觸覺反饋與強化學習集成在一起，本身就是一個挑戰。

觸覺反饋通常是高維的，這會極大地增加強化學習所需的訓練樣本數量。因此，大多數使用強化算法控制機械手的工作要么完全避免使用觸覺反饋，要么考慮需要較少訓練樣本的任務。

為了避免大量的訓練樣本，研究人員考慮僅使用內部感知，不關注被抓物體的形狀，而是專注於讓機械手學習手指手勢（包括手指替換和重新抓握的操作）和手指旋轉（涉及手指抓握中的物體的操作）技能，這些不受手的運動學約束的限制，可以實現潛在的物體形狀重新定向。

這個機械手並不包含手掌，所以可將手指的手勢學習主要集中在主軸旋轉，然後為每個軸獲得的手指採集策略以適當的順序組合，以實現目標方向的期望變化。

穩定抓取採樣，減少隨機性

僅用內部感知學習手勢的方法有一定的缺點：行動隨機化。

隨機的探索動作容易擾亂精確抓握的物體的穩定性，導致其掉落，因此需要對手指位置穩定抓取採樣(SGS)，以訓練穩定的抓握軌跡。

為了對手部姿勢進行採樣，研究人員首先對物體周圍的環內指尖位置進行採樣，該環以物體為中心並與其部分重疊，因此指尖接觸物體和保持自由的概率大致相同。通過這個過程，不僅可以找到與手指步態和手指旋轉相關的穩定抓握，還可以提高發現它們的可能性，從而最大限度地減少訓練時間。

這項研究的預印本發表在arXiv上，論文標題為《On the Feasibility of Learning Finger-gaiting In-hand Manipulation withIntrinsic Sensing》。

為了促進未來在真實場景中的部署，限制外部視覺或跟踪傳感器等信息是很有必要的。這項研究是第一個成功地使用僅內在傳感信息進行訓練的機械手實例，論文的第一作者，Gagan Khandate認為：“這項工作是邁向未來機械手操縱方向的非常有用的一步，不僅如此，我們在不使用手掌或其他表面進行被動支持的情況下，也能實現機械手的穩定操作技能。”

成也AI，敗也AI。美國最成功的AI房產估價公司遭遇危機，裁員2000人，模型失靈了？