內容一覽：材料檢測在工程、科學及製造業中扮演著至關重要的角色。傳統的材料檢測方法，例如切割和化學試劑檢測具有破壞性，同時較為耗費時間和資源。近期，MIT 科學家利用深度學習開發了一種技術，能夠填補缺失資訊，並進一步通過表面觀察確定材料的內部結構。

關鍵詞：深度學習 材料檢測 CNN

作者｜daserney

編輯｜三羊

在資料處理時，經常遇到一種挑戰，即從模糊的圖像或部分資訊中復原完整的圖像。這種挑戰被稱為「逆問題」(inverse problem)，它不僅在醫學診斷中普遍存在，也在材料科學中頻繁出現。如果我們能夠有效地填補這些缺失的資訊，就有可能更全面、更準確地理解生物組織或材料的性質，從而做出更精確的決策。

如何無損檢測材料內部的組織結構困擾著許多相關從業人員。無損檢測指利用現代化技術和設備，在不損害或影響材料內部組織和使用性能的前提下，檢測材料內部結構。雖然可以通過使用 X 射線等技術進行檢測，但這些方法通常較為昂貴，並且需要龐大的設備。

為此，MIT (麻省理工學院) 的中國博士生楊鎮澤及 Markus Buehler 教授結合多種深度學習架構，在 2D 和 3D 的情況下，分別通過有限的資訊恢復材料中的缺失部分，並進一步表徵微觀結構。

目前，該研究成果已發表在《Advanced Materials》期刊上，標題為「Fill in the Blank: Transferrable Deep Learning Approaches to Recover Missing Physical Field Information」。

該研究成果已發表在《Advanced Materials》

論文地址：

https://onlinelibrary.wiley.com/doi/full/10.1002/adma.202301449

實驗概述：模型組合進行「填空解謎」

下圖展示了該研究的總體示意圖。在左邊的圖中，灰色立方體為缺失的部分。在 2D 和 3D 情況下，分別有兩個 AI 模型組合執行任務。研究人員訓練第一個 AI 模型「填補空白」，從 masked field 中恢復 complete field，訓練第二個 AI 模型「解謎」，將恢復的 complete field 作為輸入，反向獲得複合材料對應的微觀結構 (Microstructure)。

圖 1: 總體示意圖

研究人員使用有限元分析 (Finite Element Analysis, FEA) 來計算特定條件下 2D 和 3D 複合材料的應變和應力場 (strain and stress fields)。

在 2D 情況下，研究人員創建了對稱的 8×8 網格，用於構建複合材料的幾何形狀（共 232 種可能的幾何形狀）。隨後，隨機生成了 1,000 種不同的複合材料微觀結構用於單軸拉伸測試 (uniaxial tensile test)。

在 3D 情況下，研究人員利用 2×4×4 網格創建了兩層微觀結構（共 232 種可能的幾何形狀），並使用 4×4×4 網格構建了 4 層複合材料（共 264 種可能的幾何形狀）。為了使可能幾何形狀的數量與 2D 情況相同，研究人員選擇了 2×4×4 網格作為基準，並隨機生成了 2,000 種不同的幾何形狀用於 FEA 計算。

資料的視覺化及預處理

在 2D 情況下，通過使用 Abaqus 視覺化工具，研究人員生成了從 FEA 中得到的應變和應力場圖像，並使用白色和紅色的條塊進行表示。接著，通過 Python 預處理，進行剪切、調整大小和重新著色。預處理後的圖像尺寸為 256×256。在複合材料幾何圖或微觀結構中，紅色塊代表柔軟材料，而白色塊代表剛性材料。研究人員引入了規則和不規則形狀的掩碼，規則掩碼是方形形狀，大小從 96-128 不等。

在 3D 情況下，研究人員收集了每個單元的應變和應力值 (strain and stress values)，然後對其進行了歸一化，形成一個 16×32×32×1 的矩陣。與 2D 情況類似，使用 Python 程式碼視覺化應變和應力場的等值線。將一系列 field 圖像儲存在一個 16×32×32×3 的矩陣中，用作訓練和測試深度學習模型的資料表示形式。相應的 3D 複合材料微觀結構視覺化通過 Matplotlib 庫進行體積繪製。

模型選擇：GAN + ViViT + CNN

本研究採用了多種深度學習模型，包括生成對抗網路 (GAN)、基於 Transformer 的 ViViT 模型及卷積神經網路 (CNN)。

• GAN:在填補 2D 圖像階段，研究人員使用了 GAN 模型，該模型被稱為 DeepFill 模型的第二版本，可以進行自由形式的圖像修復。

• ViViT:在 3D 情況下，研究人員使用基於 Transformer 架構的 ViViT 模型進行填補空白。

• CNN:在獲得 complete field 後，2D 和 3D 情況下皆採用了 CNN 模型，以建立從力學行為到複合材料微觀結構的逆向連結。

實驗結果：ViViT + CNN 實現完美預測

2D 情況

為了獲得預測誤差，研究人員繪製了預測應力平均值與掩碼區域內實際值的散點圖。掩碼的形狀隨機生成。如下圖 c 所示，給定 200 個測試資料的 R²指標達到 0.998，表明 GAN 模型性能出色。

圖 2: 2D 情況下模型表現

c：GAN 模型在填補圖像上的表現。Ground truth 與預測值顯示出很高的一致性 (R²= 0.998)。

d：CNN 模型進行幾何識別的性能。圖中顯示了 ground truth 與預測結果之間的 geometry difference 分佈。

此外，研究人員通過計算 geometry difference 來評估 CNN 模型在幾何識別方面的性能。geometry difference 是真實序列和預測序列之間不同材料塊的數量。如圖 2d 所示，大多數預測序列與實際序列相同，所有 200 個測試資料中的最大 geometry difference 為 0.0625，32 個塊 (block) 中有兩個不同。如果恢復的 field 圖像不準確，幾何誤差會增加。因此，CNN 模型的精確預測進一步驗證了 GAN 模型的高性能。

3D 情況

在實際工程實踐中，3D 複合材料微觀結構通常比 2D 情況更加複雜。下圖展示了 8 個預測的 field frames 與 ground truth 的對比。結果顯示，改進後的 ViViT 模型能夠利用複合材料中的一層（第 1 至第 8 幀）的 mechanical fields，對另一層（第 9 至第 16 幀）的 field 進行準確預測。

圖 3: 兩例雙層複合材料的 field frame 預測。

前 8 個幀作為輸入，其餘 8 個幀由深度學習模型預測。

圖 4 顯示了所有 200 個測試資料的第 9 至第 16 幀的均方誤差 (MSE)。每個資料點的 MSE 是通過計算預測的 field maps 和真實值之間像素值平方差的平均值得到的。8 個預測幀的整體 MSE 都很低，全部幀的平均 MSE 都低於 0.001，顯示了 ViViT 模型的出色性能。

均方誤差 (Mean Squared Error，MSE) 是一種常用的評估預測模型準確性的指標。在預測過程中， MSE 用於度量預測值與真實值之間的差異程度。MSE 值越小，表示預測模型的準確性越高。

圖 4: 誤差分佈

通過預測的 field frame，可以利用完整的 3D mechanical fields 來確定複合材料的微觀結構。與 2D 情況類似，研究人員使用 CNN 模型來進行預測。如圖 4 右上方小圖所示，geometry difference 為 0，通過將改進後的 ViViT 模型與 CNN 模型相結合，能夠實現對內部 3D 微觀結構的精確識別，其中大多數幾何形狀得到了完美預測。

LAMM 實驗室：連結材料結構與功能

該研究為 MIT 的中國博士生楊鎮澤及 Markus Buehler 教授共同完成。楊鎮澤是 MIT 的博士生，在 MIT 原子和分子力學實驗室 (LAMM) 工作。研究興趣包括將機器學習和深度學習技術與多尺度模擬方法相結合，以加速複合材料、奈米材料和生物材料等各種材料的性能計算和設計。在此之前，楊鎮澤獲得了中國科學院大學的物理學學士學位。

楊鎮澤與 Markus Buehler 教授

楊鎮澤個人網站：

https://www.zhenzeyang.com/

實驗室地址：

http://lamm.mit.edu/

通訊作者 Markus Buehler 是 LAMM 的主要研究員。Markus Buehler 學術研究引用率很高，在計算材料科學、生物材料和奈米技術等方面發表了 450 多篇文章。他的目標之一是利用音樂和聲音設計，結合人工智慧，以一種抽象的方式從底層開始模擬、最佳化和創造新形式的自治物質 (autonomous matter)，跨越尺度（例如從奈米到宏觀）和物種（例如從人類到蜘蛛）。

LAMM 致力於開發一種新正規化，從分子尺度開始設計材料。結合結構工程、材料科學和生物學的概念，LAMM 將基本的原子尺度化學結構與功能尺度相連接，通過理解生物材料如何形成層次結構，實現優越的力學性能，將結構和功能的概念融合在一起。

參考連結：