|
2020年9月23日，《IEEE Transactions on Cybernetics》（工程技術(shù)一區(qū)，IF值11.079）期刊在線發(fā)表了題為“Early Screening of Autism in Toddlers via Response-To-Instructions Protocol”（基于范式：對語言的回應(yīng)輔助篩查孤獨癥）的研究論文，這是復(fù)旦大學(xué)附屬兒科醫(yī)院徐秀教授團隊和上海交通大學(xué)劉洪海教授團隊在ASD早期篩查合作的第二篇研究成果。
該研究首次提出了規(guī)范化的篩查范式：對語言的回應(yīng)，重點探究孤獨癥兒童對語言的理解并作出回應(yīng)的能力。首先搭建了一個多視覺傳感器平臺，可以從不同的視角同步采集包括視頻、音頻、人體骨架等多模態(tài)信息。在采集到的多流信息的基礎(chǔ)上，提出了相關(guān)算法進行人體行為分析。一方面，基于深度學(xué)習(xí)SSD模型實現(xiàn)了在醫(yī)生與患兒交互過程中對人體的手部以及相關(guān)交互物體的識別追蹤；另一方面，基于人眼模型提出了在自由環(huán)境中的三維視線估計的方法，用以表征人體注意力。同時，通過語音識別的方法標記出由醫(yī)生給出的關(guān)鍵性指令語言的具體時刻。基于以上得到的人體行為特征時間序列，先后進行時間上的特征對齊和統(tǒng)計學(xué)的方法以設(shè)定相關(guān)閾值，提出了評價范式的具體量化方法。通過對15名孤獨癥兒童和5名正常兒童的實驗驗證了以上框架。
圖一 對語言回應(yīng)測試場景及測試系統(tǒng)設(shè)置
實驗結(jié)果發(fā)現(xiàn)，與醫(yī)生給出的結(jié)果相比，研究團隊提出的自動化評估方法正確率達到95%，組內(nèi)相關(guān)系數(shù)ICC達到0.998（95%置信區(qū)間0.996-0.999）。除此之外，量化的特征還可用于肉眼難以察覺的量化統(tǒng)計分析，包括對參與程度、回應(yīng)延遲、視覺注意力累計三項的組間（孤獨癥組VS正常組）差異分析。結(jié)果表明，孤獨癥兒童和正常兒童在參與程度、回應(yīng)延遲方面差異不大，但孤獨癥兒童比正常兒童更少地注視他人。
圖二 對語言回應(yīng)量化模型及算法
相對于其他技術(shù)方法而言，計算機視覺方法的優(yōu)點在于可以更直觀地量化人體行為。但現(xiàn)有的基于視覺篩查孤獨癥的方法多是診斷單一早期特征，而本團隊的研究目標是發(fā)展一個完整的、考慮多項孤獨癥核心特征的自動化視覺系統(tǒng)輔助孤獨癥篩查過程。同時，通過對多模態(tài)信息的特征提取及分析，嘗試探究孤獨癥的部分病理機制，為孤獨癥的早期篩查和干預(yù)工作提供一定的理論依據(jù)。
本項研究來源于國家自然基金重點項目，面向孤獨癥早期診療的機器輔助系統(tǒng)關(guān)鍵技術(shù)研究（61733011）。
|
