An acupuncture manipulation classification system based on three-axis attitude sensor and computer vision

ZHU Meng; LIU Da-ming; PEI Jian; ZHAN Yi-jun; SHEN Hai-yue

doi:10.13702/j.1000-0607.20221145

您当前的位置：

首页 >

文章列表页 >

An acupuncture manipulation classification system based on three-axis attitude sensor and computer vision

更新时间：2023-12-25

- An acupuncture manipulation classification system based on three-axis attitude sensor and computer vision
- Acupuncture Research Vol. 48, Issue 12, Pages: 1274-1281(2023)
- 作者机构：
  
  1.上海电力大学计算机科学与技术学院，上海 200090
  2.上海中医药大学附属龙华医院，上海 200032
  3.上海中医药大学研究生院，上海 201203
- 作者简介：
- 基金信息：
- DOI：10.13702/j.1000-0607.20221145
  CLC： R245.31
- Received：11 October 2022，
  
  Revised：19 November 2022，
  
  Published：25 December 2023
- 稿件说明：
移动端阅览
朱猛,刘大明,裴建等.一种基于三轴姿态传感器和计算机视觉的针刺手法分类系统[J].针刺研究,2023,48(12):1274-1281.

ZHU Meng,LIU Da-ming,PEI Jian,et al.An acupuncture manipulation classification system based on three-axis attitude sensor and computer vision[J].Acupuncture Research,2023,48(12):1274-1281.
朱猛,刘大明,裴建等.一种基于三轴姿态传感器和计算机视觉的针刺手法分类系统[J].针刺研究,2023,48(12):1274-1281. DOI： 10.13702/j.1000-0607.20221145.

ZHU Meng,LIU Da-ming,PEI Jian,et al.An acupuncture manipulation classification system based on three-axis attitude sensor and computer vision[J].Acupuncture Research,2023,48(12):1274-1281. DOI： 10.13702/j.1000-0607.20221145.

摘要

目的

采用计算机视觉和传感器技术探索针刺手法的动作特征，提升针刺手法识别分类精度并量化分类。

方法

以针刺物理参数的时域特征与手法视频中动态手势特征相结合的方式对针刺手法进行识别分类。选取2位针灸专家和3位年轻针灸师的针灸操作过程作为研究对象。收集的数据包括提插补法、提插泻法、捻转补法、捻转泻法4种手法，以上都由右利手医生进行。针灸操作过程中，采用三轴姿态传感器采集手指移动加速度和旋转角速度，以此计算针刺过程中手部移动速度、幅度、力度、角度等参数，分析物理参数与不同手法之间在时域上形成的映射关系；计算机视觉技术提取针刺手法视频中图像的时空特征，用三维卷积神经网络（3D CNN）和长短期记忆（LSTM）神经网络的混合模型对针灸操作视频中的动态手势进行识别和分类，分类过程中将物理参数的时域特征与动态手势特征结合实现手法分类。

结果

本研究中4种手法的物理参数结果显示，补法中插针速度快、用力重，提针速度慢、用力轻；泻法中提针速度快、用力重，插针速度慢、用力轻。捻转补法中左捻用力重、旋转幅度大，右捻用力轻、旋转幅度小；泻法中右捻用力重、旋转幅度大，左捻用力轻、旋转幅度小。提插手法主要体现在Z轴上的垂直作用力，捻转手法主要体现在X与Y轴水平方向作用力。该方法对提插补、提插泻、捻转补和捻转泻的识别分类有较高的准确率，分别为95.56%、93.33%、95.56%和91.11%，与单一使用传感器获取手法信息的分类方法相比，识别准确率有明显的提升。

结论

该系统能实现针刺手法中物理参数的定量分析和动态手法识别，为后续针刺手法的量化与传承提供一定基础。

Abstract

Objective

To explore the action characteristics of acupuncture manipulations by combining visual and sensor technique， so as to improve the identification and classification accuracy of acupuncture manipulations and to quantificate the classifiations.

Methods

In this paper， the time domain features of acupuncture physical parameters and dynamic gesture features in the video of acupuncture manipulations are combined together to identify and classify acupuncture techniques. The acupuncture needle manipulation processes of 2 acupuncture experts and 3 young acupuncturists were selected as the study objects. The collected data included 4 basic manipulation techniques： lifting-thrusting reinforcing， lifting- thrusting reducing， twisting reinforcing and twisting reducing methods， all of which were performed by right-handed doctors. During acupuncture manipulation， a three-axis attitude sensor was used to acquire finger moving acceleration velocity and needle-rotating angle velocity， followed by analyzing the parameters of hand-moving velocity， amplitude， strength and angle. The mapping relationship among physical parameters and different manipulating methods was formed in time domain. The computer vision technology was employed to extract the spatio-temporal features of the acupuncture manipulation video images， and a hybrid model of three-dimensional convolutional neural network （3D CNN） and long- and short-term memory （LSTM） neural network were used for the recognition and classification of dynamic gestures of hand in acupuncture manipulation videos. Then the time-domain features of physical parameters were combined with the dynamic gestures in the classification process， with the manipulation classification realized.

Results

In performing the lift-thrusting reinforcing method， the needle insertion speed was faster and the force was larger， while the needle lifting speed was slower and the force was smaller. And in performing the lift-thrusting reducing method， the needle lifting speed was faster， the force was stronger， and the needle insertion speed was slower and the force was smaller. In the performance of twisting reinforcing， the leftward twisting force was bigger and the rotation amplitude was larger， while in performing the reducing method， the rightward twisting force was larger and the rotation amplitude was larger. When using the mean value of time of acceleration， speed， and amplitude as the basis of discrimination， the accuracy rates of lifting-thrusting reinforcing and reducing were 95.56% and 93.33%， while those of the two twisting manipulations were 95.56% and 91.11%， respectively. Compared with the classification method that only uses the sensor to obtain the manipulation information， the recognition accuracy was significantly improved.

Conclusion

The acupuncture manipulation classification system can achieve quantitative analysis of physical parameters and dynamic recognition of acupuncture techniques， providing a certain foundation for the quantification and inheritance of acupuncture techniques.

关键词

Keywords

references

唐乐微，陈亮，任玉兰，等 . 针刺手法的发展演变规律及理论价值［J］. 中医杂志， 2014 ， 55 （ 9 ）： 728 - 731 .

TANG L W ， CHEN L ， REN Y L ， et al . Discussion on evolution and theoretical value of needling manipulation （in Chinese）［J］. Journal of Traditional Chinese Medicine ， 2014 ， 55 （ 9 ）： 728 - 731 .

刘建华，马文涛，崔仁发，等 . 针灸作用机理和经络研究的现状及其展望［J］. 中国基础科学， 2004 ， 6 （ 4 ）： 29 - 35 .

LIU J H ， MA W T ， CUI R F ， et al . Current situation and prospect of the study on mechanism of acupuncture and moxibustion and meridians （in Chinese）［J］. China Basic Science ， 2004 ， 6 （ 4 ）： 29 - 35 .

杜元灏 . 针灸疗法本质特征与治疗规律思考［J］. 中国针灸， 2018 ， 38 （ 6 ）： 650 - 654 .

DU Y H . Essential characteristics and clinical treatment regularity of acupuncture therapy （in Chinese）［J］. Chinese Acupuncture & Moxibustion ， 2018 ， 38 （ 6 ）： 650 - 654 .

LANGEVIN H M ， CHURCHILL D L ， CIPOLLA M J . Mechanical signaling through connective tissue： a mechanism for the therapeutic effect of acupuncture ［J］. FASEB J ， 2001 ， 15 （ 12 ）： 2275 - 2282 .

石学敏 . 针灸学［M］. 北京：中国中医药出版社， 2002 .

SHI X M . Acupuncturology （in Chinese）［M］. Beijing ： China Press of Traditional Chinese Medicine ， 2002 .

郭霞，杨铭 . 针刺手法补泻的现代研究概况［J］. 中华针灸电子杂志， 2016 ， 5 （ 2 ）： 68 - 71 .

GUO X ， YANG M . Modern research overview on acupuncture reinforcing and reducing （in Chinese）［J］. Chinese Journal of Acupuncture and Moxibustion（Electronic Edition）， 2016 ， 5 （ 2 ）： 68 - 71 .

樊小农，王舒，李雅洁，等 . “水沟”穴最佳刺激参数的筛选研究［J］. 中国针灸， 2008 ， 28 （ 12 ）： 913 - 917 .

FAN X N ， WANG S ， LI Y J ， et al . Study on optimum stimulation parameter for Shuigou （GV26） in Xingnao Kai-qiao needling method （in Chinese）［J］. Chinese Acupuncture & Moxibustion ， 2008 ， 28 （ 12 ）： 913 - 917 .

何晓茜，唐雪青，刘旭峰，等 . 关于针刺捻转补泻法的演变及思考［J］. 环球中医药， 2019 ， 12 （ 7 ）： 1028 - 1032 .

HE X Q ， TANG X Q ， LIU X F ， et al . Evolution and thinking of acupuncture twirling reinforcing and reducing manipulation （in Chinese）［J］. Global Traditional Chinese Medicine ， 2019 ， 12 （ 7 ）： 1028 - 1032 .

侯晓菲，王欣君，张建斌，等 . 提插补泻手法要素源流梳理及核心技术［J］. 中国针灸， 2019 ， 39 （ 7 ）： 729 - 733 .

HOU X F ， WANG X J ， ZHANG J B ， et al . Summary and core technique on the origin and evolution of reinforcing-reducing manipulation achieved by lifting and thrusting the needle （in Chinese）［J］. Chinese Acupuncture & Moxibustion ， 2019 ， 39 （ 7 ）： 729 - 733 .

李靖， GRIERSON L ， WU M ，等 . 捻转针刺手法的运动学及动力学特征研究［J］. 针刺研究， 2013 ， 38 （ 5 ）： 415 - 419 .

LI J ， GRIERSON L ， WU M ， et al . Research on action features of acupuncturist experts’ acupuncture needle twirling skills （in Chinese）［J］. Acupuncture Research ， 2013 ， 38 （ 5 ）： 415 - 419 .

HAN Y J ， YI S Y ， LEE Y J ， et al . Quantification of the parameters of twisting-rotating acupuncture manipulation using a needle force measurement system ［J］. Integr Med Res ， 2015 ， 4 （ 2 ）： 57 - 65 .

DAVIS R T ， CHURCHILL D L ， BADGER G J ， et al . A new method for quantifying the needling component of acupuncture treatments ［J］. Acupunct Med ， 2012 ， 30 （ 2 ）： 113 - 119 .

FENG C Y ， ELAZAB A ， YANG P ， et al . Deep learning framework for Alzheimer’s disease diagnosis via 3D-CNN and FSBi-LSTM ［J］. IEEE Access ， 2019 ， 7 ： 63605 - 63618 .

QURESHI M N I ， OH J ， LEE B . 3D-CNN based discrimination of schizophrenia using resting-state fMRI ［J］. Artif Intell Med ， 2019 ， 98 ： 10 - 17 .

MONTAHA S ， AZAM S ， RAFID A K M R H ， et al . Time distributed-CNN-LSTM： a hybrid approach combining CNN and LSTM to classify brain tumor on 3D MRI scans performing ablation study ［J］. IEEE Access ， 2022 ， 10 ： 60039 - 60059 .

HU Y E ， YANG H Y ， LIU T Y . Study on cluster analysis of acupuncture-manipulation parameters ［J］. World Sci Technol ， 2011 ， 13 （ 1 ）： 59 - 63 .

涂涛，苏业豪，宿翀，等 . 一种基于计算机视觉的针刺手法分类系统开发与应用［J］. 针刺研究， 2021 ， 46 （ 6 ）： 469 - 473 .

TU T ， SU Y H ， SU C ， et al . Development and application of computer vision-based acupuncture manipulation classification system （in Chinese）［J］. Acupuncture Research ， 2021 ， 46 （ 6 ）： 469 - 473 .

刘堂义，杨华元，蒯乐，等 . 提插、捻转类针刺手法物理参数分类及其特征［J］. 针刺研究， 2010 ， 35 （ 1 ）： 61 - 66 .

LIU T Y ， YANG H Y ， KUAI L ， et al . Classification and characters of physical parameters of lifting-thrusting and twirling manipulations of acupuncture （in Chinese）［J］. Acupuncture Research ， 2010 ， 35 （ 1 ）： 61 - 66 .

苟升异，宿翀，王磊，等 . 一种基于阵列式PVDF触觉传感器和机器学习的针刺手法识别系统［J］. 针刺研究， 2021 ， 46 （ 6 ）： 474 - 479 .

GOU S Y ， SU C ， WANG L ， et al . Recognition system of acupuncture manipulations based on an array PVDF tactile sensor and machine learning （in Chinese）［J］. Acupuncture Research ， 2021 ， 46 （ 6 ）： 474 - 479 .

Views

下载量

CNKI被引量

Alert me when the article has been cited

提交

Tools

Publicity Resources

Classification and Characters of Physical Parameters of Lifting-thrusting and Twirling Manipulations of Acupuncture

Acquisition and objective quantification analysis of acupuncture manipulation parameters based on the optical positioning system

Dose-effect relationship and precise treatment of acupuncture: viewing from translational medicine

Related Author

PEI Jian

ZHAN Yi-jun

LIU Tang-yi

YANG Hua-yuan

KUAI Le

GAO Ming

GUO Yong-ming

WU Yong-jian

Related Institution

LongHua Hospital of Shanghai University of Traditional Chinese Medicine

Department of Chinese Medical Engineering,College of Acu-moxibustion,Shanghai University of Chinese Medicine

School of Computer Science and Engineering of Northeastern University

Tianjin Key Laboratory of Modern Chinese Medicine Theory of Innovation and Application

National Clinical Research Center for Chinese Medicine Acupuncture and Moxibustion

Postal code：100700
Tel：010-64089344,84014607 Email：zcyjbjb@vip.163.com
Technical support is provided by Beijing Founder electronics co., LTD 京ICP备05017590号-8 京公网安备11010802020460号
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰