数字人文中图像资源的语义化标注研究

doi:10.13998/j.cnki.issn1002-1248.2020.09.20-0411

农业图书情报学报 ›› 2020, Vol. 32 ›› Issue (9): 6-14.doi: 10.13998/j.cnki.issn1002-1248.2020.09.20-0411

所属专题：数字人文

• 从技术视角看数字人文实践研究 • 上一篇下一篇

数字人文中图像资源的语义化标注研究

陈涛^1,*, 单蓉蓉², 李惠^1,3

1.上海图书馆（上海科学技术情报研究所）,上海 201100;
2.上海大学图书情报档案系,上海 200444;
3.南京大学信息管理学院,南京 210046

收稿日期:2020-01-08 出版日期:2020-09-05 发布日期:2020-09-30
作者简介:陈涛（1981- ）,男,工学博士,高级工程师,研究方向为知识图谱、关联数据,E-mail: tchen@libnet.sh.cn。单蓉蓉（1987-）,女,博士研究生,研究方向为数字人文。李惠（1987- ）,女,理学博士,研究方向为数字人文、社会网络
基金资助:
国家社会科学基金项目“数字人文中图像文本资源的语义化建设与开放图谱构建研究”（19BTQ024）

Semantic Annotation of Image Resources in Digital Humanities

CHEN Tao^1,*, SHAN Rongrong², LI Hui^1,3

1. Shanghai Library/Institute of Scientific & Technical Information of Shanghai, Shanghai 201100;
2. Department of Library, Information and Archives, Shanghai University, Shanghai 200444;
3. Department of Information Management, Nanjing University, Nanjing 210046

Received:2020-01-08 Online:2020-09-05 Published:2020-09-30

摘要/Abstract

摘要： [目的/意义]数字人文领域存在的大量图像资源长期以来一直没有得到有效的利用,图像孤岛现象愈演愈烈。国际图像互操作框架（IIIF）为图像资源的深度交互和应用打开了新的窗口,而图像标注正是打通图像孤岛、提升图像认知的关键。[方法/过程]论文基于IIIF框架提出了“图像层面的元数据注入”“对象层面的内容录入”和“语义层面的语义引入”的3层标注模型。同时,文中构建的本体管理平台为图像资源的语义化标注提供了本体上的支持。[结果/结论]以韩干《照夜白图》为例,探讨了使用图像标注和IIIF技术在图像内容语义增强、对象标签聚类和资源精准关联等方面所带来的新的交互体验和研究模式。可以说,IIIF、关联数据（Linked Data）和人工智能（AI）的结合必将开启数字人文研究的新时代。

关键词: 国际图像互操作框架（IIIF）, 语义化标注, 本体, 关联数据, 数字人文

Abstract: [Purpose/Significance] A large number of image resources in digital humanities have not been in effective use for a long time, and the phenomenon of "isolated image islands" is intensifying. The International Image Interoperability Framework (IIIF) opens a new window for more in-depth interactions with image applications. Image annotation is the key to breaking image islands and enhancing image recognition. [Method/Process] Based on IIIF framework, this paper proposes three dimensions of image annotation: image-level metadata injection, object-level content transcription, and semantic-level deep annotation connection. At the same time, the ontology management platform built in the paper provides ontology support for semantic annotation of image resources. [Results/Conclusions] This paper takes Night-Shining White, a monochrome ink-on-paper painting by Han Gan, as an example. In this case, the paper discusses the new interactive experience and research mode brought by the use of image annotation and IIIF technology in semantic enhancement of images, object tag clustering and precise associations of resources. It indicates that the combination of IIIF, linked data and artificial intelligence (AI) is bound to open a new era of digital humanities research.

Key words: international image interoperability framework (IIIF), semantic annotation, ontology, linked data, digital humanities

中图分类号:

G250

陈涛, 单蓉蓉, 李惠. 数字人文中图像资源的语义化标注研究[J]. 农业图书情报学报, 2020, 32(9): 6-14.

CHEN Tao, SHAN Rongrong, LI Hui. Semantic Annotation of Image Resources in Digital Humanities[J]. Journal of Library and Information Science in Agriculture, 2020, 32(9): 6-14.

参考文献

[1] 马林青, 韩若画(译). 数字人文: 改变知识创新与分享的游戏规则[M]. 北京: 中国人民大学出版社, 2018.
[2] 大卫·M 贝里, 安德斯·费格约德. 数字人文: 数字时代的知识与批判[M]. 王晓光, 译. 大连: 东北财经大学出版社, 2019.
[3] ALBERTO S.International image interoperability framework(IIIF): A panoramic view[J]. JLIS. it, 2017, 8(1): 50-66.
[4] STUART S, ROBERT S, TOM C.The international image interoperability framework(IIIF): A community & technology approach for web-based images[J]. Society for imaging science and technology, 2015, 8: 16-21.
[5] SARAH A L.Review: International image interoperability framework(IIIF)[J]. Journal of the American musicological society, 2018, 71(2): 561-572.
[6] ANDY C.IIIF: Unshackle your images[C]. MW2016: Museums and the Web 2016, Los Angeles, USA, 2016.
[7] TRISTAN R, ROB L, JEFFREY C S C, et al. IIIF at Scale[EB/OL].[2020-04-04]. https://mw20.museweb.net/paper/iiif-at-scale/.
[8] JULIEN A R.Suggested measures for deploying IIIF in swiss cultural heritage institutions[EB/OL]. [2020-04-05].https://www.researchgate.net/publication/340966631_Swiss_institutions_climbing_up_the_IIIF_ladder.
[9] IIIF collections in Japan[EB/OL]. [2020-04-04].https://www.kanzaki.com/works/2016/pub/image-annotator?u=https://nakamura196.github.io/iiif/data/collection/collection.json.
[10] 耿曼曼. 图书馆图像资源开发利用: 国际图像互操作框架[J]. 图书馆学研究, 2019, 18: 37-45.
[11] 张轶. 国际图像互操作框架及其应用分析[J]. 数字图书馆论坛,2019, 5: 42-49.
[12] 付跃安. 国际图像互操作框架(IIIF)及在数字资源集成中的应用[J]. 图书馆论坛, 2020, 4: 159-166.
[13] GRASSI M, MORBIDONI C, NUCCI M, et al.Pundit: Creating, exploring and consuming semantic annotations[C]. In proceedings of the 3rd international workshop on semantic digital archives, Valletta, Malta, 2013.
[14] SIMON R, BARKER E, ISAKSEN L, et al.Linked data annotation without the pointy brackets: Introducing recogito[J]. Journal of map & geography libraries: Advances in geospatial information, collections & archives, 2017, 13(1): 111-132.
[15] LAURA H, GUUS S, JAN W, et al.Semantic annotation of image collections[EB/OL]. [2020-05-10].https://www.cs.vu.nl/~guus/papers/Hollink03b.pdf.
[16] ZHENG Y Z, LI Z X, ZHANG C L.A hybrid architecture based on CNN for image semantic annotation[C]. 9th international conference on intelligent information processing(IIP), Melbourne, Australia. 2016,11: 81-90.
[17] STORK L, WEBER A, GASSZOM E, et al.Semantic annotation of natural history collections[J]. Web semantics, 2019, 59: 100462.
[18] PIERRE A, ILYA Z, JUAN P.A Classification of Semantic Annotation Systems[J]. Semantic Web, 2012, 3: 223-248.
[19] 王晓光, 徐雷, 李纲. 敦煌壁画数字图像语义描述方法研究[J]. 中国图书馆学报, 2014, 40(1): 50-59.
[20] WANG X G, SONG N Y, ZHANG L, et al.Understanding subjects contained in Dunhuang mural images for deep semantic annotation[J]. Journal of documentation, 2018, 74(2): 333-353.
[21] 徐雷, 王晓光. 叙事型图像语义标注模型研究[J]. 中国图书馆学报, 2017, 43(5): 70-83.
[22] 陈金菊, 欧石燕. 数字图像语义标注模型比较与分析[J]. 图书情报工作, 2018, 62(6): 116-124.
[23] 陈涛, 张永娟, 刘炜, 等. 关联数据发布的若干规范及建议[J]. 中国图书馆学报, 2019, 45(1): 34-46.
[24] ADRIAN R.YOLO object detection with OpenCV[EB/OL]. [2020-04-18].https://www.pyimagesearch.com/2018/11/12/yolo-object-detection-with-opencv/.
[25] GONZALO V-C, NIELS D L, MUBARAK S.Holistic object detection and image understanding[J]. Computer vision and image understanding, 2019, 181: 1-13.
[26] FILESTACK. Comparing image tagging services: Google vision, Microsoft cognitive services, amazon rekognition and clarifai[EB/OL].[2020-05-20]. https://blog.filestack.com/thoughts-and-knowledge/comparing-google-vision-microsoft-cognitive-amazon-rekognition-clarifai/.

数字人文中图像资源的语义化标注研究

Semantic Annotation of Image Resources in Digital Humanities

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

Metrics

本文评价

推荐阅读 0

[1]	王丽丽, 张宁. 数字人文视角下的古籍知识关联探析[J]. 农业图书情报学报, 2022, 34(9): 51-59.
[2]	黄水清, 王晓光, 夏翠娟, 欧阳剑. 推进新时代古籍工作,加快创新智能化发展[J]. 农业图书情报学报, 2022, 34(5): 4-20.
[3]	柴苗岭, 邹弈星, 谭荣志, 曾怡, 任运月. 面向农业产业知识服务的科学数据与科技文献关联研究与实践[J]. 农业图书情报学报, 2022, 34(3): 37-50.
[4]	周文杰, 杨克虎. 自主知识体系建构视域下的中国特色数字人文循证范式述要[J]. 农业图书情报学报, 2022, 34(11): 5-13.
[5]	魏志鹏, 赵悦言, 杨克虎, 周文杰. 数字人文“一手证据”循证范式研究：基于《鲍氏国策》的共词分析[J]. 农业图书情报学报, 2022, 34(11): 14-25.
[6]	文玉锋, 马倩妮, 杨克虎, 周文杰. 数字人文“二手证据”循证范式研究：以敦煌汉简为例[J]. 农业图书情报学报, 2022, 34(11): 26-37.
[7]	尚宏利, 张思洁, 魏志鹏, 杨克虎, 周文杰. 循证数字人文证据整合的基本框架与具体流程研究[J]. 农业图书情报学报, 2022, 34(11): 38-47.
[8]	艾毓茜, 徐健, 何琳, 戚筠. 面向典籍内容分析的分类体系构建方法研究[J]. 农业图书情报学报, 2021, 33(9): 18-26.
[9]	朱锁玲, 包平. 数字人文在中国农史研究中的实践与思考——以中华农业文明研究院数字人文项目为例[J]. 农业图书情报学报, 2021, 33(8): 79-87.
[10]	李惠, 陈涛, 单蓉蓉. 跨越时空的对话——构建基于IIIF-IIP语义标注平台的书画记忆链[J]. 农业图书情报学报, 2020, 32(9): 15-21.
[11]	加小双, 姚静. 突发性公共危机中数字人文的作用分析——以2019新冠疫情为例[J]. 农业图书情报学报, 2020, 32(9): 22-30.
[12]	彭霞, 刘敏, 杨莉, 樊姗. 空间视域下明清女性作家地理分布及其成因——以松江府为例[J]. 农业图书情报学报, 2020, 32(9): 31-38.
[13]	赵生辉, 胡莹. 面向数字人文的多语言藏学知识融合框架研究[J]. 农业图书情报学报, 2020, 32(9): 39-49.
[14]	肖鹏. 从“营造生态”到“需求驱动”：学术图书馆如何满足人文学者的数字学术需求[J]. 农业图书情报学报, 2020, 32(9): 50-57.
[15]	蔡思明. 面向数字学术资源保障体系的支撑型学术图书馆建设[J]. 农业图书情报学报, 2020, 32(9): 58-67.