网络音乐以其使用率一直位居中国互联网应用前三甲的宝座，音乐已经成为用户通过搜索引擎搜索的前三大类内容之一，用户比例高达41.6%，大部分综合搜索引擎都已经提供针对音乐的垂直搜索功能。互联网上日益庞大的用户规模以及海量的数字音乐要求高效的音乐检索手段和令用户满意的检索体验。 本系统采用多模态情感回归的方法，实现音乐情感的自动标注，并通过音乐情感词作为中间桥梁，实现音乐情感维度信息到情感类别的映射，间接实现了音乐情感的分类。因此本系统能够同时满足对音乐情感维度信息和类别信息自动标注的需求。

设计并实现了一个图像半自动标注系统，以减轻自动驾驶场景中图像数据标注的工作量。该系统打通图像自动标注流程，利用基于深度学习的目标检测方法对图像中的交通目标进行预标注，随后交于用户检查标注结果，并自动整理输出图像标注数据。此外还开发实现了大量实用的图像标注功能，以支持用户进行图像标注，例如2D目标标注、交通标志标注、车道线标注、车灯标注、施工区域标注、目标跟踪标注、2.5D目标标注、停车位标注等。该系统投入使用后大幅提升了图像标注工作的效率，道路交通目标的平均标注速度相较于手工标注提升了115%。 相关技术指标：自动标注系统的平均标注速度为280张/人天。标注算法的漏检率为6.2%、准确率为92.3%、贴合率为81.2%。 技术指标满足系统设计要求，实际效果令人满意。 技术创新点： 1）实现了标注流程的半自动化，大幅减轻在标注流程上的工作量。 2）在标注功能上，相比已有可获得的工具，在交通目标的类型及标注特性上有了较大扩充。 3）在标注性能上，应用了成熟、领先的目标检测算法和机制如ResNeXt、注意力机制、Focal Loss、GIoU Loss等，并进行若干改进，设计了定位置信度模块、倒金字塔注意力模块、稀疏结构注意力机制等，显著提升了模型的检测效果，特别是小目标以及全局性关联目标检测性能。

1. 痛点问题 工业视觉场景下普遍存在缺陷样本数量少、难采集，已有标注方案无法完全发挥样本数据效用等问题。在工业视觉应用场景中，产线整体生产良率均已达到相当水平，人工可识别的缺陷样本数量相对较少，且采集难度较大。制造生产环节对产线效率要求较高，模型训练难以实现精度与效率上的平衡。 2. 解决方案 本项目将最新的少样本学习、连续学习、模型压缩与优化技术，与工业场景中的缺陷检测需求深入结合，致力于工业视觉自主知识产权软硬件一体化装备研发。针对玻璃深加工与半导体晶圆宏观缺陷检测，本项目已完成工业视觉全流程视觉感知算法、人工智能算法研发平台、玻璃智能一体检测设备、晶圆宏观缺陷检测设备等智能设备的原理验证和装备试制，同时有多项智能设备在研。 本项目在玻璃与半导体缺陷检测中，基于图像自动标注方法完成少样本场景下的数据采集与标注，通过弱监督学习和连续学习方法完成有效模型构建，并针对长尾数据集设计模型训练和优化方法，实现高效工业视觉感知计算。针对工业视觉场景，本项目集成视觉感知算法能力，研发人工智能算法研发平台，该平台秉承低代码化、可视化等原则，打造包含数据采集与标注、算法训练与评估、模型压缩与优化、应用部署与管理的数据闭环。 合作需求 寻求浮法玻璃深加工、半导体加工与制造等行业企业合作。

本技术成果公开了一种采用多特征融合的图像自动标注方法和系统，标注方法是使用多种特征类型来 表示图像内容，引入多特征表示的特征签名，结合K-Means聚类算法得到基于多特征融合的图像语义统计 模型，用于对图像自动标注

产品详细介绍Prescan自动驾驶仿真软件一、简介PreScan是德国Seimens西门子公司旗下汽车自动驾驶仿真软件产品，Prescan是以物理模型为基础，开发ADAS和智能汽车系统的自动驾驶仿真平台。支持摄像头、雷达、激光雷达、GPS，以及V2V/V2I车车通讯等多种应用功能的开发应用。 PreScan基于MATLAB仿真平台，主要用于（ADAS）汽车高级驾驶辅助系统和无人自动驾驶系统的仿真模拟软件，其包括多种基于雷达，摄像头，激光雷达，GPS，V2V和V2I车辆/车路通讯技术的智能驾驶应用。支持模型在环（MIL），实时软件在环（SiL），硬件在环（HiL）等多种使用模式。北京津发科技股份有限公司作为德国Siemens西门子公司正式签约合作伙伴，旨在进一步加深双方商业、技术合作，开辟新市场，为无人驾驶领域贡献积极力量。二、软件概览智能汽车自动驾驶仿真系统在PreScan中的仿真实现如下图所示。智能驾驶仿真实现      特点1. 场景工况      交通要素数据库快速场景构建Euro NCAP   ×11NHTSA ×12ISO ×19ADAC ×9eValue   ×4Opendrive importerOSM importerIBEO importerGIDAS/CIDAS importer2. 传感器&通讯 19种传感器类型包括Mono cameraStereo cameraFisheye cameraRadarLidarUltrasonicAntennaRadioDSRC V2XLane marker sensorObject sensorDepth sensor3. Matlab Simulink 基于Matlab Simulink平台4. 执行器&人机界面 车辆动力学模型PreScan modelCoupling to 3rd party   modelAMESimLMS Virtual.Lab MotionCarSim………三、详细功能软件详细功能 特点描述交通场景建模型 ●Roads 道路模型●Database of road types 道路数据库●Environment 环境模型●Road users 道路使用者●Weather & Lights 天气光照传感器模型 ●Camera, fisheye, mono, stereo摄像头、鱼眼、单目及双目摄像头●Radar 毫米波雷达●Laser and lidar   激光雷达●Ultrasonic   超声波雷达●V2X sensors   车车/车路通讯传感器●Ground truth sensors 真值传感器●Ground truth Sensor   真值传感器ADAS algorithm implementation   控制算法仿真集成 ●Model in the Loop   模型在环通过MatLab/Simulink平台，可以引入各种编程工具开发的算法代码。●Hardware in the Loop   硬件在环也可以直接引入ECU硬件，构成硬件在环试验台Driver model驾驶员模型 ●根据理想路径以及车辆当前位置计算车辆转角信号输出。●根据理想速度以及车辆当前速度计算油门、刹车信号。不再遵循原先定义的路径。●Driver in the loop   驾驶员在环Vehicle actuation modelling   车辆执行器建模 ●2D bicycle dynamics model 2D动力学模型●3D two track dynamics model 3D动力学模型●6DOF sprung body à x, y, z, roll, pitch, yaw 六自由度车辆状态计算●Usage: on PreScan’s 3D roads (i.e. roads with a height profile)   适用PreScan 3D路面仿真●3rd party dynamics model import 外部车辆动力学模型导入Test Automation (TA) 自动化测试 ●Select variables (GUI)   选择自动化测试参数●Set-up variables (MATLAB)   使用模板编写自动化测试脚本●Run test automation script (MATLAB)   运行脚本●Compare results (MATLAB)   获得自动化测试报告Demos ●PreScan标准安装包自带128 个demo场景，所有的场景模型以及系统控制算法完全对用户 开放●PreScan标准安装包自带19个智能驾驶系统传感器●PreScan标准安装包自带30多个智能控制算法模型，所有系统控制算法完全对用户开放、可编辑修改●PreScan标准安装包自带43个交通道路参与者及执行器，并支持导入用户自定义的第三方3D模型●PreScan标准安装包自带134个ADAS仿真系统模型，这些案例所含的场景模型、系统控制算法、执行器模型完全对用户开放功能插件 ●大规模交通流自动生成器●IBEO扫描数据自动转换为PreScan仿真场景●IBEO扫描数据自动转换为PreScan仿真场景●摄像头物理模型●基于统计学性能的雷达模型●GIDAS事故数据库自动导入PreScan仿真场景●升级版车车通讯传感器模型●PreScan和PTV Vissim软件耦合计算四、应用案例1.MCity使用PreScan验证测试场设计2.车道保持系统硬件在环（HIL)测试平台3.自动驾驶系统硬件在环（HIL)测试平台4.自适应巡航/自动紧急制动系统ViL测试平台5.基于Nvidia PX的人工智能硬件在环测试平台

软件可信性自动验证是新一代信息技术领域的新技术。我们基于原创性且国际先进水平的理论成果，自主研发了高效的自动推理工具；借鉴目前世界上最先进的程序形式化技术，形成了C程序自动验证系统和PLC程序自动验证系统，对指针安全、数组越界、溢出等常见复杂问题可实现自动验证或根据用户需要验证特殊性质，具有验证速度快、发现缺陷能力强、成本低的特点，从技术上突破了程序分析、程序测试的一些瓶颈，对提高软件质量具有不可替代的作用。目前，本自动验证系统已验证了涉及航空航天、武器装备、铁路、通讯等多种系统，显现出了明显效果，得到了认可。 该成果具有国际先进水平，自主可控，填补了国内程序可信性自动验证的空白，获得省部级和学会级三等以上奖励，有着有广阔的应用领域。。

1. 视频源支持VGA/DVI/HDMI、HD-SDI、3G-SDI等摄像机号，还可以支持图片、MP4媒体文件、IP串流、拼接组合画面等。 2. 系统支持8个原始信号通道，并且任意一个通道都可做高清软拼接和叠加高清视频画面以及抠像画面。 3. 每个视频通道都可以添加媒体文件播放、图片播放并且可以设定通道序号和通道名称等功能。 4. 视频拼接与叠加支持课件与视频、视频与视频、图片与视频等任意信号源拼接与叠加，生成单流多画面视频流，全部采用软件实现无需硬件支持。 5. 最终录制好的导播合成视频（电影模式），具备高清与标清格式同时录制功能。即：1920*1080分辨率和1280*720分辨率的视频文件可以同时录制。 6. 录制好的高清原始素材为可编辑格式，支持常用非编系统及编辑软件。 7. 支持8通道1080p原始素材和1路1080P导播合成素材同时采集压缩存储。 8. 系统支持与校园监控系统的摄像头连接，通过录播系统可查看校园所有摄像头的图像。 9. 系统支持多种视频格式选择，可录制MP4格式、ASF格式、FLV格式、TS格式、AVI格式、WMV格式（支持常用非编系统及软件）。 10. 系统可同时录制8通道的原始视频素材（用于后期深度编辑使用）。 11. 系统同时录制1路导播输出视频信号即电影模式。 12. 系统可同时录制1路组合拼接视频，支持双屏，三屏，四屏等多种组合拼接方式。（主要用于课后的教研分析，课后研讨等方面） 13. 系统可同时对实时视频信号与原有视频文件及图片进行抠像操作，支持蓝色，绿色背景，并具有前景坐标位置调整功能，且支持通道拼接画面作为抠像背景。 14. 录像的开始、暂停、停止功能可以支持录播软件控制、专用导播键盘控制、网络控制、无线设备控制、多媒体中控设备控制、录播控制面板控制。 15. 系统可将实时视频信号与原有视频文件或图片，进行多种形式拼接组合支持三种以上组合方式。 16. 系统支持手动与自动增加片头片尾功能，自动模式下系统停止录像后可将片头片尾文件与录制的视频文件自动合成为一个完成的视频文件。 17. 系统支持20种台标、角标等功能同时使用，且对位置、大小、颜色、底色等参数进行任意调整。 18. 系统支持8种字幕同时显示功能，可导入TXT字幕文件，也可实时输入字幕内容，可对字幕颜色、大小、位置及底色进行任意调整。 19. 系统支持16种转场特效选择，及4种画中画组合方式。 20. 系统支持网络与视频同时直播模式，网络直播时可根据网络带宽情况，对直播视频的分辨率及码率进行多种组合形式的调整。 21. 软件在手动操作时必须支持预置位操作功能，每通道预置位数量为5个。 22. 抠像功能支持多通道同时抠像，且支持通道拼接画面作为抠像背景。 23. 录像控制支持一键启动、暂停、停止所有节目录制，暂停后重新恢复录制时，不产生新的视频文件。 24. 系统支持音视频录制失败自动修复功能，当录制过程中发生断电或死机等意外事件时，正在录制的视频文件不会丢失且能自动修复正常播放。 25. 系统支持网络导播控制功能，教师通过IP网络进行控制录播系统，具备录像与直播的开始、暂停、继续、停止功能，并且支持通道之间的导播切换功能。 26. 系统支持外接专用导播键盘与录播控制面板同时使用。 27. 系统支持录像时长显示功能，暂停录制后时间不清零，继续录制后时间延续记录。 28. 系统支持独立控制功能，在进行录像和直播工作时能够单独停止录像功能保留直播功能，也可单独停止直播功能保留录像功能。 29. 系统在录像的同时支持自动抓取视频第一针画面截图功能，作为上传到资源管理平台后的课件封面使用。 30. 系统支持专业云台及广播级摄像机的扩展使用功能。 31. 录播软件具备对会议摄像机进行一键还原初始位置的操作，并且每台会议摄像机均可以进行此项操作。 32. 录播软件支持2种格式同时录制功能，即资源录像（原始信号）与导播录像（电影模式）分别录制不同的视频格式。 33. 系统支持自定义外接控制面板功能，用户可根据需要任意对接串口控制设备，如录播控制面板多媒体录播中控等控制设备。 *软件可以支持以下信号同时进行录制： 1. 4路高清摄像机信号同时录制 2. 1路高清课件HDMI/DVI/VGA信号同时录制 3. 1路三屏拼接视频信号同时录制 4. 1路虚拟抠像信号同时录制 5. 1路画中画视频信号同时录制 6. 1路高清导播合成视频信号同时录制 7. 1路标清导播合成视频信号同时录制 *音视频信号录制标准： 1. 视频编码：标准H.264 2. 音频编码：AAC 3. 录像格式：MP4、ASF、FLV、TS、WMV、AVI可选 4. 录像分辨率：支持1080P/60fps、1080P/50fps、1080P/30fps、1080P/25fps7、20P/60fps、720P/50fps、720P/30fps、720P/25fps，720×576/25fps可选。 5. 录像码率：支持2M-32M任意设置。 *网络直播与视频流推送模块支持以下功能： 1. 流媒体协议采用标准RTMP协议、HLS视频流、RTSP流，同时支持WINDOWS、android、IOS，跨平台WEB无插件直播。 2. 录播软件内建WEB服务与流媒体服务功能，在没有外接WEB服务器与流媒体直播服务器的情况下可支持小范围的直播与点播活动，直播时可支持100个以内的客户端同时观看。 3. 系统在支持本地直播的同时，还支持向第三方的FMS直播服务器推送直播流，最多可支持向四个第三方FMS平台同时进行推流。 4. 系统支持网页收看直播，客户机无需安装任何软件及插件即可直接观看直播视频。 5. 录播软件支持内外网同时进行网络直播，并且可针对内外网带宽情况分别设置码率功能。即内网直播使用高分辨率与高码率进行传输，外网直播使用底分辨率与底码率进行传输。 *导播及跟踪模块支持以下形式： 1. 支持讲台单机位、双机位、多机位跟踪导播，多机位跟踪导播时用户可编程。 2. 支持学生单机位、双机位跟踪导播。 3. 支持教师三种机位跟踪导播与学生两机位跟踪导播任意组合。 4. 支持可视化自动定位跟踪功能，在自动导播的同时看到讲台和学生的定位情况。 5. 支持延时切换功能，根据用户需求可自行设置老师与学生画面之间的切换延时。 *老师自动跟踪模块需支持以下模式： 1. 采用算法支持智能图像分析算法、老师无需佩戴任何辅助设备，真正做到常态化。 2. 跟踪模式与定位需支持点定位、区域定位、立体定位、移动侦测。 3. 图像跟踪与切换支持智能识别自动调度功能，系统自动识别摄像机机位，自动调度。 4. 跟踪切换方式支持可编程，可根据不同老师的授课行为习惯，进行编程，实现个性化跟踪策略。 5. 同时支持教师单机位随动跟踪、双机位切换场景与随动跟踪、多机位画面切换跟踪方式。 6. 在没有板书定位摄像机时，支持板书特写拍摄功能。 *学生自动跟踪模块支持以下模式： 1. 系统跟踪模式需支持图像分析与人脸识别双重技术。 2. 系统同时支持双摄像机定位与单摄像机定位的两种图像分析算法，以适用不同的课程与跟踪需求。 3. 系统支持自动捕捉单人站起、坐下，单人到多人，多人到单人的起立坐下等复杂课堂场景的变化。 4. 系统具备内嵌人脸自动识别技术，避免光线变化产生图像误报。 5. 系统支持教师走下讲台后，在学生区走动时摄像机随动跟踪功能。 6. 系统在手动导播情况下，支持点图智能自动定位分析功能，即可通过点击教室模拟平面图快速定位拍摄到起立的学生。 7. 支持多种跟踪模式，单机位随动跟踪、双机位切换跟踪模式。 *课件信息的采集与侦测模块支持以下功能： 1. 支持一通道以上DVI/VGA/HDMI的计算机信号采集。 2. 系统可自动识别内容变化、光标、鼠标行为等信息。 3. 当系统侦测到只有鼠标小范围移动操作时，系统不会自动导播切换画面。 4. 当课件计算机的屏幕发生内容变化后，系统进行侦测分析判断后进行导播切换画面。 5. 当播放内容切换到课件演讲时，系统自动识别内容变化、光标、鼠标行为等，系统自动判断鼠标行为和画面内容变化为有效演讲状态，光标闪烁为无效演讲状态。 6. 系统支持工具栏独立侦测屏蔽功能，避免网络连接或其它活动及广告图标干扰误报，导致系统进行无效的画面导播切换。

成果描述：多属性文本自适应系 统主要实现对每个未 知属性的通信实体进 行属性标注的功能。 主要分为两个过程， 即训练过程和预测过 程。 在训练过程中，系统 根据用户提供的已经 具有属性的数据集、 用户选择的分类算法 所对应的参数进行训 练，得到训练模型。 在预测过程中，系统 根据用户选择的训练 模型对未知属性的数 据集中的每个实体进 行属性标注，并得到 标注过属性的数据集 。（注：在训练过程 中，用户可以使用在 训练数据集上进行交 叉验证的方法获得在 固定参数和分类算法 下模型对未知样本预 测的性能的大致估计 。）市场前景分析：随着互联网的迅速发 展，Web页面上的信 息量呈指数级急剧增 长，如何快速、准确 地从海量数据中抽取 出用户真正需要的信 息已经成为互联网对 科研工作者提出的严 峻挑战。 属性标注能够将网页 非结构化文本内容转 化为结构化的属性数 据，方便用户查询和 进一步分析使用；其 作为信息抽取的关键 一步，对提高信息抽 取的性能方面也具有 重要意义。与同类成果相比的优势分析：包括训练和预测两个 过程，实现对不同数 据集的自适应性属性 标注； 特征选择功能，可以 在训练模型时，选择 出对区分数据类别更 有用的特征词，这样 ，可以降低实体所对 应属性的维度，从而 ，减少占用的内容空 间，提高计算效率； 交叉验证功能，帮助 我们在训练阶段，就 可以了解参数和算法 的选择，对属性标注 时准确性的影响； 生成报告功能，可以 在训练阶段的交叉验 证结束后，产生一个 训练阶段的报告，帮 助用户更好地记录实 验数据、参数、时间 和准确性等信息； 评估功能，比较模型 标注结果与样本真实 标签的一致性、差异 性，以评价一个模型 的好坏。

多属性文本自适应系统主要实现对每个未知属性的通信实体进行属性标注的功能。 主要分为两个过程， 即训练过程和预测过 程。 在训练过程中，系统 根据用户提供的已经 具有属性的数据集、 用户选择的分类算法 所对应的参数进行训 练，得到训练模型。 在预测过程中，系统 根据用户选择的训练 模型对未知属性的数 据集中的每个实体进 行属性标注，并得到 标注过属性的数据集 。（注：在训练过程 中，用户可以使用在 训练数据集上进行交 叉验证的方法获得在 固定参数和分类算法 下模型对未知样本预 测的性能的大致估计 。）

天津市大学软件学院是市委市政府批准设立的隶属于天津市教委具有独立法人的事业单位。学院2008年9月奠基，2010年10月正式启动。学院以软件产业发展的人才需求为导向，以建设国内一流、国际先进的“软件人才培养基地”和“高质量产教融合平台、高水平成果转化平台、高效能社会服务平台”（简称“一基地三高平台”）为目标，将教育链、产业链、人才链、创新链有机串联，打造了从工程实践到创新创业的软件人才培养生态系统，走出了一条政产学研用相结合的软件人才培养新路。   学院率先在全国提出“教学与产业相融，学校与企业互动”的产学合作协同育人理念，依托79所本科院校组成的“高校联盟”和150余家协同育人企业组成的“企业联盟”及300余家行业用人单位，形成高校办学资源和产业行业资源开放共享、高校学科与产业深度融合、高校与企业共同发展的发展格局，有效解决了信息技术行业实践教学资源孤立分散的问题。学院先后获批滨海高新区软件人才培养基地、天津市青年就业见习基地、天津市外国留学生实习实践基地、天津市专业技术人员继续教育基地、市商务局公共培训服务平台、天津市自主就业退役士兵适应性培训基地，承担了区域营商环境和产业人才“蓄水池”职能，培养了大批软件人才和各类专业技术人才，年常驻在校生7000余名，年实训人次稳定在10000人次左右。设立天津场外交易市场（OTC）高校板服务中心，牵头成立天津市虚拟现实和增强现实应用技术应用协会、天津市科学与艺术学会，引进天津市大数据协会，成立天津市软件行业协会人才工作专业委员会，更好地为产业服务。入选“天津市半导体集成电路人才创新创业联盟”和“天津市电子信息与大数据人才创新创业联盟”两个联盟，为软件及信息技术服务产业发展提供了有力人才支撑。京津冀协同发展十周年之际，学校被京津冀三地政府授予“京津冀软件人才培养基地”称号，已与60余家企业、13所高校签订“京津冀软件人才培养基地”协议，助力京津冀协同发展。       （一）打造高质量产教融合平台，有效解决产教“两张皮”问题 学院集合全市优质科技、教育、行业资源进行平台建设探索并实践政府引导的产教深度融合培养信息技术产业人才的管理体制和运行机制，实现了产教共同体在协同育人过程中的同频共振。学院现拥有1个国家级工程实践教育中心、1个国家级众创空间、2个国家级大学生实践教育基地、140个校企共建专业实验室、项目实训室和创新中心，与奇安信、麒麟软件等14家信创头部企业建立了深度合作关系。       （二）打造高水平成果转化平台，校企协同助力创新策源能力提升 学院持续推进产教深度融合，先后推出“协同创新计划”和“天软创业育成计划”，建设了国家级和市级众创空间“天软·创魔方”“中北·天软创业学院”、市级大学科技园“天软信创大学科技园”三个园区，构建了“校企协同开发-校企协同研发-产学研协同攻关”三层校企协同创新模型。同时，构建了科技资源成果库与产业需求项目库，精准服务各兄弟院校师生技术创新，并努力促进高质量创新成果转化为新质生产力。 （三）打造高效能社会服务平台，城校共生促区域经济提质增效 学院通过“管家+专家”的众创空间管理服务，以及自研的“十步问道创业成长力模型”创业辅导方法论，帮助来自天大、工大、师大、理工、城建等高校的数十家大学生初创公司开启了创业之路。通过“先联合培养人才，再落地注册”的高等教育服务区域产业路径，直接促成了中汽数据从北京亦庄迁徙落户天津西青，带动洪荒科技、齐物科技等一批产业链上的初创企业快速发展。