近日，上海交通大学电子系义理林教授课题组基于智能锁模算法、时间拉伸技术和实时高速电路建立的实时光谱分析控制平台，实现了锁模激光器输出飞秒脉冲的实时光谱调控，对飞秒激光器的设计具有重要的应用价值。相关成果以“Intelligent control of mode-locked femtosecond pulses by time-stretch-assisted real-time spectral analysis”为题目于2020年1月发表于国际光学顶尖期刊《Light: Science & Applications》（中科院长春光机所与Nature出版集团合办期刊），并入选为封面文章，在“News & Views”栏目被专门评述。博士生蒲国庆为第一作者，义理林教授为通信作者。 图说：期刊封面文章 飞秒尺度（1E-15秒）脉冲对应着原子分子、材料、生物蛋白、化学反应等丰富物质体系的众多超快过程，有着广泛而重要的应用。锁模激光器作为产生飞秒脉冲的重要基础研究工具，在物理、化学、生物、材料、信息科学等领域都有广泛的应用。飞秒锁模激光器自上世纪六十年代发明以来，与其相关的研究分别于1999，2005，2018年获得过诺贝尔奖。 随着超快光学的快速发展，越来越多的前沿应用需要对飞秒脉冲的时域和光谱进行精细控制。由于飞秒脉冲的产生涉及非常复杂的非线性和色散传输效应，达到特定脉冲状态的稳态输出需要对激光器多个参数在高维空间进行优化，传统基于激光器光学设计和优化的方法已被证明难以精确实现。 通过对飞秒脉冲状态进行智能识别，结合智能算法对激光器多参数进行全局优化，有望获得理想的飞秒脉冲输出，但其主要挑战在于飞秒脉冲难以实时精确识别。低速时域采样无法识别飞秒脉冲宽度和形状，光谱仪虽可识别飞秒脉冲积分光谱但无法识别其瞬时光谱，因此传统方法都无法做到实时控制飞秒脉冲精确锁模状态。为了解决这一难题，义理林教授课题组提出在锁模控制环内引入时间拉伸-色散傅里叶变换（TS-DFT）技术，通过时域到光谱的转换，采用低速时域采样即可识别飞秒脉冲对应的瞬时光谱宽度和形状。结合智能控制算法，实现了以1.4nm为精度对飞秒脉冲光谱宽带从10nm到40nm进行可编程控制，光谱形状可编程为高斯型或三角形等。这是本领域首次实现飞秒锁模脉冲光谱宽度和形状高精度实时编程控制，解决了飞秒锁模脉冲锁模状态无法精确调控的难题。 基于实时的光谱控制，该研究还展示了从窄谱锁模态至宽谱锁模态以及从三角形光谱脉冲态至宽谱锁模态的演变过程，发现两者动力学过程具有相似性，提出了目标锁模状态可能决定中间动力学过程的猜想，为人们进一步探索锁模激光器内部机理提供新视角。 图说：基于快速光谱分析的飞秒锁模脉冲智能控制 非线性光学著名专家John Dudley教授（欧洲物理学会主席，IEEE/OSA Fellow）在《Light: Science & Applications》的“News & Views”栏目撰文介绍此项工作，认为本工作极具创新性，开拓了研究锁模动力学新的可能性，很可能应用于多种锁模光纤激光器中。 义理林教授课题组过去六年来一直致力于解决飞秒锁模激光器的智能控制问题，2019年发表在光学领域顶级期刊《Optica》的“智能锁模激光器”成果入选美国光学学会旗下新闻杂志《Optics & Photonics News》2019年光学年度进展“Optics in 2019”。该方向工作部分得到国家自然科学基金（61575122）的支持。《Light: Science & Applications》论文全文https://www.nature.com/articles/s41377-020-0251-x《Light: Science & Applications》“New & Views”评述论文https://www.nature.com/articles/s41377-020-0270-7

人工智能应用创新实训平台是一款专为人工智能领域专业学生设计的多功能教学工具，它集科研教学、实验实训和项目实践于一体，提供了一个全面的学习环境。该平台以国产高性能芯片RK3588作为其边缘计算的核心，支持本地化编程开发，使得学习者能够深入掌握人工智能技术。此外，平台还支持PyTorch、TensorFlow、NCNN等多种主流深度学习框架，便于学生进行模型训练和推理实践。 平台内置了丰富的案例资源，包括但不限于MobileNet、Fcn_Resnet、Resnet、Openpose、Unet、Retinaface、Yolov8pose、Yolov11等前沿模型，为学生提供了实际操作和学习深度学习模型的机会。这些内置模型不仅有助于学生理解深度学习算法的实际应用，也为他们的创新项目提供了坚实的基础。通过这样的实训平台，学生能够在实践中深化理论知识，提升解决实际问题的能力。 本平台融合了先进的多模态大模型智能体，并配备了一系列场景化实体组件，包括深度相机、双轴云台、多轴机械臂、微型输送带、工业级相机以及麦克风阵列等。这些尖端设备使得我们能够快速构建智慧工厂、智能分拣、智慧交通、智能家居等多种应用场景。

视频剪辑是一项简单却繁琐的工作，需要投入大量的人力。而且人力完成的视频剪辑，剪辑结果有着很强的主观色彩。通过采集大量各类体育赛事数据进行模型训练，利用深度神经网络良好的自主学习能力，采用Centernet作为多目标检测能力的实现框架，同时利用Transformer重构目标检测进行连锁，二次捕捉目标检测的准确性。CenterNet和Transformer的融合，实现了端到端的目标检测，在准确性提升的基础上满足实时处理视频的要求。综合应用多目标检测跟踪以及多模式识别技术，实现短视频的智能化剪辑，极大程度减少了人工工作量，同时也增加了短视频剪辑的客观性，在大数据时代背景下有着重要的现实意义。

该系统采用美国TI公司先进的DM8168高清视频SoC芯片，可对摄像机输出的 多种接口形式的高清视频进行实时采集、压缩编码和实时处理。该平台可替代基 于工控机的传统机器视觉技术和设备，达到更高的图像和视频清晰度、缺陷识别 处理的实时性和可靠性，具有优异的性价比、体积小、功耗低等多种优势，是全 新在线机器视觉检测设备的实现方案。该技术成果在汽车多媒体电子系统、车载、 船载及机载高清视频测量、处理与控制系统及消费电子等领域具有重大的推广价 值。一、DM8168处理器特性 TMS320DM8168是一款多核SoC,它集成了包括ARM Cortex A8、DSP C674X+, HDVICP, HDVPSS等处理器，具有强大的高清视频处理性能。 二、 DM8168核心处理板 CPU： ARM elk： 1.2GHz、 DSP elk： 1GHz DDR3-1600存储器100/1000M网口进行网络通讯与数据采集SATA接口供存储 数据使用 三、 高清视频采集处理 四、 应用方案 相机接口方案一 ：CameraLink工业高清相机接口使用Cyclone IV FPGA对LVDS 解码后的视频信号进行特殊处理后送到dm8168,实现1080P 60fps、720P 60fps 等高清视频的采集显示与实时编码。 相机接口方案二：色差高清视频接口使用TI的视频解码芯片TVP7002完美 解决了视频ADC问题，并实现了 1080P 60fps的采集显示与实时编码功能。

高校科技成果尽在科转云

本技术成果是主要针对视频编码新标准HEVC或H264优化技术集合，其中包括一个已授权的专利和若 干正在申请的专利

随着互联网及多媒体技术的快速发展和大数据时代的到来，视频网站、新闻网站、社交网站、博客、微博、微信等网络媒体形态不断涌现，图像、视频等多模态的数据急剧膨胀，随之带来了“管不住”和“用不好”两大问题。“管不住”是指互联网中隐藏着大量有害信息，如何自动分析与识别非常重要。“用不好”是指现有方法一般是单模态分析与识别技术，如图像分析、文本分析等，但单模态分析与识别因为信息有限难以取得好的效果。 针对上述两个亟待解决的关键问题，基于在图像处理、视频处理、机器学习、模式识别、搜索引擎技术等方向上多年的科研成果，我们开发出互联网图像视频识别与检索系统，支持对互联网上的图像、视频等多媒体数据进行采集、分析、识别和检索，突破网络有害信息难以识别和媒体大数据难以利用的问题，应用于互联网内容监管和大数据行业应用等领域，为维护网络内容安全和促进媒体大数据利用提供技术支撑。

一、 项目简介随着公路交通运输业的发展，人们对公路路面质量及其养护提出了更高的要求。本系统的实现既可以提供有效的路面信息，还能实现自动化的图像识别和信息定位，为其制定合理的养护决策提供科学依据，从而提高公路的养护水平。二、 项目技术成熟程度该项目技术成熟，在实际路面中进行了实际检验，运行稳定。三、 技术指标项目发表高水平学术论文7篇，被三大检索收录6篇。四、 市场前景系统可以为省内和国内的公路养护部门节约大量的人力、物力和财力，减少人工进行公路检测的风险，为他们提供有效的路面信息，为其制定合理的养护决策提供科学依据，从而提高公路的养护水平。五、 规模与投资需求本系统售价5万（包括培训），加上服务器及数据库系统软件，总投资预计10万元。六、 生产设备该系统只需配备一台服务器，及相应的数据库系统软件即可，服务器投资预计3万元（采用联想服务器），数据库系统软件（sql server 2万）。七、 效益分析使用该系统为养护部门制定合理的养护决策提供科学依据，从而提高公路的养护水平。具有良好的经济效益和社会效益。八、 合作方式技术服务、协作开发、提供咨询，具体事宜面议。九、 项目具体联系人及联系方式侯向丹，e-mail: xdhou@hebut.edu.cn十、高清成果图片

系统采用先进的在线监测技术、传感器技术、3G无线通信技术，通过安装于高压输电线路杆塔上的监控基站、多种监测传感器、多路监视摄像机、3G无线通信装置，实时/定时采集导线、地线、杆塔、绝缘子及金具等设备的各种运行状态信息，线路周围的环境微气象信息，以及各种设备和线路通道环境的实时视频信息，利用3G无线通信网络实时向远方地市供电公司/省电力公司输电线路运行监控中心传送，系统分析软件利用各种理论模型、依据试验结果和规程/标准，实时对现场运行数据进行分析、判断，给出预警/报警信息。运行管理人员在监控中心便可得到现场实测数据、预警/报警信息，看到现场实况视频，从而及时掌握高压输电线路运行状态，实施对高压输电线路的全面监控。   技术特点: 本系统具有高压输电线路远程在线监视、在线监测、在线监防、远程在线指挥四大功能，可大大提高高压输电线路的数字化运行管理水平，是实现“数字化输电线路” 建设、乃至“智能电网”建设的重要技术基础。    应用范围： 电力系统、铁路供电系统、通信系统、石油供电系统。  

首先，抽取视频中关键帧的亮度图像; 接着，对当前关键帧的亮度图像来定位字幕条位置:首先采样关键帧的亮度图像，生成纹理图;接着确定水平字幕条的位置:先进行垂直纹理图水平投影求差分，然后确定水平字幕条上下边框，再确定水平字幕条左右边框;接着确定垂直字幕条的位置:先进行水平纹理图垂直投影求差分，然后确定垂直字幕条左右边框，再确定垂直字幕条上下边框;最后进行字幕条去噪，确定字幕条位置; 然后，确定字幕条起始帧和终止帧:首先，判断当前关键帧是否有字幕:如果没有字幕，则继续进行下→个关键帧的字幕条定位，直到有字幕条出现;如果出现字幕条，设当前关键帧为字幕条关键帧，则在前一个关键帧和字幕条关键帧之间确定字幕条的起始帧，然后用字幕条关键帧的字幕条区域依次匹配后面的关键帧，如果匹配一致，将继续匹配，直到匹配不一致，则在前一个关键帧和当前关键帧确定字幕条的终止帧: 最后，利用纹理去噪方法提取视频中的文字信息:首先，求存在同一条字幕的多帧视频帧亮度图像的字幕条区域的平均和图像:接着，将平均和图像进行OTSU分割，生成只有黑白两种颜色连通域的字幕区域图像;然后，对OTSU分割后的图像确定哪种颜色为文字区域:最后，剔除非文字噪声。