访问量 ...
访客数 ...
总文章数 196 篇
博客已运行 2067 天

软考高级架构师-未来信息综合技术

2025.09.17

综合选择为主,考试占比不高,了解概念即可。

信息物理系统CPS

信息物理系统(CPS, Cyber-Physical Systems) 是一个将计算、网络和物理过程深度融合的智能系统。 简单来说,就是用计算机(Cyber)实时感知、分析、控制物理世界(Physical)的实体,形成一个循环反馈的智能网络。

CPS的本质就是构建一套信息空间与物理空间之间基于数据自动流动的状态感知、实时分析、科学决策、精准执行的闭环赋能体系,解决生产制造、应用服务过程中的复杂性和不确定性问题,提高资源配置效率,实现资源优化。

  • 最终目的:实现资源优化配置
  • 实现目标的关键:数据的自动流动

CPS与物联网(IoT)的区别与联系:

  • 物联网(IoT) 更侧重于“连接”和“数据采集”。它的主要目标是将物理设备连接到互联网,实现数据的感知和传输。IoT是CPS的“基础设施”和“前提”。
  • 信息物理系统(CPS) 更侧重于“控制”和“反馈”。它在IoT的连接基础上,加入了强大的计算、分析、决策和反馈控制能力,形成一个智能闭环。
  • IoT:给你的水杯装上传感器,你能在手机上看到水温是多少(感知和显示)。
  • CPS:不仅能看到水温,系统还能自动分析“如果水温低于50℃,就启动杯底的加热器”,直到水温达到70℃后自动关闭(感知、分析、控制、反馈)。

CPS的体系架构:

级别 基本组成 说明
单元级 单元级CPS是具备可感知、可计算、可交互、可延展、自决策功能的CPS最小单元 一个智能部件、一个工业机器人或一个智能机床都可能是一个CPS最小单元。
系统级 系统级CPS基于多个单元级CPS的状态感知、信息交互、实时分析,实现了局部制造资源的自组织、自配置、自决策、自优化。 多个最小单元(单元级)通过工业网络(如工业现场总线、工业以太网等),实现更大范围、更宽领域的数据自动流动,实现了多个单元级CPS的互联、互通和互操作,进一步提高制造资源优化配置的广度、深度和精度。
SoS级 多个系统级CPS的有机组合构成SoS级CPS。 SoS级CPS主要实现数据的汇聚,从而对内进行资产的优化和对外形成运营优化服务。 SoS级CPS主要功能包括:数据存储、数据融合、分布式计算、大数据分析、数据服务,并在数据服务的基础上形成了资产性能管理和运营优化服务。 SoS级CPS可以通过大数据平台,实现跨系统、跨平台的互联、互通和互操作,促成了多源异构数据的集成、交换和共享的闭环自动流动,在全局范围内实现信息全面感知、深度分析、科学决策和精准执行。

CPS的建设路径:CPS体系设计 =〉单元级CPS建设 =〉系统级CPS建设 =〉SoS级CPS建设

四大核心技术要素:

  • “一硬”(感知和自动控制)【硬件支撑】
  • “一软”(工业软件)【CPS的核心】
  • “一网”(工业网络)【网络载体】
  • “一平台”(工业云和智能服务平台)【对外提供资源管控和能力服务】

CPS的应用场景

  1. 智能设计
    • 产品及工艺设计
    • 生产线/工厂设计
  2. 智能生产
    • 设备管理应用场景
    • 生产管理应用场景
    • 柔性制造应用场景
  3. 智能服务
    • 健康管理
    • 智能维护
    • 远程征兆性诊断
    • 协同优化
    • 共享服务
  4. 智能应用
    • 无人装备
    • 产业链互动
    • 价值链共赢

人工智能

人工智能(ArtificialIntelligence,AI)芯片的定义:从广义上讲只要能够运行人工智能算法的芯片都叫作 AI 芯片。 但是通常意义上的AI 芯片指的是针对人工智能算法做了特殊加速设计的芯片,现阶段,这些人工智能算法一般以深度学习算法为主,也可以包括其他机器学习算法。 人工智能芯片四大类(按技术架构分类):

  • GPU
  • FPGA(现场可编程门阵列)
  • ASIC(专用集成电路)
  • 类脑芯片

AI芯片的关键特征:

  • 新型的计算范式:Al计算既不脱离传统计算,也具有新的计算特质。
  • 训练和推断:AI系统通常涉及训练和推断过程。
  • 大数据处理能力:满足高效能机器学习的数据处理要求。
  • 数据精度:降低精度的设计。
  • 可重构的能力:针对特定领域而不针对特定应用的设计,可以通过重新配置,适应新的AI算法、架构和任务。
  • 开发工具:AI芯片需要软件工具链的支持。

机器人技术

具有如下3个条件的机器可以称为机器人:

  1. 具有脑、手、脚等三要素的个体;
  2. 具有非接触传感器(用眼、耳接收远方信息)和接触传感器
  3. 具有平衡觉和固有觉的传感器

该定义强调了机器人应当具有仿人的特点,即它靠手进行作业,靠脚实现移动,由脑来完成统一指挥的任务。 非接触传感器和接触传感器相当于人的五官,使机器人能够识别外界环境,而平衡觉和固有觉则是机器人感知本身状态所不可缺少的传感器。

机器人分类:

  • 按照应用行业来分,机器人可分为工业机器人、服务机器人和特殊领域机器人。
  • 按照要求的控制方式分类,机器人可分为操作机器人、程序机器人、示教再现机器人、智能机器人和综合机器人。

机器人的发展过程可以简单地分为3个阶段:

  1. 第一代机器人:示教再现型机器人。
  2. 第二代机器人:感觉型机器人。
  3. 第三代机器人:智能型机器人。

机器人4.0时代:就是把云端大脑分布在各个地方,充分利用边缘计算的优势,提供高性价比的服务,把要完成任务的记忆场景的知识和常识很好地组合起来,实现规模化部署。 特别强调机器人除了具有感知能力实现智能协作,还应该具有一定的理解和決策能力,进行更加自主的服务。

机器人4.0主要有以下几个核心技术

  1. 云-边-端的无缝协同计算
  2. 持续学习与协同学习
  3. 知识图谱
  4. 场景自适应
  5. 数据安全

数字孪生体技术

数字孪生体是一个与现实世界中的物理实体(或过程、系统)完全对应的、全生命周期的动态数字化虚拟模型。

可以把它想象成一个物理实体的“数字克隆体”或“数字影子”。但这个克隆体不仅仅是静态的3D模型,它是一个活的、会呼吸、会变化的数字实体。

数字孪生体的定义如下:数字孪生体是现有或将有的物理买体对象的数字模型,通过实测、仿真和数据分析来实时感知、诊断、预测物理实体对象的状态,通过优化和指令来调控物理实体对象的行为,通过相关数字模型间的相互学习来进化自身,同时改进利益相关方在物理实体对象生命周期内的决策。

顶层框架技术:能够做到统领建模、仿真和数字线程的系统工程和MBSE,则称为数字孪生体的顶层框架技术。 【数字孪生体的三项核心技术建模、仿真和基于数据融合的数字线程。】 底层伴生技术:物联网是数字孪生体的底层伴生技术。 外围使能技术:云计算、机器学习、大数据、区块链则成为数字孪生体的外围使能技术

关键技术:

  1. 建模
    • 建模的目的
    • 数字孪生体的目的
    • 源头/“数化”阶段的核心-建立数字化模型
    • 三维空间:需求指标、生存期阶段和空间尺度
    • 多视图模型:复合、高层次需求指标需要多视图(数字线程技术)
  2. 仿真
    • 建模和仿生是一对伴生体
    • 建模是模型化对物理世界和问题的理解
    • 仿真验证和确认理解的正确性和有效性
    • 数字化模型的仿真技术:创建和运行数字孪生体、保证数字孪生体与对应物理实体实现有效闭环的核心技术
  3. 其他技术
    • VR、AR以及MR等增强现实技术
    • 数字线程
    • 系统工程和MBSE
    • 物联网
    • 云计算、机器学习、大数据、区块链等

数字孪生体主要应用于制造、产业、城市和战场。

数字孪生生态系统:

  • 行业应用层:包括智能制造、智慧城市在内的多方面应用
  • 共性应用层:包括描述、诊断、预测、决策四个方面
  • 模型构建与仿真分析层:包括数据建模、数据仿真和控制
  • 数据互动层:包括数据采集、数据传输和数据处理等内容
  • 基础支撑层:由具体的设备组成

大数据

大数据架构 是一个综合性的、系统性的设计蓝图,用于定义和处理海量(Volume)、高速(Velocity)、多样(Variety)、低价值密度(Value)和真实性(Veracity)数据(即大数据的5V特性)的流入、处理、存储、分析和服务的流程与组件。 其核心目标是经济、高效、可靠地从数据中提取价值,以支持数据分析、机器学习、商业智能(BI)和决策制定。

大数据特点5个V:

  • 大规模(Volume)
  • 高速度(Velocity)
  • 多样化 (Variety)
  • 价值密度低 (Value)
  • 真实性(Veracity)

大数据的应用领域:制造业的应用、服务业的应用、交通行业的应用、医疗行业的应用等。

大数据分析的分析步骤大致分为5个主要阶段:

  1. 数据获取/记录【实时数据+离线数据】
  2. 信息抽取/清洗/注记
  3. 数据集成/聚集/表现
  4. 数据分析/建模
  5. 数据解释

大数据的研究工作将面临5个方面的挑战:

  1. 挑战一:数据获取问题。
  2. 挑战二:数据结构问题。
  3. 挑战三:数据集成问题。
  4. 挑战四:数据分析、组织、抽取和建模是大数据本质的功能性挑战。
  5. 挑战五:如何呈现数据分析的结果,并与非技术的领域专家进行交互。

大数据生态

大数据生态可以理解为一整套协同工作的开源工具、框架、平台和技术的集合,它们共同提供了处理海量数据所需的各项能力。

软考

  • Hbase:分布式、面向列的开源数据库,适合于非结构化数据存储。【实时数据和离线数据均支持】。
  • HDFS(Hadoop分布式文件系统):适合运行在通用硬件上的分布式文件系统(Distributed FileSystem)。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,【通常用于处理离线数据的存储】。
  • Kafka:一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。【可处理实时流数据,可回溯】
  • Flume:高可用/可靠,分布式海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
  • ZooKeeper:开放源码的分布式应用程序协调服务,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

大数据架构

Lambda架构

核心思想:Lambda架构通过并行运行两条独立的处理路径(批处理层和速度层),最后将两者的结果合并,来同时满足低延迟和高准确性的需求。

三层分解:

  1. 批处理层 (Batch Layer)
    • 职责:处理全部的历史数据。因为它有充足的时间和处理全部数据的能力,所以它能产生最准确、最完整的结果。它构建的是不可变的、仅追加的主数据集(Master Dataset)。
    • 输出:预计算好的批处理视图(例如,截止到昨天的所有用户的累计销售额)。这些视图通常存储在像HDFS或云存储(S3) 这样的分布式文件中。
    • 技术:Apache Hadoop MapReduce, Apache Spark, Apache Hive.
  2. 速度层 (Speed Layer / Stream Layer)
    • 职责:处理最新的、尚未被批处理层处理的实时数据。为了追求速度,它通常会使用近似算法(如HyperLogLog)或在内存中处理,因此结果可能是不完整或近似准确的。
    • 输出:实时视图(例如,从今天零点到现在的新增销售额)。这些视图通常存储在快速读写的NoSQL数据库中,如Redis, Cassandra。
    • 技术:Apache Storm, Apache Flink, Spark Streaming.
  3. 服务层 (Serving Layer)
    • 职责:合并批处理视图和实时视图,以响应应用程序的查询。
    • 工作方式:当查询到来时,服务层分别读取批处理层生成的“准确结果”和速度层生成的“实时增量结果”,将两者合并后返回给用户。
    • 例如:查询今日总销售额 = (批处理层:昨日及之前的累计销售额) + (速度层:今日新增的实时销售额)。
    • 技术:Apache Druid, Elasticsearch, Cassandra, StarRocks。这些数据库支持低延迟的随机读写,用于存储和查询批处理视图和实时视图。

优点:

  1. 健壮性 (Robustness):批处理层不断重新计算完整视图,可以修正速度层由于代码bug或数据延迟带来的任何错误。
  2. 可扩展性 (Scalability):批处理和流处理都可以在分布式集群上运行,横向扩展。
  3. 容错性 (Fault Tolerance):批处理层处理慢但可靠;即使速度层出错,批处理层最终也能纠正数据。

缺点:

  1. 复杂性 (Complexity):最大的缺点。需要开发和维护两套代码逻辑(一套给批处理层,一套给速度层),尽管它们执行的业务逻辑是相同的。这带来了双倍的开发、调试和运维成本。
  2. 资源消耗:需要运行两套独立的分布式系统,资源消耗大。
  3. 最终一致性:在批处理层追上实时数据之前,数据是最终一致的,而非强一致。

Kappa架构

核心思想:Kappa架构是对Lambda架构的简化。它提出了一个激进的观点:只保留流处理层,用一个流处理管道解决所有问题。如果需要重新处理数据,就从头重新消费流数据。

核心原则:

  • 所有数据都是流:将所有的数据,无论是历史数据还是实时数据,都视为流。批处理只是流处理的一个特例(即有界的流)。
  • immutable log:使用一个支持持久化、多订阅、可重播的消息队列(如Apache Kafka)作为唯一的真相来源。所有原始数据都写入这里,并长期保留。
  • 重播能力:当业务逻辑变更或需要修复bug时,只需启动一个新的流处理作业,从Kafka的开始偏移量(offset)重新消费所有数据,生成一个新的结果视图,并替换掉旧视图。

工作流程:

  1. 实时数据写入Kafka。
  2. 流处理引擎(如Flink)消费Kafka中的数据,进行处理,并将结果输出到下游的数据库(服务层)。
  3. 当需要重新处理数据时:
    • 启动一个新的流处理实例(例如job_v2)。
    • 让这个新实例从Kafka的最开始(或者一个足够早的时间点)重新消费数据。
    • 当job_v2的计算结果追上当前时间后,将应用程序的查询流量从旧实例切换到新实例。
    • 停掉旧的流处理实例。

优点:

  1. 简化架构:只有一套代码、一个处理框架,极大地降低了开发和管理复杂度。
  2. 降低运维成本:只需维护一套处理集群。
  3. 真正的单一数据源:所有处理都源于同一个Kafka日志,避免了数据不一致的问题。

缺点:

  1. 对消息队列要求极高:Kafka需要有非常强的吞吐能力和长期存储数据的能力(通常需要保留多天甚至数周的历史数据)。
  2. 流处理引擎的重处理能力:流处理引擎(如Flink)需要能支持“有状态计算”并且能够从保存点(Savepoint)快速重放历史数据,否则重新处理TB/PB级数据会非常慢。
  3. 计算资源可能浪费:重新处理全部历史数据可能需要大量的计算资源,而Lambda架构的批处理层通常是在业务低峰期(如夜间)运行。