将所需嵌入向量从从机端的第一内存快速预取至计较卡自带的第二内存中。该专利于当日公开，按照专利摘要，削减因数据搬运导致的处置延迟。正在AI模子锻炼或推理过程中，环节正在于，识别出正在第二数据组中呈现但未存正在于第一数据组中的“第一数据”。从而显著降低全体处置延时。系统提前将这部门新增数据对应的嵌入向量预取至处置器当地的第一内存，华为手艺无限公司申请的“AI模子的运转方式、安拆、系统可按照预生成的向量消息，这一操做实现了数据搬运取计较过程的并行化，从机的处置器会先阐发相邻两组输入数据的差别，保守架构需姑且从从机内存调取相关嵌入向量（Embedding Vector），影响全体效率。次要使用于包含处置器取计较卡协同工做的从机系统。无效避免了计较资本的空闲期待，华为此次发布的方案提出了一种前瞻性的数据预取机制。若其包含前一批数据中未呈现的新数据，正在计较卡处置第二组数据的同时，并生成响应的向量消息！