当前位置: 首页 > news >正文

做网站很简单推广任务发布平台app

做网站很简单,推广任务发布平台app,学校网站建设项目管理报告,制作书签怎么做Netty零拷贝机制一:用户空间与内核空间二:传统IO流程三:零拷贝常见的实现方式1. mmap write2. sendfile四:Java中零拷贝五:Netty 中如何实现零拷贝1. CompositeByteBuf 实现零拷贝2. wrap 实现零拷贝3. slice 实现零拷…

Netty零拷贝机制

  • 一:用户空间与内核空间
  • 二:传统IO流程
  • 三:零拷贝常见的实现方式
    • 1. mmap + write
    • 2. sendfile
  • 四:Java中零拷贝
  • 五:Netty 中如何实现零拷贝
    • 1. CompositeByteBuf 实现零拷贝
    • 2. wrap 实现零拷贝
    • 3. slice 实现零拷贝
    • 4. FileRegion实现零拷贝

一:用户空间与内核空间

操作系统的核心是内核,它不同于普通应用程序,所以为了保护内核的存储空间,操作系统将虚拟空间分为了两个部分:内核空间和用户空间。
在这里插入图片描述

二:传统IO流程

四次上下文切换,四次拷贝。
在这里插入图片描述
在这里插入图片描述
1、将磁盘文件,读取到操作系统内核缓冲区;
2、将内核缓冲区的数据,拷贝到用户空间的缓冲区;
3、数据从用户空间缓冲区拷贝到内核的socket网络发送缓冲区;
4、数据从内核的socket网络发送缓冲区拷贝到网卡接口(硬件)的缓冲区,由网卡进行网络传输。

三:零拷贝常见的实现方式

1. mmap + write

mmap通过内存映射,将文件映射到内核缓冲区。同时,用户空间可以共享内核空间的数据。这样,在进行网络传输时,就可以减少内核空间到用户空间的拷贝次数。如下图:
在这里插入图片描述
优化后:三次拷贝 + 四次上下文切换。

2. sendfile

sendfile实现有两个版本,我们这里只介绍真正实现零拷贝技术的后者,即通过SG-DMA技术实现数据拷贝。

Linux 2.1版本提供了sendFile函数,其基本原理如下:
数据根本不经过用户态,直接从内核缓冲区进入到Socket Buffer,同时,由于和用户态完全无关,就减少了一次上下文切换。
在这里插入图片描述
只需 2 次拷贝:
第一次使用 DMA 从磁盘文件拷贝到内核缓冲区;
第二次从内核缓冲区将数据拷贝到网络协议栈(网卡);

(内核缓存区只会拷贝一些 offset 和 length 信息到SocketBuffer,基本无消耗)
优化后:两次上下文切换 + 两次拷贝。

四:Java中零拷贝

通过Java的FileChannel.transferTo()方法实现零拷贝:
底层是调用Linux操作系统中的sendfile()实现的。

通过Java的FileChannel.map()方法实现零拷贝:
底层是调用Linux操作系统中的mmap()实现的。

再稍微讲讲 mmap 和 sendFile 的区别:
1、mmap 适合小数据量读写,sendFile 适合大文件传输。
2、mmap 需要 4 次上下文切换,3 次数据拷贝;sendFile 需要 3 次上下文切换,最少 2 次数据拷贝。
3、sendFile 可以利用 DMA 方式,减少 CPU 拷贝,mmap 则不能(必须从内核拷贝到 Socket 缓冲区)。

在这个选择上:RocketMQ 在消费消息时,使用了 mmap。Kafka 使用了 sendFile。

五:Netty 中如何实现零拷贝

netty中的零拷贝和操作系统中零拷贝有点不一样,操作系统实现零拷贝主要是在内核态的优化,netty完全是在用户状态实现零拷贝。

1. CompositeByteBuf 实现零拷贝

通过将多个ByteBuf合并为一个逻辑上的ByteBuf,避免了各个ByteBuf之间的拷贝。

● 常规使用

ByteBuf allBuf = Unpooled.buffer(header.readableBytes() + body.readableBytes());
allBuf.writeBytes(header);
allBuf.writeBytes(body);

● 使用CompositeByteBuf

CompositeByteBuf compositeByteBuf = Unpooled.compositeBuffer();
compositeByteBuf.addComponents(true, header, body);

2. wrap 实现零拷贝

将byte[]数组、ByteBuf、ByteBuffer等包装成一个Netty ByteBuf对象进而避免了拷贝操作。

● 常规使用

byte[] bytes = ...
ByteBuf byteBuf = Unpooled.buffer();
byteBuf.writeBytes(bytes);

● 使用wrap

byte[] bytes = ...
ByteBuf byteBuf = Unpooled.wrappedBuffer(bytes);

3. slice 实现零拷贝

将ByteBuf 拆解成多个ByteBuf,但是共享同一存储空间不同分区,避免了内存拷贝。

ByteBuf byteBuf = ...
ByteBuf header = byteBuf.slice(0, 5);
ByteBuf body = byteBuf.slice(5, 10);

4. FileRegion实现零拷贝

通过FileRegion包装的FileChannel.tranferTo实现文件传输,可以直接将文件缓冲区的数据发送到目标Channel,避免了传统通过循环write方式导致的内存拷贝问题。

● 传统文件传输

public static void copyFile(String srcFile, String destFile) throws Exception {byte[] temp = new byte[1024];FileInputStream in = new FileInputStream(srcFile);FileOutputStream out = new FileOutputStream(destFile);int length;while ((length = in.read(temp)) != -1) {out.write(temp, 0, length);}in.close();out.close();
}

● file Region

public static void copyFileWithFileChannel(String srcFileName, String destFileName) throws Exception {RandomAccessFile srcFile = new RandomAccessFile(srcFileName, "r");FileChannel srcFileChannel = srcFile.getChannel();RandomAccessFile destFile = new RandomAccessFile(destFileName, "rw");FileChannel destFileChannel = destFile.getChannel();long position = 0;long count = srcFileChannel.size();srcFileChannel.transferTo(position, count, destFileChannel);
}
http://www.hkea.cn/news/932834/

相关文章:

  • 外贸营销型网站建设今日最新重大新闻
  • 个性化定制网站长春网络推广优化
  • 合肥庐阳区疫情最新消息seo优化首页
  • h5网站制作接单最新中高风险地区名单
  • 北京市住房城乡建设委网站公司怎么在网上推广
  • 网站建设首页怎样插入视频百度指数在线查询小程序
  • 青州网站制作哪家好aso优化哪家好
  • wordpress做网站优点郑州网站seo优化
  • 宝安做棋牌网站建设找哪家公司好湖南长沙疫情最新消息
  • 四川专业网站建设中国十大企业培训机构排名
  • 怎么切页面做网站灰色词首页排名接单
  • 网站右侧浮动广告代码百度推广代理公司广州
  • 固原建站公司旺道seo推广系统怎么收费
  • 适合做外链的网站海外广告联盟平台推广
  • 建筑模板规格型号郑州厉害的seo顾问
  • ppt做书模板下载网站有哪些内容国际婚恋网站排名
  • 上海网站建设内容更新网络营销策划目的
  • 重庆市建设信息网站关键词查询网
  • 做哪种网站流量大怎么打广告宣传自己的产品
  • 免费表白网站制作seo网络优化推广
  • 网站建设中可能升级中国科技新闻网
  • 网站制作内容文案网站如何快速被百度收录
  • 淘宝淘宝网页版登录入口免费seo公司
  • 竹溪县县建设局网站短视频营销
  • 好的网站有哪些搜索引擎seo是什么意思
  • 做音乐网站赚钱吗做小程序的公司
  • 坪地网站建设域名流量查询工具
  • 网站建设部署万能推广app
  • 网站的重要性怎么做个网站
  • 做网站的经验百度旗下有哪些app