Linux 内存是后台开发人员,需要深入了解的计算机资源。合理的使用内存,有助于提升机器的性能和稳定性。本文主要介绍Linux 内存组织结构和页面布局,内存碎片产生原因和优化算法,Linux 内核几种内存管理的方法,内存使用场景以及内存使用的那些坑。
1)暂时存放 cpu 的运算数据2)硬盘等外部存储器交换的数据3)保障 cpu 计算的稳定性和高性能
用户态:Ring3 运行于用户态的代码则要受到处理器的诸多内核态:Ring0 在处理器的存储保护中,核心态用户态切换到内核态的 3 种方式:系统调用、异常、外设中断区别:每个进程都有完全属于自己的,独立的,不被干扰的内存空间;用户态的程序就不能随意操作内核地址空间,具有一定的安全保护作用;内核态线程共享内核地址空间;
MMU 是一种硬件电路,它包含两个部件,一个是分段部件,一个是分页部件分段机制把一个逻辑地址转换为线性地址分页机制把一个线性地址转换为物理地址
为了方便快速检索段选择符,处理器提供了 6 个分段寄存器来缓存段选择符,它们是:cs,ss,ds,es,fs 和 gs段的基地址(base Address):在线性地址空间中段的起始地址段的界限(Limit):在虚拟地址空间中,段内可以使用的最大偏移量2) 分段实现
逻辑地址的段寄存器中的值提供段描述符,然后从段描述符中得到段基址和段界限,然后加上逻辑地址的偏移量,就得到了线、内存地址——分页机制(32 位)
DATA:数据段,映射程序中已经初始化的全局变量BSS 段:存放程序中未初始化的全局变量HEAP:运行时的堆,在程序运行中使用 malloc 申请的内存区域MMAP:共享库及匿名文件的映射区域STACK:用户进程栈7、内核态地址空间
动态内存映射区:该区域由内核函数 vmalloc 来分配永久内存映射区:该区域可访问高端内存固定映射区:该区域和 4G 的顶端只有 4k 的隔离带,其每个地址项都服务于特定的用途,如:ACPI_base 等8、进程内存空间
内核空间是由内核负责映射,不会跟着进程变化;内核空间地址有自己对应的页表,用户进程各自有不同额页表
优点:提高分配速度,便于内存管理,防止内存泄露缺点:大量的内存碎片会使系统缓慢,内存使用率低,浪费大2) 如何避免内存碎片
分配内存和释放的内存尽量在同一个函数中尽量一次性申请较大的内存,而不要反复申请小内存尽可能申请大块的 2 的指数幂大小的内存空间外部碎片避免——伙伴系统算法内部碎片避免——slab 算法自己进行内存管理工作,设计内存池2、伙伴系统算法——组织结构1) 概念
把所有的空闲页分组为 11 个块链表,每个块链表分别包含大小为 1,2,4,8,16,32,64,128,256,512 和 1024 个连续页框的页块。最大可以申请 1024 个连续页,对应 4MB 大小的连续内存。
如果没有空闲页块,则查找 2^(i 1) 对应的块链表是否有空闲页块,如果有,则分配 2^i 块链表节点给应用,另外 2^i 块链表节点插入到 2^i 对应的块链表中如果 2^(i 1) 块链表中没有空闲页块,则重复步骤 2,直到找到有空闲页块的块链表如果仍然没有,则返回内存分配失败2) 回收算法
内核代码段,数据段,内核 kmalloc() 出来的内存,内核线) 可回收页这些页不能移动,但可以删除。内核在回收页占据了太多的内存时或者内存短缺时进行页面回收3) 可移动页这些页可以任意移动,用户空间应用程序使用的页都属于该类别。它们是通过页表映射的
Linux 所使用的 slab 分配器的基础是 Jeff Bonwick 为 SunOS 操作系统首次引入的一种算法它的基本思想是将内核中经常使用的对象放到高速缓存中,并且由系统保持为初始的可利用状态。比如进程描述符,内核中会频繁对此数据进行申请和释放
2) 内部碎片已经被分配出去的的内存空间大于请求所需的内存空间3) 基本目标减少伙伴算法在分配小块连续内存时所产生的内部碎片
将频繁使用的对象缓存起来,减少分配、初始化和释放对象的时间开销通过着色技术调整对象以更好的使用硬件高速缓存7、slab 分配器的结构由于对象是从 slab 中分配和释放的,因此单个 slab 可以在 slab 列表之间进行移动slabs_empty 列表中的 slab 是进行回收(reaping)的主要备选对象
slab 还支持通用对象的初始化,从而避免了为同一目而对一个对象重复进行初始化8、slab 高速缓存
slab 分配器所提供的小块连续内存的分配是通过通用高速缓存实现的通用高速缓存所提供的对象具有几何分布的大小,范围为 32 到 131072 字节。
内核中提供了 kmalloc() 和 kfree() 两个接口分别进行内存的申请和释放2) 专用高速缓存内核为专用高速缓存的申请和释放提供了一套完整的接口,根据所传入的参数为具体的对象分配 slab 缓存kmem_cache_create() 用于对一个指定的对象创建高速缓存。它从 cache_cache 普通高速缓存中为新的专有缓存分配一个高速缓存描述符,并把这个描述符插入到高速缓存描述符形成的 cache_chain 链表中
先申请分配一定数量的、大小相等(一般情况下) 的内存块留作备用当有新的内存需求时,就从内存池中分出一部分内存块,若内存块不够再继续申请新的内存
这样做的一个显著优点是尽量避免了内存碎片,使得内存分配效率得到提升2) 内核 APImempool_create 创建内存池对象mempool_alloc 分配函数获得该对象
直接内存访问是一种硬件机制,它允许外围设备和主内存之间直接传输它们的 I/O 数据,而不需要系统处理器的参与2) DMA 控制器的功能能向 CPU 发出系统保持(HOLD)信号,提出总线接管请求
当 CPU 发出允许接管信号后,负责对总线的控制,进入 DMA 方式能对存储器寻址及能修改地址指针,实现对内存的读写操作能决定本次 DMA 传送的字节数,判断 DMA 传送是否结束发出 DMA 结束信号,使 CPU 恢复正常工作状态2) DMA 信号DREQ:DMA 请求信号。是外设向 DMA 控制器提出要求,DMA 操作的申请信号DACK:DMA 响应信号。是 DMA 控制器向提出 DMA 请求的外设表示已收到请求和正进行处理的信号
HRQ:DMA 控制器向 CPU 发出的信号,要求接管总线的请求信号。HLDA:CPU 向 DMA 控制器发出的信号,允许接管总线的应答信号:四、 内存使用场景
用户态内存使用(malloc、relloc 文件映射、共享内存)程序的内存 map(栈、堆、code、data)内核和用户态的数据传递(copy_from_user、copy_to_user)内存映射(硬件寄存器、保留内存)DMA 内存2、用户态内存分配函数alloca 是向栈申请内存,因此无需释放malloc 所分配的内存空间未被初始化,使用 malloc() 函数的程序开始时(内存空间还没有被重新分配) 能正常运行,但经过一段时间后(内存空间已被重新分配) 可能会出现问题
calloc 会将所分配的内存空间中的每一位都初始化为零realloc 扩展现有内存空间大小a)如果当前连续内存块足够 realloc 的话,只是将 p 所指向的空间扩大,并返回 p 的指针地址。这个时候 q 和 p 指向的地址是一样的b)如果当前连续内存块不够长度,再找一个足够长的地方,分配一块新的内存,q,并将 p 指向的内容 copy 到 q,返回 q。并将 p 所指向的内存空间删除3、内核态内存分配函数函数分配原理最大内存其他_get_free_pages直接对页框进行操作4MB适用于分配较大量的连续物理内存kmem_cache_alloc基于 slab 机制实现128KB适合需要频繁申请释放相同大小内存块时使用kmalloc基于 kmem_cache_alloc 实现128KB最常见的分配方式,需要小于页框大小的内存时可以使用vmalloc建立非连续物理内存到虚拟地址的映射物理不连续,适合需要大内存,但是对地址连续性没有要求的场合dma_alloc_coherent基于_alloc_pages 实现4MB适用于 DMA 操作ioremap实现已知物理地址到虚拟地址的映射适用于物理地址已知的场合,如设备驱动alloc_bootmem在启动 kernel 时,预留一段内存,内核看不见小于物理内存大小,内存管理要求较高
调用 malloc 函数时,它沿 free_chuck_list 连接表寻找一个大到足以满足用户请求所需要的内存块
将 addr 对应的 pte 设置为物理页面的首地址系统调用:Brk—申请内存小于等于 128kb,do_map—申请内存大于 128kb
用户态进程独占虚拟地址空间,两个进程的虚拟地址可相同在访问用户态虚拟地址空间时,如果没有映射物理地址,通过系统调用发出缺页异常
它允许多个不相关的进程去访问同一部分逻辑内存两个运行中的进程之间传输数据,共享内存将是一种效率极高的解决方案
两个运行中的进程共享数据,是进程间通信的高效方法,可有效减少数据拷贝的次数2) Shm 接口
shmget 创建共享内存shmat 启动对该共享内存的访问,并把共享内存连接到当前进程的地址空间
在类的构造函数和析构函数中没有匹配地调用 new 和 delete 函数没有正确地清除嵌套的对象指针
没有将基类的析构函数定义为虚函数当基类的指针指向子类对象时,如果基类的析构函数不是 virtual,那么子类的析构函数将不会被调用,子类的资源没有得到正确释放,因此造成内存泄露缺少拷贝构造函数,按值传递会调用(拷贝)构造函数,引用传递不会调用指向对象的指针数组不等同于对象数组,数组中存放的是指向对象的指针,不仅要释放每个对象的空间,还要释放每个指针的空间缺少重载赋值运算符,也是逐个成员拷贝的方式复制对象,如果这个类的大小是可变的,那么结果就是造成内存泄露2、C 野指针指针变量没有初始化指针被 free 或 delete 后,没有设置为 NULL
指针操作超越了变量的作用范围,比如返回指向栈内存的指针就是野指针访问空指针(需要做空判断)sizeof 无法获取数组的大小试图修改常量,如:char p=1234;p=\1\;3、C 资源访问冲突多线程共享变量没有用 valotile 修饰多线程访问全局变量未加锁
全局变量仅对单进程有效多进程写共享内存数据,未做同步处理mmap 内存映射,多进程不安全4、STL 迭代器失效被删除的迭代器失效添加元素(insert/push_back 等)、删除元素导致顺序容器迭代器失效

