python3.X 多线程使用经验

1. 多进程的已经可以使用了。特别注意multiprocessing.pool的传参方式，直接会影响在类中使用Pool。

- [参考](
https://www.cnblogs.com/leijiangtao/p/11881009.html)

2. 多线程和多进程的简单说明。

- 多线程的对象是单个（准确的说是单核CPU）CPU而言的。是利用CPU和IO之间的时间关系来提升处理速度。也就是说多个线程是在一个CPU上进行分时操作的概念。

- 多进程的对象是多个（或者说多核CPU）CPU而言的。是利用多个（或者说多核CPU）CPU来处理多个事件的概念。

3. CPU密集型计算和IO密集型计算。

- CPU bound说明的是CPU会限制程序运行的瓶颈。CPU使用率可以达到顶峰。比如：压缩解压缩、加密解密、正则表达式搜索。

- IO bound说明是IO是限制程序运行的瓶颈。比如大量读写硬盘和内存。比如：文件处理程序、网络爬虫程序、读写数据库程序。

- 按照上面的分类，这个项目应该是IO密集型计算。

4. **multiprocessing中无法使用全局变量来让每个进程来同时操作这个全局变量**。对应到这个项目中，无法定义了类然后实例化的对象来让多个进程共享操作。

- 解决技术：[共享内存](
https://zhuanlan.zhihu.com/p/146769255)。

- 解决方法：将结果分开存储，然后组合到一起使用。

- 使用**共享内存技术开始要初始化一个确定长度的buffer**。在本项目中SelectedSentence是一个开始的时候不确定长度的dataframe。开始觉得这是一个不好处理的问题。**解决方法是初始化一个比输入数据集一样大的就可以了**。因为经过交集计算之后的dataframe肯定是小于等于输出数据集的。

- 对于其他几个数据集（self.swordpd和resultPart（这个是输入SeletingSentence()函数的形参，可能不需要））都需要用到这个技术来处理，不然会出现筛选的逻辑漏洞。

5. 在类初始化的时候不能创建multiprocessing.pool，不然程序会卡住。原因不明。

6. [参考学习视频](
https://www.bilibili.com/video/BV1bK411A7tV?p=9)。里面说得非常清楚了。

7. 使用共享内存技术。**特别需要强调的是sharememory技术只能在python 3.8中使用**。

1. [重要参考](
https://zhuanlan.zhihu.com/p/146769255)

2. [基本操作手册](
https://docs.python.org/zh-cn/3.8/library/multiprocessing.shared_memory.html)

3. 难点：在使用内存的时候内存存放的格式只能是byte类型的数据。现在1中的将其转化为numpy.recarray类型来用于复制到共享内存中，但是实际使用的时候最起码是要numpy.ndarray类型，或者pandas.dataframe类型。如何将共享内存中的类型转化成需要的类型是一个难点。这也是Python不如c成熟的地方。也难怪网络设备使用vxWorks来开发。vxWorks的进程调用和基础架构是真的好用。

4. 补充更新一下，上面的测试代码work_with_shared_memory 函数里不能解引用np_array，比如print(np_array)，不然会segfault。使用np_array.val和np_array.date则没有问题则是因为这两个column的dtype不是object。而np_array.character_col的dtype在这个代码里是object。

解决这个问题的办法也很简单，（踩坑无数次后），在to_records()里指定dtype。

np_array = df.to_records(index=False，column_dtypes={'character_col': 'S6'})

这里我们指定character_col为长度为6的字符串。 如果是unicode的话，可以将S6换成U6。 超出指定长度的字符串则会被truncate。

这样就不会有segfault了。重点就是不能有object的dtype。