一分钟搞定 Python 程序的内存泄漏问题

如果实在搞不定的话就放弃吧……真的……时间宝贵,项目又这么紧,没时间给你研究学习内存泄漏的问题。

很多时候,一个段程序循环 1000 次看上去没有问题,但 1000000 次问题就出来了,跑一天没问题,但跑一星期内存泄漏问题就出来了。

你应该做的是把程序简单化,不在程序内实现 loop ,而是应该 loop 执行 script。像这样:

 

文件修改时自动重新运行 Celery 的 Worker

下面介绍实现 autoreload 两种方式:

  • 使用 Watchdog

    Watchdog 的 watchmedo 命令可以监控某个目录下的文件修改,重新运行子进程。我们可以利用它实现 Celery worker 的自动重新运行。

你可以直接使用 start-celery-for-dev.py ,它就是基于 watchdog 实现的。

  • 使用 Django
    Django 本身有个机制是监控程序文件改变然后自动重新运行 runserver 命令,我们可以利用这个机制来实现:

解决 Windows 上运行 Celery 4.1 问题:ValueError: not enough values to unpack

Celery 4.1 的这个问题只在 Windows 上有,Celery 4.1 开发环境所限并不能完美兼容 Windows

这个问题有三解决方法:

  1. 使用别的 pool
    在创建 worker 时使用别的 pool,例如 eventlet、solo

    celery -A tasks worker –loglevel=info –pool=eventlet

  2. 设置环境变量 FORKED_BY_MULTIPROCESSING
    在创建 worker 时设置一下环境变量

    set FORKED_BY_MULTIPROCESSING=1

  3. 使用旧版本的 Celery

     

解决 RabbitMQ Windows 安装问题 TCP connection succeeded but Erlang distribution failed

在 Windows 上安装完 RabbitMQ 后,用命令查看状态:
rabbitmqctl status
发现错误:

错误原因:Windows 上安装后会运行 RabbitMQ Service,这个服务运行使用的 Erlang Cookie 和登录用户使用的 Erlang Cookie 不匹配导致的。

RabbitMQ Service 使用的 Cookie 是:

C:\Windows\System32\config\systemprofile\.erlang.cookie

用户使用的 Cookie 是

C:\Users\Administrator\.erlang.cookie

把 RabbitMQ Service 的 Cookie 文件复制覆盖到用户的 Cookie 就可以了。

还有一个方法就是:停止 RabbitMQ Service,手动运行 rabbitmq-server.bat

Python 多线程然并卵

真的,在 Python 里多线程(multiple threading)没什么卵用的,因为有 GIL 的存在。

在 Python 里如果需要多任务的话,一定要选择多进程(multiple processing)+ Green threads(greenlet/twisted/asyncio/…)的方式。

Green threads 一定要做。

其实也别实现什么多进程了,直接多运行几个 main.py 就好了。