如何设计插件式结构的程序,兼谈Python语言的动态性


类型:Python,创建时间:March 23, 2012, 5:46 p.m.

标题无“转载”即原创文章,版权所有。转载请注明来源:http://hgoldfish.com/blogs/article/81/。

为了扩充软件的功能,通常我们会把软件设计成插件式结构。Python这样的动态语言天生就支持插件式编程。与C++相比,Python已经定义好模块的接口,想要载入一个插件,一个__import__()就能很轻松地搞定。不需要特定的底层知识。而且与C++等静态语言相比,Python的插件式结构更显灵活。因为插件载入后,可以利用Python语言的动态性,充分地修改核心的逻辑。

简单地说一个__import__()可能不大清楚。现在就来看一个最简单的插件式结构程序。它会扫描plugins文件夹下的所有.py文件。然后把它们载入。

#-*- encoding: utf-8 -*-
#main1.py
import os

class Platform:
    def __init__(self):
        self.loadPlugins()

    def sayHello(self, from_):
        print "hello from %s." % from_

    def loadPlugins(self):
        for filename in os.listdir("plugins"):
            if not filename.endswith(".py") or filename.startswith("_"):
                continue
            self.runPlugin(filename)

    def runPlugin(self, filename):
        pluginName=os.path.splitext(filename)[0]
        plugin=__import__("plugins."+pluginName, fromlist=[pluginName])
        #Errors may be occured. Handle it yourself.
        plugin.run(self)

if __name__=="__main__":
    platform=Platform()

然后在plugins子目录里面放入两个文件:

#plugins1.py
def run(platform):
    platform.sayHello("plugin1")

#plugins2.py
def run(platform):
    platform.sayHello("plugin2")

再创建一个空的__init__.pyplugins文件夹里面。从package里面导入模块的时候,Python要求一个__init__.py

运行main1.py,看一下运行的结果。首先是打印一下文件夹结构方便大家理解:

h:\projects\workon\testplugins>tree /f /a
卷 Data 的文件夹 PATH 列表
卷序列号为 ****-****
H:.
|   main1.py
|
\---plugins
        plugin1.py
        plugin2.py
        __init__.py

h:\projects\workon\testplugins>main1.py
hello from plugin1.
hello from plugin2.

一般地,载入插件前要首先扫描插件,然后依次载入并运行插件。我们上面的示例程序main1.py也是如此,分为两个函数。第一个loadPlugins()扫描插件。它把plugins目录下面所有.py的文件除了__init__.py都当成插件。runPlugin()载入并运行插件。其中两个关键:使用__import__()函数把插件当成模块导入,它要求所有的插件都定义一个run()函数。各种语言实现的插件式结构其实也基本上分为这两个步骤。所不同的是,Python语言实现起来更加的简洁。

或许听起来还有点玄奥。详细地说一下__import__()。它和常见的import语句很相似,只不过换成函数形式并且返回模块以供调用。import module相当于__import__("module")from module import func相当于__import__("module", fromlist=["func"]),不过与想象有点不同,import package.module相当于__import__("package.module", fromlist=["module"])

如何调用插件一般有个约定。像我们这里就约定每个插件都实现一个run()。有时候还可以约定实现一个类,并且要求这个类实现某个管理接口,以方便核心随时启动、停止插件。要求所有的插件都有这几个接口方法:

#interfaces.py
class Plugin:
    def setPlatform(self, platform):
        self.platform=platform

    def start(self):
        pass

    def stop(self):
        pass

想要运行这个插件,我们的runPlugin()要改一改,另外增加一个shutdown()来停止插件:

class Platform:
    def __init__(self):
        self.plugins=[]
        self.loadPlugins()

    def sayHello(self, from_):
        print "hello from %s." % from_

    def loadPlugins(self):
        for filename in os.listdir("plugins"):
            if not filename.endswith(".py") or filename.startswith("_"):
                continue
            self.runPlugin(filename)

    def runPlugin(self, filename):
        pluginName=os.path.splitext(filename)[0]
        plugin=__import__("plugins."+pluginName, fromlist=[pluginName])
        clazz=plugin.getPluginClass()
        o=clazz()
        o.setPlatform(self)
        o.start()
        self.plugins.append(o)

    def shutdown(self):
        for o in self.plugins:
            o.stop()
            o.setPlatform(None)
        self.plugins=[]

if __name__=="__main__":
    platform=Platform()
    platform.shutdown()

插件改成这样:

#plugins1.py
class Plugin1:
    def setPlatform(self, platform):
        self.platform=platform

    def start(self):
        self.platform.sayHello("plugin1")

    def stop(self):
        self.platform.sayGoodbye("plugin1")

def getPluginClass():
    return Plugin1

#plugins2.py
def sayGoodbye(self, from_):
    print "goodbye from %s." % from_

class Plugin2:
    def setPlatform(self, platform):
        self.platform=platform
        if platform is not None:
            platform.__class__.sayGoodbye=sayGoodbye

    def start(self):
        self.platform.sayHello("plugin2")

    def stop(self):
        self.platform.sayGoodbye("plugin2")

def getPluginClass():
    return Plugin2

运行结果:

h:\projects\workon\testplugins>main.py
hello from plugin1.
hello from plugin2.
goodbye from plugin1.
goodbye from plugin2.

详细观察的朋友们可能会发现,上面的main.py,plugin1.py, plugin2.py干了好几件令人惊奇的事。

首先,plugin1.pyplugin2.py里面的插件类并没有继承自interfaces.Plugin,而platform仍然可以直接调用它们的start()stop()方法。这件事在Java、C++里面可能是件麻烦的事情,但是在Python里面却是件稀疏平常的事,仿佛吃饭喝水一般正常。事实上,这正是Python鼓励的约定编程。Python的文件接口协议就只规定了read(), write(), close()少数几个方法。多数以文件作为参数的函数都可以传入自定义的文件对象,只要实现其中一两个方法就行了,而不必实现一个什么FileInterface。如果那样的话,需要实现的函数就多了,可能要有十几个。

再仔细看下来,getPluginClass()可以把类型当成值返回。其实不止是类型,Python的函数、模块都可以被当成普通的对象使用。从类型生成一个实例也很简单,直接调用clazz()就创建一个对象。不仅如此,Python还能够修改类型。上面的例子我们就演示了如何给Platform增加一个方法。在两个插件的stop()里面我们都调用了sayGoodbye(),但是仔细观察Platform的定义,里面并没有定义。原理就在这里:

#plugins2.py
def sayGoodbye(self, from_):
    print "goodbye from %s." % from_

class Plugin2:
    def setPlatform(self, platform):
        self.platform=platform
        if platform is not None:
            platform.__class__.sayGoodbye=sayGoodbye

这里首先通过platform.__class__得到Platform类型,然后Platform.sayGoodbye=sayGoodbye新增了一个方法。使用这种方法,我们可以让插件任意修改核心的逻辑。这正在文首所说的Python实现插件式结构的灵活性,是静态语言如C++、Java等无法比拟的。当然,这只是演示,我不大建议使用这种方式,它改变了核心的API,可能会给其它程序员造成困惑。但是可以采用这种方式替换原来的方法,还可以利用“面向切面编程”,增强系统的功能。

接下来我们还要再改进一下载入插件的方法,或者说插件的布署方法。前面我们实现的插件体系主要的缺点是每个插件只能有一个源代码。如果想附带一些图片、声音数据,又怕它们会和其它的插件冲突。即使不冲突,下载时分成单独的文件也不方便。最好是把一个插件压缩成一个文件供下载安装。

Firefox是一个支持插件的著名软件。它的插件以.xpi作为扩展名,实际上是一个.zip文件,里面包含了javascript代码、数据文件等很多内容。它会把插件包下载复制并解压到%APPDATA%\Mozilla\Firefox\Profiles\XXXX.default\extensions里面,然后调用其中的install.js安装。与此类似,实用的Python程序也不大可能只有一个源代码,也要像Firefox那样支持.zip包格式。

实现一个类似于Firefox那样的插件布署体系并不会很难,因为Python支持读写.zip文件,只要写几行代码来做压缩与解压缩就行了。首先要看一下zipfile这个模块。用它解压缩的代码如下:

import zipfile, os

def installPlugin(filename):
    with zipfile.ZipFile(filename) as pluginzip:
        subdir=os.path.splitext(filename)[0]
        topath=os.path.join("plugins", subdir)
        pluginzip.extractall(topath)

ZipFile.extractall()是Python 2.6后新增的函数。它直接解压所有压缩包内的文件。不过这个函数只能用于受信任的压缩包。如果压缩包内包含了以/或者盘符开始的绝对路径,很有可能会损坏系统。推荐看一下zipfile模块的说明文档,事先过滤非法的路径名。

这里只有解压缩的一小段代码,安装过程的界面交互相关的代码很多,不可能在这里举例说明。我觉得UI是非常考验软件设计师的部分。常见的软件会要求用户到网站上查找并下载插件。而Firefox和KDE提供了一个“组件(部件)管理界面”,用户可以直接在界面内查找插件,查看它的描述,然后直接点击安装。安装后,我们的程序遍历插件目录,载入所有的插件。一般地,软件还需要向用户提供插件的启用、禁用、依赖等功能,甚至可以让用户直接在软件界面上给插件评分,这里就不再详述了。

有个小技巧,安装到plugins/subdir下的插件可以通过__file__得到它自己的绝对路径。如果这个插件带有图片、声音等数据的时候,可以利用这个功能载入它们。比如上面的plugin1.py这个插件,如果它想在启动的时候播放同目录的message.wav,可以这样子:

#plugins1.py
import os

def alert():
    soundFile=os.path.join(os.path.dirname(__file__), "message.wav")
    try:
        import winsound
        winsound.PlaySound(soundFile, winsound.SND_FILENAME)
    except (ImportError, RuntimeError):
        pass

class Plugin1:
    def setPlatform(self, platform):
        self.platform=platform

    def start(self):
        self.platform.sayHello("plugin1")
        alert()

    def stop(self):
        self.platform.sayGoodbye("plugin1")

def getPluginClass():
    return Plugin1

接下来我们再介绍一种Python/Java语言常用的插件管理方式。它不需要事先有一个插件解压过程,因为Python支持从.zp文件导入模块,很类似于Java直接从.jar文件载入代码。所谓安装,只要简单地把插件复制到特定的目录即可,Python代码自动扫描并从.zip文件内载入代码。下面是一个最简单的例子,它和上面的几个例子一样,包含一个main.py,这是主程序,一个plugins子目录,用于存放插件。我们这里只有一个插件,名为plugin1.zipplugin1.zip有以下两个文件,其中description.txt保存了插件内的入口函数和插件的名字等信息,而plugin1.py是插件的主要代码:

description.txt
plugin1.py

其中description.txt的内容是:

[general]
name=plugin1
description=Just a test 
code=plugin1.Plugin1

plugin1.py与前面的例子类似,为了省事,我们去掉了stop()方法,它的内容是:

class Plugin1:
    def setPlatform(self, platform):
        self.platform=platform

    def start(self):
        self.platform.sayHello("plugin1")

重写的main.py的内容是:

# -*- coding: utf-8 -*-
import os, zipfile, sys, ConfigParser

class Platform:
    def __init__(self):
        self.loadPlugins()

    def sayHello(self, from_):
        print "hello from %s." % from_

    def loadPlugins(self):
        for filename in os.listdir("plugins"):
            if not filename.endswith(".zip"):
                continue
            self.runPlugin(filename)

    def runPlugin(self, filename):
        pluginPath=os.path.join("plugins", filename)
        pluginInfo, plugin = self.getPlugin(pluginPath)
        print "loading plugin: %s, description: %s" % \
                (pluginInfo["name"], pluginInfo["description"])
        plugin.setPlatform(self)
        plugin.start()

    def getPlugin(self, pluginPath):
        pluginzip=zipfile.ZipFile(pluginPath, "r")
        description_txt=pluginzip.open("description.txt")
        parser=ConfigParser.ConfigParser()
        parser.readfp(description_txt)
        pluginInfo={}
        pluginInfo["name"]=parser.get("general", "name")
        pluginInfo["description"]=parser.get("general", "description")
        pluginInfo["code"]=parser.get("general", "code")

        sys.path.append(pluginPath)
        moduleName, pluginClassName=pluginInfo["code"].rsplit(".", 1)
        module=__import__(moduleName, fromlist=[pluginClassName, ])
        pluginClass=getattr(module, pluginClassName)
        plugin=pluginClass()
        return pluginInfo, plugin

if __name__=="__main__":
    platform=Platform()

与前一个例子的主要不同之处是getPlugin()。它首先从.zip文件内读取描述信息,然后把这个.zip文件添加到sys.path里面。最后与前面类似地导入模块并执行。

解压还是不解压,两种方案各有优劣。一般地,把.zip文件解压到独立的文件夹内需要一个解压缩过程,或者是人工解压,或者是由软件解压。解压后的运行效率会高一些。而直接使用.zip包的话,只需要让用户把插件复制到特定的位置即可,但是每次运行的时候都需要在内存里面解压缩,效率降低。另外,从.zip文件读取数据总是比较麻烦。推荐不包含没有数据文件的时候使用。

标题无“转载”即原创文章,版权所有。转载请注明来源:http://hgoldfish.com/blogs/article/81/。


书记(April 5, 2013, 2:21 p.m.)

博主加个rss功能吧?

老鱼(April 6, 2013, 9:34 a.m.)

有啊。看首页左侧。有个RSS图标呢。


何不来发表一下您对本文的看法(使用Markdown语法,分段空两行):