python中asyncore异步模块的实现
TypicalSpider 人气:0asyncore即是一个异步的socket封装,特别是dispatcher类中包含了很多异步调用的socket操作方法。
模块常见方法
这个模块是socket的异步实现,此模块中的一些类和方法:
asyncore.core
输入一个轮询循环直到通过计数或打开的通道已关闭
asyncore.dispatcher
dispatcher类是一个底层socket类的包装对象。要使它更有用, 它有一部分事件处理方法被异步循环调用。否则它就是一个标准的非阻塞socket对象。
底层的事件在特定事件或特定的连接状态告诉异步循环,某些高级事件发生了。例如, 我们要求一个socket连接到另一个主机。
- handle_connected():第一次读或写事件。
- handle_close():读事件没有数据可用。
- handle_accept():读事件监听一个socket。
- handle_read():在异步循环察觉到通道呼叫read()时调用。
- handle_write():在异步循环检测到一个socket可写时调用,例如:
def handle_write(self): sent = self.send(self.buff) self.buffer = self.buffer[sent:]
- handle_expt():当有OOB数据套接字(socket)连接,这几乎永远不会发生,因为OOB精细地支持和很少使用。
- handle_connect():当socket创建一个连接时调用。
- handle_close():当socket连接关闭时调用。
- handle_error():当引发一个异常并没有其他处理时调用。
- handle_accept:当本地监听通道与远程端建立连接(被动连接)时调用。
- readable():每次在异步循环确定是否添加一个通道socket到读事件列表时调用,默认都为True。
- writable():每次在异步循环确定是否添加一个通道socket到写事件列表时调用, 默认为True。
- create_socket():与创建标准socket的时候相同。
- connect():与标准socket的端口设置是相同, 接受一个元组第一个参数为主机地址,第二个参数是端口号。
- send():向远程端socket发送数据。
- recv():从远程端socket读取最多buffer_size的数据。一个空的字符串意味着从另一端通道已关闭。
- listen():监听socket连接。
- bind():将socket绑定到地址。
- accept():接受一个连接, 必须绑定到一个socket和监听地址。
- close():关闭socket。
asyncore.dispatcher_with_send
dispatcher子类添加了简单的缓冲输出功能用于简单的客户,更复杂的使用asynchat.async_chat。
asyncore.file_dispatcher
file_dispatcher需要一个文件描述符或文件对象地图以及一个可选的参数,包装,使用调查()或循环()函数。如果提供一个文件对象或任何fileno()方法,该方法将调用和传递到file_wrapper构造函数。可用性:UNIX。
asyncore.file_wrapper
file_wrapper需要一个整数文件描述符并调用os.dup()复制处理,这样原来的处理可能是独立于file_wrapper关闭。这个类实现足够的方法来模拟一个套接字使用file_dispatcher类。可用性:UNIX。
asyncore 实例
一个http client的实现
import socket import asyncore class Client(asyncore.dispatcher): def __init__(self, host, path): asyncore.dispatcher.__init__(self) self.create_socket(socket.AF_INET, socket.SOCK_STREAM) self.connect((host,80)) self.buffer = 'GET %s HTTP/1.0\r\n\r\n' % path def handle_connect(self): pass def handle_close(self): self.close() def handle_read(self): print self.recv(8192) def writable(self): return (len(self.buffer) >0) def handle_write(self): sent= self.send(self.buffer) self.buffer = self.buffer[sent:] client= Client('www.python.org','/') asyncore.loop()
服务器接受连接和分配任务
import socket import asyncore class EchoHandler(asyncore.dispatcher_with_send): def handle_read(self): data= self.recv(8192) if data: self.send(data) class EchoServer(asyncore.dispatcher): def __init__(self, host, port): asyncore.dispatcher.__init__(self) self.create_socket(socket.AF_INET, socket.SOCK_STREAM) self.set_reuse_add() self.bind((host, port)) self.listen(5) def handle_accept(self): pair= self.accept() if pair is not None: sock, addr= pair print 'Incoming connection from %s' % repr(addr) handler= EchoHandler(sock) server= EchoServer('localhost',8080) asyncore.loop()
利用asyncore的端口映射(端口转发)
import socket,asyncore class forwarder(asyncore.dispatcher): def __init__(self, ip, port, remoteip,remoteport,backlog=5): asyncore.dispatcher.__init__(self) self.remoteip=remoteip self.remoteport=remoteport self.create_socket(socket.AF_INET,socket.SOCK_STREAM) self.set_reuse_addr() self.bind((ip,port)) self.listen(backlog) def handle_accept(self): conn, addr= self.accept() # print '--- Connect --- ' sender(receiver(conn),self.remoteip,self.remoteport) class receiver(asyncore.dispatcher): def __init__(self,conn): asyncore.dispatcher.__init__(self,conn) self.from_remote_buffer='' self.to_remote_buffer='' self.sender=None def handle_connect(self): pass def handle_read(self): read= self.recv(4096) # print '%04i -->'%len(read) self.from_remote_buffer+= read def writable(self): return (len(self.to_remote_buffer) >0) def handle_write(self): sent= self.send(self.to_remote_buffer) # print '%04i <--'%sent self.to_remote_buffer= self.to_remote_buffer[sent:] def handle_close(self): self.close() if self.sender: self.sender.close() class sender(asyncore.dispatcher): def __init__(self, receiver, remoteaddr,remoteport): asyncore.dispatcher.__init__(self) self.receiver=receiver receiver.sender=self self.create_socket(socket.AF_INET, socket.SOCK_STREAM) self.connect((remoteaddr, remoteport)) def handle_connect(self): pass def handle_read(self): read= self.recv(4096) # print '<-- %04i'%len(read) self.receiver.to_remote_buffer+= read def writable(self): return (len(self.receiver.from_remote_buffer) >0) def handle_write(self): sent= self.send(self.receiver.from_remote_buffer) # print '--> %04i'%sent self.receiver.from_remote_buffer= self.receiver.from_remote_buffer[sent:] def handle_close(self): self.close() self.receiver.close() if __name__=='__main__': import optparse parser= optparse.OptionParser() parser.add_option( '-l','--local-ip', dest='local_ip',default='127.0.0.1', help='Local IP address to bind to') parser.add_option( '-p','--local-port', type='int',dest='local_port',default=80, help='Local port to bind to') parser.add_option( '-r','--remote-ip',dest='remote_ip', help='Local IP address to bind to') parser.add_option( '-P','--remote-port', type='int',dest='remote_port',default=80, help='Remote port to bind to') options, args= parser.parse_args() forwarder(options.local_ip,options.local_port,options.remote_ip,options.remote_port) asyncore.loop()
加载全部内容