dubbo zookeeper微服务架构 Java中dubbo+zookeeper微服务架构简介
易小顺 人气:01、Apache Dubbo概述
1.1、Dubbo简介
**Apache Dubbo **是一款高性能的 Java RPC
框架。其前身是阿里巴巴公司开源的、轻量级的开源 Java RPC
框架,可以和 Spring
框架无缝集成,2018年阿里巴巴把这个框架捐献给了apache基金,此框架的使用比 Spring Cloud
微服务的框架使用较为简单,只需要表写相应的服务提供和服务消费的代码即可,中央服务配置可由 ZooKeeper
进行服务的注册管理,只需要相应的服务进行配置注册,服务消费进行接口的抓取即可完成服务的远程调用。
- 什么是RPC? RPC全称为remote procedure call,即远程过程调用。比如两台服务器A和B,A服务器上部署一个应用,B服务器上部署一个应用,A服务器上的应用想调用B服务器上的应用提供的方法,由于两个应用不在一个内存空间,不能直接调用,所以需要通过网络来表达调用的语义和传达调用的数据。 需要注意的是 RPC 并不是一个具体的技术,而是指整个网络远程调用过程。
- RPC是一个泛化的概念,严格来说一切远程过程调用手段都属于 RPC范 畴。各种开发语言都有自己的RPC框架。Java中的RPC框架比较多,广泛使用的有
RMI
、Hessian
、Dubbo
等。 - Dubbo官网地址:http://dubbo.apache.org ,详情可进行直接的访问查看信息。
- Dubbo提供了三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现。
1.2、Dubbo的服务架构
Dubbo的服务架构图如下所示:
各节点角色说明:
节点名 | 功能 |
---|---|
提供者 | 暴露接口的提供方 |
容器 | 整个服务运行时的容器 |
注册 | 服务注册与发现的注册中心 |
消费者 | 调用远程服务的消费方 |
监控 | 统计服务调用次数调用时间的监控中心 |
服务的执行步骤:
- 服务容器负责启动,加载,运行服务的接口提供者。
- 服务提供者在启动时,向注册中心注册自己提供的服务,也就是注册自己的接口地址。
- 服务消费者在启动时,向注册中心订阅自己所需的服务,通过代理的方式直接定位到需要的接口实现对象,但是需要注意的是消费者必须有该接口才能进行代理。
- 注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。 4
- 服务消费者,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,如果调用失败,再选另一台调用。
- 服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。
2、服务注册中心 Zookeeper
通过前面的 Dubbo架构图 可以看到,Registry
(服务注册中心)在整个架构中起着至关重要的作用。Dubbo官方推荐使用 Zookeeper 作为服务注册中心,下面详细讲一下 Zookeeper 在服务器中的安装以及相应的服务注册和拉取配置。
2.1、ZooKeeper介绍
Zookeeper 是 Apache Hadoop 的子项目,是一个树型的目录服务,支持变更推送,适合作为 Dubbo 服务的注册中心,工业强度较高,可用于生产环境,并推荐使用。
流程说明:
- 服务提供者(Provider)启动时: 向 /dubbo/com.test.UserServiceBo/providers 目录下写入自己的 URL 地址
- 服务消费者(Consumer)启动时: 订阅 /dubbo/com.test.UserServiceBo/providers 目录下的提供者 URL 地址。并向 /dubbo/com.test.UserServiceBo/consumers 目录下写入自己的 URL 地址
- 监控中心(Monitor)启动时: 订阅 /dubbo/com.test.UserServiceBo 目录下的所有提供者和消费者 URL 地址
2.2、ZooKeeper安装
下载地址:http://archive.apache.org/dist/zookeeper/ 下载完成后 zookeeper-3.4.6.tar.gz
的压缩文 件。
安装步骤:
- 第一步:需要有安装 JDK 的环境。
- 第二步:把
zookeeper
的压缩包上传到 linux 系统。 - 第三步:解压缩压缩包 tar -zxvf zookeeper-3.4.6.tar.gz -C /usr 路径可以随便定义。
- 第四步:进入
zookeeper-3.4.6
目录,创建data
目录,用于数据的存储。 - 第五步:进入
conf
目录 ,把zoo_sample.cfg
改名为zoo.cfg
,用于配置相关的数据信息,也是启动的配置文件。
2.3、启动 ZooKeeper
进入 Zookeeper
的 bin 目录,执行相应的文件即可。
- 启动服务命令: ./zkServer.sh start
- 停止服务命令: ./zkServer.sh stop
- 查看服务状态: ./zkServer.sh status
- 客户端连接: ./zkCli.sh
3、ZooKeeper快速入门
Dubbo 作为一个RPC框架,其最核心的功能就是要实现跨网络的远程调用。本小节就是要创建两个应用,一个作为服务的提供方,一个作为服务的消费方。通过Dubbo来实现服务消费方远程调用服务提供方的方法。
3.1、服务提供方
创建一个简单的 web 项目作为服务的提供者(由maven进行管理)。
添加依赖:
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.beordie</groupId> <artifactId>dubbo-normal</artifactId> <version>1.0-SNAPSHOT</version> <packaging>war</packaging> <properties> <maven.compiler.source>11</maven.compiler.source> <maven.compiler.target>11</maven.compiler.target> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <spring.version>5.0.5.RELEASE</spring.version> </properties> <dependencies> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artifactId> <version>${spring.version}</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-beans</artifactId> <version>${spring.version}</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-webmvc</artifactId> <version>${spring.version}</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jdbc</artifactId> <version>${spring.version}</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-aspects</artifactId> <version>${spring.version}</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jms</artifactId> <version>${spring.version}</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support</artifactId> <version>${spring.version}</version> </dependency> <!-- dubbo相关 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <version>2.6.0</version> </dependency> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.7</version> </dependency> <dependency> <groupId>com.github.sgroschupf</groupId> <artifactId>zkclient</artifactId> <version>0.1</version> </dependency> <dependency> <groupId>javassist</groupId> <artifactId>javassist</artifactId> <version>3.12.1.GA</version> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.47</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>2.3.2</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> </plugins> </build> </project>
配置 web.xml 文件
<!DOCTYPE web-app PUBLIC "-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN" "http://java.sun.com/dtd/web-app_2_3.dtd" > <web-app> <display-name>Archetype Created Web Application</display-name> <context-param> <param-name>contextConfigLocation</param-name> <param-value>classpath:applicationContext*.xml</param-value> </context-param> <listener> <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class> </listener> </web-app>
创建服务接口
package com.beordie.service; /** * @Description * @Date 2021/9/2 16:08 * @Created 30500 */ public interface ServiceTest { public String get(String name); }
创建服务实现类
package com.beordie.service.impl; import com.alibaba.dubbo.config.annotation.Service; import com.beordie.service.ServiceTest; /** * @Description * @Date 2021/9/2 16:09 * @Created 30500 */ @Service public class serviceImpl implements ServiceTest { @Override public String get(String name) { return "你好" + name; } }
注意
:服务实现类上使用的 Service
注解是 Dubbo 提供的,用于对外发布服务 。
创建web.xml 中指定的配置文件
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p" xmlns:context="http://www.springframework.org/schema/context" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xmlns:mvc="http://www.springframework.org/schema/mvc" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd"> <!-- 当前应用名称,用于注册中心计算应用间依赖关系,注意:消费者和提供者应用名不要一样 --> <dubbo:application name="provider"/> <!-- 连接服务注册中心zookeeper ip为zookeeper所在服务器的ip地址--> <dubbo:registry address="zookeeper://192.168.55.129:2181"/> <!-- 注册 协议和port --> <dubbo:protocol name="dubbo" port="20881"></dubbo:protocol> <!-- 扫描指定包,加入@Service注解的类会被发布为服务 --> <dubbo:annotation package="com.beordie.service.impl" /> </beans>
启动服务并在 ZooKeeper 中进行服务查看
启动完服务后通过打开客户端的命令打开 ZooKeeper
的客户端,然后通过指令 ls /
可查看到当前目录下的文件信息,会发现存在一个 Dubbo
的文件目录,继续对此目录进行查看即可发现相应的服务注册信息。
|
3.2、服务消费方
同样需要创建一个项目来进行服务的拉取,引入的依赖和提供方的类似,这里就直接复制即可。
配置 web.xml 文件
<!DOCTYPE web-app PUBLIC "-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN" "http://java.sun.com/dtd/web-app_2_3.dtd" > <web-app> <display-name>Archetype Created Web Application</display-name> <servlet> <servlet-name>springmvc</servlet-name> <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class> <!-- 指定加载的配置文件 ,通过参数contextConfigLocation加载 --> <init-param> <param-name>contextConfigLocation</param-name> <param-value>classpath:applicationContext-web.xml</param-value> </init-param> <load-on-startup>1</load-on-startup> </servlet> <servlet-mapping> <servlet-name>springmvc</servlet-name> <url-pattern>/</url-pattern> </servlet-mapping> </web-app>
创建和提供方一致的服务接口
可以直接对接口进行复制,因为之后的服务抓取是通过动态代理的方式进行对象生成的,因此需要对应的接口对象。
编写Controlle对外暴露访问接口
package com.beordie.controller; import com.alibaba.dubbo.config.annotation.Reference; import com.beordie.service.ServiceTest; import org.springframework.stereotype.Controller; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.ResponseBody; /** * @Description * @Date 2021/9/2 17:05 * @Created 30500 */ @Controller @RequestMapping("/demo") public class TeController { // Dubbo 的远程对象注入 @Reference private ServiceTest serviceTest; @RequestMapping("/hello") @ResponseBody public String getName(String name){ //远程调用 String result = serviceTest.get(name); System.out.println(result); return result; } }
创建对应的启动配置文件
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p" xmlns:context="http://www.springframework.org/schema/context" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xmlns:mvc="http://www.springframework.org/schema/mvc" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd"> <!-- 当前应用名称,用于注册中心计算应用间依赖关系,注意:消费者和提供者应用名不要一样 --> <dubbo:application name="dubbo-consumer"/> <!-- 连接服务注册中心zookeeper ip为zookeeper所在服务器的ip地址--> <dubbo:registry address="zookeeper://192.168.55.129:2181"/> <!-- 扫描的方式暴露接口 --> <dubbo:annotation package="com.beordie.controller"/> </beans>
运行测试
设置完毕后启动项目,然后访问相应地址,即可抓取到正确的服务结果。
3.3、问题思考
- 思考一:上面的Dubbo入门案例中我们是将HelloService接口从服务提供者工程 (dubbo_provider)复制到服务消费者工程(dubbo_consumer)中,这种做法是否合适?还有没有更好的方式?
答
:这种做法显然是不好的,同一个接口被复制了两份,不利于后期维护。更好的方式是单独创建一个 maven工程,将此接口创建在这个maven工程中。需要依赖此接口的工程只需要在自己工程的 pom.xml文件中引入maven坐标即可。- 思考二:在服务消费者工程(dubbo_consumer)中只是引用了接口,并没有提供实现类,Dubbo是如何做到远程调用的?
答
:Dubbo底层是基于代理技术为接口创建代理对象,远程调用是通过此代理对象完成的。可以通过开发工具的debug功能查看此代理对象的内部结构。另外,Dubbo实现网络传输底层是基于Netty框架完成的。- 思考三:上面的Dubbo入门案例中我们使用Zookeeper作为服务注册中心,服务提供者需要将自己的服务信息注册到Zookeeper,服务消费者需要从Zookeeper订阅自己所需要的服务,此时Zookeeper服务就变得非常重要了,那如何防止Zookeeper单点故障呢?
答
:Zookeeper其实是支持集群模式的,可以配置Zookeeper集群来达到Zookeeper服务的高可用,防 止出现单点故障。
4、 Dubbo管理控制台
我们在开发时,需要知道 Zookeeper 注册中心都注册了哪些服务,有哪些消费者来消费这些服务。我们可以通过部署一个管理中心来实现。其实管理中心就是一个web应用,部署到tomcat即可。
4.1、安装
只需要下载对应的 war 到本地的tomcat,然后启动服务即可。
需要修改WEB-INF下的dubbo.properties文件,注意dubbo.registry.address对应的值需要对应当前使用的Zookeeper的ip地址和端口号 dubbo.registry.address=zookeeper://192.168.55.129:2181 4.2、使用
访问 http://localhost:8080/dubbo-admin-2.6.0/,输入用户名(root)和密码(root) 即可查看网站,相关的服务信息都可以在这里进行查看。
5、 Dubbo相关配置
5.1、包扫描
<dubbo:annotation package="com.beordie.service" />
服务提供者和服务消费者都需要配置,表示包扫描,作用是扫描指定包(包括子包)下的类,提供者扫描服务所在的包,消费者扫描控制器所在的包。
如果不使用包扫描,也可以通过如下配置的方式来发布服务:
<bean id="serviceImpl" class="com.beordie.service.impl.serviceImpl" /> <dubbo:service interface="com.beordie.service.Service" ref="serviceImpl" />
作为服务消费者,可以通过如下配置来引用服务:
<!-- 生成远程服务代理,可以和本地bean一样使用Service --> <dubbo:reference id="serviceTest" interface="com.beordie.ServiceTest" />
上面这种方式发布和引用服务,一个配置项(dubbo:service、dubbo:reference)只能发布或者引用一个服务,如果有多个服务,这种方式就比较繁琐了。推荐使用包扫描方式。
5.2、Dubbo 协议
一般在服务提供者一方配置,可以指定使用的协议名称和端口号。
<dubbo:protocol name="dubbo" port="20880"/>
- Dubbo支持的 协议 有:
dubbo
、rmi
、hessian
、http
、webservice
、rest
、redis
等。 - 推荐使用的是dubbo协议。 dubbo 协议采用单一长连接和 NIO 异步通讯,适合于小数据量大并发的服务调用,以及服务消费者机器数远大于服务提供者机器数的情况。不适合传送大数据量的服务,比如传文件,传视频等,除非请求量很低。
- 也可以在同一个工程中配置多个协议,不同服务可以使用不同的协议,例如:
<!-- 多协议配置 --> <dubbo:protocol name="dubbo" port="20880" /> <dubbo:protocol name="rmi" port="1099" /> <!-- 使用dubbo协议暴露服务 --> <dubbo:service interface="com.beordie.HelloService" ref="helloService" protocol="dubbo" /> <!-- 使用rmi协议暴露服务 --> <dubbo:service interface="com.beordie.DemoService" ref="demoService" protocol="rmi" />
5.3、负载均衡
负载均衡(Load Balance):其实就是将请求分摊到多个操作单元上进行执行,从而共同完成工作任 务。
- 在集群负载均衡时,Dubbo 提供了多种均衡策略(包括随机、轮询、最少活跃调用数、一致性 Hash),缺省为random随机调用。
- 配置负载均衡策略,既可以在服务提供者一方配置,也可以在服务消费者一方配置,如下:
// 调用方配置 @Reference(check = false,loadbalance = "random")
// 服务方配置 @Service(loadbalance = "random")
5.4、 Dubbo无法发布被事务代理的服务
问题
因为提供的是服务层的接口,在涉及数据库的ACID
时就会添加事务管理,但是这样服务将不会在 。ZooKeeper
中进行注册,服务的消费端也就不会拿到对应的代理对象,也会报没有可用的服务提供者的错误。
原因
加入事务注解后,Spring会为此类基于 JDK动态代理技术 创建代理对象,创建的代理对象完整类名为com.sun.proxy.$Proxy35
,导致Dubbo在进行包匹配时没有成功(因为我们在发布服务时扫描的包为com.beordie.service),所以后面真正发布服务的代码没有执行。
解决
使用 cglib
代理方式为Service类创建代理对象,并指定发布的接口 @Service(interfaceClass = HelloService.class)
加载全部内容