服务熔断
机制概述
熔断机制是应对雪崩效应的一种微服务链路保护机制。当扇出链路的某个微服务出错不可用或响应时间太长时,会进行服务的降级,进而熔断该阶段微服务调用,快速返回错误的响应信息。当检测到该节点微服务调用响应正常后,恢复调用链路。
在SpringCloud框架中,熔断机制通过Hystrix实现。Hystrix会监控微服务间调用的状况。当失败的调用到一定阈值(缺省是5秒内20次调用失败),就会启动熔断机制。熔断机制的注解是@HystrixCommand
理论基础
-
Closed:熔断器关闭状态(所有请求返回成功)
-
Open:熔断器打开状态(调用次数累计到达阈值或者比例,熔断器打开,服务直接返回错误)
-
Half Open:熔断器半开状态(默认时间过后,进入半熔断状态,允许定量服务请求,如果调用都成功,则认为恢复了,则关闭断路器,反之打开断路器)
实操案例
Hystrix通过注解来实现服务熔断。
修改程序
创建一组测试服务熔断的请求方法和fallback方法
public CommonResult paymentCircuitBreakerHandler(Long id){
return new CommonResult(300,"服务不可用,请稍后再试",
Thread.currentThread().getName()+"-"+port+"-服务熔断");
}
@GetMapping("/hystrix/cb/{id}")
@ResponseBody
@HystrixCommand(fallbackMethod = "paymentCircuitBreakerHandler",commandProperties = {
//设置服务熔断功能开启
@HystrixProperty(name="circuitBreaker.enabled",value = "true"),
//设置服务熔断请求次数,达到这个这个阈值才会触发熔断
@HystrixProperty(name="circuitBreaker.requestVolumeThreshold",value = "10"),
//设置服务熔断百分比;失败率超过这个百分比才能熔断。
@HystrixProperty(name="circuitBreaker.errorThresholdPercentage",value = "50"),
//设置服务熔断时间窗口期
@HystrixProperty(name="circuitBreaker.sleepWindowInMilliseconds",value = "10000")
})
public CommonResult paymentCircuitBreaker(@PathVariable("id") Long id){
if(id<0){
throw new RuntimeException("ID不可为负数!");
}
Payment payment = paymentService.getById(id);
CommonResult cr = null;
if(payment!=null){
cr = new CommonResult(200,
"[线程:"+Thread.currentThread().getName()+"]-服务熔断-查询成功(服务端口:"+port+")",payment);
}else{
cr = new CommonResult(400,"无对应记录(服务端口:"+port+")",null);
}
return cr;
}
测试熔断
测试方法:
- 访问http://localhost:8001/payment/hystrix/cb/1 会返回正常结果;
- 访问http://localhost:8001/payment/hystrix/cb/-1 会提示错误;
- 刷新步骤2,15次;再次访问 http://localhost:8001/payment/hystrix/cb/1 依旧提示错误服务不可用,此时服务已经被熔断;
- 再刷新http://localhost:8001/payment/hystrix/cb/1 几次后;服务又正常访问。
总结
概念解释
**熔断打开:**请求不再进行调用当前服务,内部设置时钟一般为MTTR(平均故障处理时间),当打开时长达到所设时钟这进入半熔断状态;
**熔断关闭:**不会对服务进行熔断;
**熔断半开:**部分请求根据规则调用当前服务,如果请求成功且符合规则那么认为当前服务恢复正常,关闭熔断。
服务熔断触发条件
熔断器三个重要参数:快照时间窗、请求总数阈值、错误百分比阈值
==快照时间窗:==断路器确定是否打开需要统计一些请求和错误数据,而统计的时间范围就是快照时间窗,默认为最近的10秒;
==请求总数阈值:==在快照时间窗内,必须满足请求总数阈值才有资格熔断。默认为20,意味着在10秒内,如果该hystrix命令的调用次数不足20次,即使所有的请求都超时或者其他原因失败,断路器都不会打开。
==错误百分比阈值:==当请求总数在快照时间窗内超过了阈值,比如发生了30次调用,如果在这30次调用中,有15次发生了超时异常,也就是超过50%的错误百分比,在默认设定50%阈值情况下,这时候才会将熔断器打开。
服务熔断全参数详解
//Command Properties
//Execution相关的属性的配置:
execution.isolation.strategy //隔离策略,默认是Thread, 可选Thread|Semaphore
execution.isolation.thread.timeoutInMilliseconds //命令执行超时时间,默认1000ms
execution.timeout.enabled //执行是否启用超时,默认启用true
execution.isolation.thread.interruptOnTimeout //发生超时是是否中断,默认true
execution.isolation.semaphore.maxConcurrentRequests //最大并发请求数,默认10,该参数当使用ExecutionIsolationStrategy.SEMAPHORE策略时才有效。如果达到最大并发请求数,请求会被拒绝。理论上选择semaphore size的原则和选择thread size一致,但选用semaphore时每次执行的单元要比较小且执行速度快(ms级别),否则的话应该用thread。semaphore应该占整个容器(tomcat)的线程池的一小部分。
//Fallback相关的属性
//这些参数可以应用于Hystrix的THREAD和SEMAPHORE策略
fallback.isolation.semaphore.maxConcurrentRequests //如果并发数达到该设置值,请求会被拒绝和抛出异常并且fallback不会被调用。默认10
fallback.enabled //当执行失败或者请求被拒绝,是否会尝试调用hystrixCommand.getFallback() 。默认true
//Circuit Breaker相关的属性
default.circuitBreaker.enabled //用来跟踪circuit的健康性,如果未达标则让request短路。默认true
circuitBreaker.requestVolumeThreshold 一个rolling window内最小的请求数。如果设为20,那么当一个rolling window的时间内(比如说1个rolling window是10秒)收到19个请求,即使19个请求都失败,也不会触发circuit break。默认20
circuitBreaker.sleepWindowInMilliseconds //触发短路的时间值,当该值设为5000时,则当触发circuit break后的5000毫秒内都会拒绝request,也就是5000毫秒后才会关闭circuit。默认5000
circuitBreaker.errorThresholdPercentage //错误比率阀值,如果错误率>=该值,circuit会被打开,并短路所有请求触发fallback。默认50
circuitBreaker.forceOpen //强制打开熔断器,如果打开这个开关,那么拒绝所有request,默认false
circuitBreaker.forceClosed //强制关闭熔断器 如果这个开关打开,circuit将一直关闭且忽略circuitBreaker.errorThresholdPercentage
//Metrics相关参数
metrics.rollingStats.timeInMilliseconds //设置统计的时间窗口值的,毫秒值,circuit break 的打开会根据1个rolling window的统计来计算。若rolling window被设为10000毫秒,则rolling window会被分成n个buckets,每个bucket包含success,failure,timeout,rejection的次数的统计信息。默认10000
metrics.rollingStats.numBuckets //设置一个rolling window被划分的数量,若numBuckets=10,rolling window=10000,那么一个bucket的时间即1秒。必须符合rolling window % numberBuckets == 0。默认10
metrics.rollingPercentile.enabled //执行时是否enable指标的计算和跟踪,默认true
metrics.rollingPercentile.timeInMilliseconds //设置rolling percentile window的时间,默认60000
metrics.rollingPercentile.numBuckets //设置rolling percentile window的numberBuckets。逻辑同上。默认6
metrics.rollingPercentile.bucketSize //如果bucket size=100,window=10s,若这10s里有500次执行,只有最后100次执行会被统计到bucket里去。增加该值会增加内存开销以及排序的开销。默认100
metrics.healthSnapshot.intervalInMilliseconds //记录health 快照(用来统计成功和错误绿)的间隔,默认500ms
//Request Context 相关参数
requestCache.enabled //默认true,需要重载getCacheKey(),返回null时不缓存
requestLog.enabled //记录日志到HystrixRequestLog,默认true
//Collapser Properties 相关参数
hystrix.collapser.default.maxRequestsInBatch //单次批处理的最大请求数,达到该数量触发批处理,默认Integer.MAX_VALUE
hystrix.collapser.default.timerDelayInMilliseconds //触发批处理的延迟,也可以为创建批处理的时间+该值,默认10
hystrix.collapser.default.requestCache.enabled //是否对HystrixCollapser.execute() and HystrixCollapser.queue()的cache,默认true
//ThreadPool 相关参数
//线程数默认值10适用于大部分情况(有时可以设置得更小),如果需要设置得更大,那有个基本得公式可以follow:
//requests per second at peak when healthy × 99th percentile latency in seconds + some breathing room
//每秒最大支撑的请求数 (99%平均响应时间 + 缓存值)
//比如:每秒能处理1000个请求,99%的请求响应时间是60ms,那么公式是:
//(0.060+0.012)
//基本得原则时保持线程池尽可能小,他主要是为了释放压力,防止资源被阻塞。
//当一切都是正常的时候,线程池一般仅会有1到2个线程激活来提供服务
hystrix.threadpool.default.coreSize //并发执行的最大线程数,默认10
hystrix.threadpool.default.maxQueueSize //BlockingQueue的最大队列数,当设为-1,会使用SynchronousQueue,值为正时使用LinkedBlcokingQueue。该设置只会在初始化时有效,之后不能修改threadpool的queue size,除非reinitialising thread executor。默认-1。
hystrix.threadpool.default.queueSizeRejectionThreshold //即使maxQueueSize没有达到,达到queueSizeRejectionThreshold该值后,请求也会被拒绝。因为maxQueueSize不能被动态修改,这个参数将允许我们动态设置该值。if maxQueueSize == -1,该字段将不起作用
hystrix.threadpool.default.keepAliveTimeMinutes //如果corePoolSize和maxPoolSize设成一样(默认实现)该设置无效。如果通过plugin(https://github.com/Netflix/Hystrix/wiki/Plugins)使用自定义实现,该设置才有用,默认1.
hystrix.threadpool.default.metrics.rollingStats.timeInMilliseconds //线程池统计指标的时间,默认10000
hystrix.threadpool.default.metrics.rollingStats.numBuckets 将rolling //window划分为n个buckets,默认10
服务限流
后续介绍
Hystrix 工作流程
https://github.com/Netflix/Hystrix/wiki/How-it-Works
具体说明直接看图就好了;比较简单;所有内容前面都提过;就不赘述。
图形化工具搭建
项目搭建
创建maven项目
名为:cloud-consumer-hystrix-dashboard-9001
修改pom.xml文件
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-devtools</artifactId>
<scope>runtime</scope>
<optional>true</optional>
</dependency>
<!-- 核心依赖必须引入 -->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-hystrix-dashboard</artifactId>
</dependency>
</dependencies>
创建启动类
@SpringBootApplication
@EnableHystrixDashboard
public class CloudHystrixDashboard9001 {
public static void main(String[] args) {
SpringApplication.run(CloudHystrixDashboard9001.class,args);
}
}
创建application.yml文件
server:
port: 9001
hystrix:
dashboard:
proxy-stream-allow-list: "*" # 这里一定要添加否则9001控制台会报错!!
修改被监控项目
被监控项目启动类作如下修改:
@SpringBootApplication
@EnableEurekaClient
@EnableDiscoveryClient
@EnableCircuitBreaker //开启服务降级功能
public class CloudProviderPaymentHystrixApp {
public static void main(String[] args) {
SpringApplication.run(CloudProviderPaymentHystrixApp.class,args);
}
@Bean
public ServletRegistrationBean getServlet(){
HystrixMetricsStreamServlet hmss = new HystrixMetricsStreamServlet();
ServletRegistrationBean registrationBean = new ServletRegistrationBean(hmss);
registrationBean.setLoadOnStartup(1);
registrationBean.setName("HystrixMetricsStreamServlet");
registrationBean.addUrlMappings("/hystrix.stream");
return registrationBean;
}
}
启动测试
- 启动7001 Eureka
- 启动7002 Eureka
- 启动Hystrix payment 8001
- 启动Hystrix Dashboard 9001
- 访问http://localhost:9001/hystrix
- 访问http://localhost:8001/payment/hystrix/cb/1 刷新若干次
- 访问http://localhost:8001/payment/hystrix/cb/-1 刷新若干次
- 查看步骤4的界面
观察熔断开闭状态;数字颜色和右上角标题颜色对应。
本文由 huzd 创作,采用 知识共享署名4.0 国际许可协议进行许可本站文章除注明转载/出处外,均为本站原创或翻译,转载前请务必署名最后编辑时间
为:
2021/03/08 19:30