更新時間:2022-10-14 來源:黑馬程序員 瀏覽量:
1-面試&實際開發(fā)場景
1-1面試場景題目
分布式服務接口的冪等性如何設計(比如不能重復扣款)?
1-2 題目分析
一個分布式系統(tǒng)中的某個接口,要保證冪等性,如何保證?這個事,其實是你做分布式系統(tǒng)的時候必須要考慮的一個生產(chǎn)環(huán)境的技術問題,為什么呢?
實際案例1:
假如你有個服務提供一個付款業(yè)務的接口,而這個服務分別部署在5臺服務器上,然后用戶在前端操作時,不知道為啥,一個訂單不小心發(fā)起了兩次支付請求,然后這倆請求分散在了這個服務部署的不同的服務器上,這下好了,一個訂單扣款扣了兩次。
實際案例2:
訂單系統(tǒng)調用支付系統(tǒng)進行支付,結果不消息網(wǎng)絡,然后訂單系統(tǒng)走了前面我們看到的重試retry機制,那就給你重試一次吧,那么支付系統(tǒng)收到了一個支付請求兩次,而且因為負載均衡算法落在了不同的機器上。
小結:
所以你必須得知道這事,否則你做出來的分布式系統(tǒng)恐怕很容易埋坑!
2-冪等性介紹
2-1-概念:
用戶對于同一操作發(fā)起的一次請求或者多次請求的結果是一致的,不會因為多次點擊而產(chǎn)生了副作用。
舉個簡單的例子:那就是支付,用戶購買商品后支付,支付扣款成功,但是返回結果的時候網(wǎng)絡異常了,此時錢已經(jīng)扣了,用戶再次點擊按鈕,此時會進行第二次扣款,返回結果成功,用戶查詢余額發(fā)現(xiàn)多扣錢了,流水記錄也變成了兩條。在以前的單應用系統(tǒng)中,我們只需要對數(shù)據(jù)操作加入事務即可,發(fā)生錯誤的時候立即回滾,但是再響應客戶端的時候也有可能網(wǎng)絡中斷或者異常等等情況。
2-2- 產(chǎn)生冪等性問題的原因:
- 網(wǎng)絡問題/用戶誤操作/惡意操作,用戶點擊了多次
- 網(wǎng)絡問題,微服務重試retry
- 網(wǎng)絡問題很常見,100次請求,都ok;1萬次請求可能1次超時會重試;10萬次可能10次超時會重試,100萬次可能100次超時會重試;如果100個請求重復了,你沒處理,導致訂單扣款2次,100個訂單都扣錯了,每天被100個用戶投訴,一個月被3000個用戶投訴。
2-3- 使用冪等性的場景
- 前端重復提交:前端瞬時點擊多次造成表單重復提交
- 接口超時重試:接口可能會因為某些原因而調用失敗,處于容錯性考慮會加上失敗重試的機制。如果接口調用一半,再次調用就會因為臟數(shù)據(jù)的存在而產(chǎn)生異常
- 消息重復消費:在使用消息中間件來處理消息隊列,且手動ack確認消息被正常消費時。如果消費者突然斷開鏈接,那么已經(jīng)執(zhí)行了一半的消息會重新放回隊列。被其他消費者重新消費時就會導致結果異常,如數(shù)據(jù)庫重復數(shù)據(jù), 數(shù)據(jù)庫數(shù)據(jù)沖突,資源重復等。
- 請求重發(fā):網(wǎng)絡抖動引發(fā)的nginx重發(fā)請求,造成重復調用。
3-冪等性的解決方案
3-1- Insert接口冪等性
1.使用分布式鎖保證冪等性
秒殺場景下,一個用戶只能購買同一商品一次的解決方法:采用用戶ID+商品ID,存儲到redis中,使用redis中的setNX操作,等待自然過期。
2.使用token機制保證冪等性
用戶注冊時,用戶點擊注冊按鈕多次,是不是會注冊多個用戶?我們可以在用戶進入注冊頁面后由后臺生成一個token,傳給前端頁面,用戶在點擊提交時,將token帶給后臺,后臺使用該token作為分布式鎖,setNX操作,執(zhí)行成功后不釋放鎖,等待自然過期。
3.使用mysql unique key 保證冪等性
用戶注冊時,用戶點擊注冊按鈕多次,是不是會注冊多個用戶? 我們可以使用手機號作為mysql用戶表唯一key。也就是一個手機號只能注冊一次。
3-2- Update接口冪等性
update操作可能存在冪等性的問題:
1.用戶更改個人信息,瘋狂點擊按鈕,不會發(fā)生冪等性問題,因為數(shù)據(jù)始終為修改后的數(shù)據(jù)。
2.用戶購買商品,用戶在點擊后,網(wǎng)絡出現(xiàn)問題,可能再次點擊,這樣就會出現(xiàn)冪等性問題,導致購買了多次,可以使用樂觀鎖。
update order set count=count-1,version=version+1 where id=1 and version=1
3-3- Delete接口冪等性
根據(jù)唯一id刪除不會出現(xiàn)冪等性問題,因為第二次刪除的時候mysql中已經(jīng)不存在該數(shù)據(jù)
3-4- Select接口冪等性
查詢操作不會改變數(shù)據(jù),所以是天然的冪等性操作。
3-5- 混合操作(一個接口包含多種操作)
使用`Token`機制,或使用`Token` + 分布式鎖的方案來解決冪等性問題。
4-冪等性解決方案實現(xiàn)思路
4-1- Token機制實現(xiàn)
通過`Token` 機制實現(xiàn)接口的冪等性,這是一種比較通用性的實現(xiàn)方法。
具體流程步驟:
1.客戶端會先發(fā)送一個請求去獲取`Token`,服務端會生成一個全局唯一的`ID`作為`Token`保存在`Redis`中,同時把這個`ID`返回給客戶端;
2. 客戶端第二次調用業(yè)務請求的時候必須攜帶這個`Token`;
3. 服務端會校驗這個 `Token`,如果校驗成功,則執(zhí)行業(yè)務,并刪除`Redis`中的 `Token`;
4. 如果校驗失敗,說明`Redis`中已經(jīng)沒有對應的 `Token`,則表示重復操作,直接返回指定的結果給客戶端。
4-2 基于MySQL實現(xiàn)
通過`MySQL`唯一索引的特性實現(xiàn)接口的冪等性。
具體流程步驟:
1.建立一張去重表,其中某個字段需要建立唯一索引;
2. 客戶端去請求服務端,服務端會將這次請求的一些信息插入這張去重表中;
3. 因為表中某個字段帶有唯一索引,如果插入成功,證明表中沒有這次請求的信息,則執(zhí)行后續(xù)的業(yè)務邏輯;
4. 如果插入失敗,則代表已經(jīng)執(zhí)行過當前請求,直接返回。
4-3- 基于Redis實現(xiàn)
通過`Redis`的`SETNX`命令實現(xiàn)接口的冪等性。
> `SETNX key value`:當且僅當`key`不存在時將`key`的值設為`value`;若給定的`key`已經(jīng)存在,則`SETNX`不做任何動作。設置成功時返回`1`,否則返回`0`。
具體流程步驟:
1.客戶端先請求服務端,會拿到一個能代表這次請求業(yè)務的唯一字段;
2. 將該字段以`SETNX`的方式存入`Redis`中,并根據(jù)業(yè)務設置相應的超時時間;
3. 如果設置成功,證明這是第一次請求,則執(zhí)行后續(xù)的業(yè)務邏輯;
4. 如果設置失敗,則代表已經(jīng)執(zhí)行過當前請求,直接返回。
5-冪等性解決方案案例實現(xiàn)
5-1-基于Token機制的實現(xiàn)
5-1-1-實現(xiàn)思路
為需要保證冪等性的每一次請求創(chuàng)建一個唯一的標識token,先獲取token,并將此token存入到redis,請求接口時,將此token放在header或者作為請求參數(shù)請求接口,后端接口判斷redis中是否存在此token;
- 如果存在,則正常處理業(yè)務邏輯,并從redis中刪除此token,那么,如果是重復請求,由于token已經(jīng)被刪除,則不能能夠通過校驗,返回重復提交。
- 如果不存在,說明參數(shù)不合法或者是重復請求,返回提示即可。
5-1-2-請求流程
- 當頁面加載的時候通過接口獲取token
- 當訪問接口時,會經(jīng)過**攔截器**,如果發(fā)現(xiàn)該接口中有**自定義的冪等性注解**,說明該接口需要驗證冪等性(查看請求頭里是否有key=token的值,如果有,并且刪除成功,那么接口就訪問成功,否則為重復提交;
- 如果發(fā)現(xiàn)該接口沒有自定義的冪等性注解,則放行。
5-1-3-代碼演示
1、使用的技術
- springBoot
- redis
- 自定義冪等性注解+攔截器請求攔截
- Jmeter壓測工具
2、創(chuàng)建項目
3、導入pom.xml
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.example</groupId> <artifactId>springBoot-idempotent</artifactId> <version>1.0-SNAPSHOT</version> <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> </properties> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.3.2.RELEASE</version> </parent> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> </dependencies> </project>
4、自定義注解
該注解的目的是為了實現(xiàn)冪等性的校驗,即添加了該注解的接口要實現(xiàn)冪等性驗證
package com.ldp.idempotent.annotation; import java.lang.annotation.*; /** * 自定義注解 * 說明:添加了該注解的接口要實現(xiàn)冪等性驗證 */ @Target({ElementType.TYPE,ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface ApiIdempotentAnn { boolean value() default true; }
5、冪等性攔截器
package com.ldp.idempotent.intceptor; import com.ldp.idempotent.annotation.ApiIdempotentAnn; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.stereotype.Component; import org.springframework.web.method.HandlerMethod; import org.springframework.web.servlet.ModelAndView; import org.springframework.web.servlet.handler.HandlerInterceptorAdapter; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.io.PrintWriter; import java.lang.reflect.Method; /** * 冪等性攔截器 */ @Component public class ApiIdempotentInceptor extends HandlerInterceptorAdapter { @Autowired private StringRedisTemplate redisTemplate; /** * 前置攔截器 *在方法被調用前執(zhí)行。在該方法中可以做類似校驗的功能。如果返回true,則繼續(xù)調用下一個攔截器。如果返回false,則中斷執(zhí)行, * 也就是說我們想調用的方法 不會被執(zhí)行,但是你可以修改response為你想要的響應。 */ @Override public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception { //如果hanler不是和HandlerMethod類型,則返回true if (!(handler instanceof HandlerMethod)) { return true; } //轉化類型 final HandlerMethod handlerMethod = (HandlerMethod) handler; //獲取方法類 final Method method = handlerMethod.getMethod(); // 判斷當前method中是否有這個注解 boolean methodAnn = method.isAnnotationPresent(ApiIdempotentAnn.class); //如果有冪等性注解 if (methodAnn && method.getAnnotation(ApiIdempotentAnn.class).value()) { // 需要實現(xiàn)接口冪等性 //檢查token //1.獲取請求的接口方法 //查看當前接口的方法之上是否有自定義的注解@ApiIdempotentAnn //如果說包含了,則認為該接口是要進行冪等性校驗的接口 //檢驗token //如果說有,則訪問成功,執(zhí)行邏輯業(yè)務,要刪除redis中的token //如果說沒有,則表示重復調用 //如果說沒有包含了,則直接放行 checkToken(request); //如果token有值,說明是第一次調用 if (result) { //則放行 return super.preHandle(request, response, handler); } else {//如果token沒有值,則表示不是第一次調用,是重復調用 response.setContentType("application/json; charset=utf-8"); PrintWriter writer = response.getWriter(); writer.print("重復調用"); writer.close(); response.flushBuffer(); return false; } } //否則沒有該自定義冪等性注解,則放行 return super.preHandle(request, response, handler); } //檢查token private boolean checkToken(HttpServletRequest request) { //從請求頭對象中獲取token String token = request.getHeader("token"); //如果不存在,則返回false,說明是重復調用 if(token==null || " ".equals(token)){ return false; } //否則就是存在,存在則把redis里刪除token return redisTemplate.delete(token); } //后置,暫時沒用 @Override public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception { super.postHandle(request, response, handler, modelAndView); } }
6、MVC配置文件
package com.ldp.idempotent.config; import com.ldp.idempotent.intceptor.ApiIdempotentInceptor; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.context.annotation.Configuration; import org.springframework.web.servlet.config.annotation.InterceptorRegistry; import org.springframework.web.servlet.config.annotation.WebMvcConfigurer; /** * mvc配置 */ @Configuration public class MvcConfig implements WebMvcConfigurer { @Autowired private ApiIdempotentInceptor apiIdempotentInceptor; /* 添加自定義攔截器到Springmvc配置中,攔截所有請求 addInterceptor 需要一個實現(xiàn)HandlerInterceptor接口的攔截器實例 addPathPatterns 用于設置攔截器的過濾路徑規(guī)則;addPathPatterns("/**")對所有請求都攔截 excludePathPatterns:用于設置不需要攔截的過濾規(guī)則 */ @Override public void addInterceptors(InterceptorRegistry registry) { registry.addInterceptor(apiIdempotentInceptor).addPathPatterns("/**"); } }
7、接口實現(xiàn)
package com.ldp.idempotent.controller; import com.ldp.idempotent.annotation.ApiIdempotentAnn; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; import java.util.UUID; import java.util.concurrent.atomic.AtomicInteger; @RestController public class ApiController { @Autowired private StringRedisTemplate stringRedisTemplate; /** * 前端獲取token,然后把該token放入請求的header中 * * @return */ @GetMapping("/getToken") public String getToken() { String token = UUID.randomUUID().toString().substring(1, 9); stringRedisTemplate.opsForValue().set(token, "1"); return token; } //定義int類型的原子類的類 AtomicInteger num=new AtomicInteger(100); /** * 主業(yè)務邏輯,num--,并且加了自定義接口 * * @return */ @GetMapping("/submit") @ApiIdempotentAnn public String submit() { // num-- num.decrementAndGet(); return "success"; } /** * 查看num的值 * * @return */ @GetMapping("/getNum") public String getNum() { return String.valueOf(num.get()); } }
8、PostMan測試
- 獲取token
瀏覽器訪問:http://localhost:9090/getToken,獲取token的值
- 執(zhí)行冪等性業(yè)務接口
- 第一次,在postman中調用當前接口,并在請求頭中設置token
- 第二次,再次postman中訪問該業(yè)務接口,顯示**重復調用**的提示
- 查看num的值得接口
瀏覽器訪問:http://localhost:9090/getNum
9-Jmeter壓力測試工具測試
使用方法參考**Jmeter壓力測試工具使用說明v1.0
10-小結
通過以上代碼演示了解到,本案例對submit接口方法使用了基于token的冪等性解決方案,也就是當前submit接口方法只能調用一次,如果由于網(wǎng)絡抖動或者網(wǎng)絡異常出現(xiàn)多點或者點擊多次的情況,就會出現(xiàn)報錯提示,不允許調用當前接口,那么也就解決了當前業(yè)務接口冪等性的問題。