2.5 万字详解 23 种设计模式及 Netty 搭建 websocket 集群实现服务器消息推送

显示全部楼层 · 2024-10-31 10:06:36

在数字化浪潮席卷的当下，访问淘宝、京东、微博等网络平台时，热门搜索与近期搜索功能频繁出现。然而，这些便捷功能背后的技术支撑鲜有公众了解，其中蕴藏着不容忽视的潜在价值。

热门搜索与最近搜索功能简介

当前，众多网站普遍设有热门搜索与近期搜索两大功能。热门搜索功能允许用户迅速浏览当前的热门话题，对于商家而言，这构成了重要的流量来源。与此同时，近期搜索功能则便于用户迅速检索到先前搜索过的信息。以淘宝为例，作为一家电商平台，其每日处理的海量搜索数据中，这些功能的实现显得尤为关键。例如，许多用户在淘宝上会多次搜索同一商品，而近期搜索功能则能迅速引导用户回到之前浏览过的商品详情页面。

这两种搜索功能的实施，牵涉到复杂的技术原理，对性能标准有极高的要求。特别是对于热门搜索，在流量高峰时段，必须能够迅速作出响应。

MySQL的不适应性

在处理高并发搜索这一场景时，MySQL并不适宜。以京东等大型电商平台为例，其流量规模庞大。若以MySQL存储热门搜索数据，一旦流量激增，MySQL可能会面临崩溃风险。首先，MySQL在高并发读写情况下性能受限。其次，热门搜索与最近搜索的数据并不需要长期保存。从数据特性分析，采用其他缓存技术或许更为适宜。

Redis的特性与优势

Redis在处理相关问题方面展现出特有的优势。以单机版为例，其可承受高达10万每秒的查询次数（QPS），这一性能指标对于面临巨大流量的网站至关重要。其数据结构类型丰富，能够满足多样化的需求。例如，key-value对这种结构适用于存储结构化数据。以单点登录为例，通过该结构存储用户信息，以cookieId作为键，并设定30分钟的缓存过期时间，从而模拟出session的效果。

Redis确保了二进制数据的安全性，在数据交换过程中，客户端能够自主进行编码，而接收端负责对数据进行整理和存储。这一功能在处理多种复杂数据类型时显得尤为实用。

<pre> <code class="prism language-java">
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
<version>2.1.8.RELEASE</version>
</dependency>
</code></pre>
ZSet用于解决搜索问题

<pre> <code class="prism language-java">server:
 port: 8889
 servlet:
context-path: /
spring:
 redis:
host: 192.168.0.41
port: 6379
password: wdy
database: 2
timeout: 5000
</code></pre>
针对当前热门搜索和近期搜索的去重及排序需求，Redis的有序集合（ZSet）是最为适宜的选择。在处理热门搜索时，可以依据点击量将点击次数最高的内容置于首位。至于最近搜索，则应将最近的搜索记录排在最前面。若采用列表（List）来执行最近搜索功能，虽然技术上可行，但其删除效率却不如ZSet，且还需额外处理去重问题。ZSet的天然有序属性和高效的操作性能，能够充分满足上述两项搜索功能的需求。

<pre> <code class="prism language-java">@Data
public class Product implements Serializable {
//商品id
private Long id;
//商品名称
private String productName;
//.....等属性
}
</code></pre>
控制最近搜索的规模

<pre> <code class="prism language-java">@Data
public class UserRecentSearch implements Serializable {
/**
 * 搜索信息
 */
private String searchInfo;
/**
 * 用户id
 */
private Long unionId;
</code></pre>
近期搜索功能实施限制，禁止ZSet数据无限制添加。考虑到用户可能进行无限次浏览，网站需设定仅保存N条最新浏览记录。一旦数据量达到N+1条，系统将自动删除最早的一条记录。此措施既满足用户对最近搜索结果的需求，又确保了数据存储的合理性和空间的高效利用。

一个普通用户在短短数小时内可能对数十乃至上百种商品进行检索，若不加以规模限制，将可能过度占用系统资源。

<pre> <code class="prism language-java">@Component
public class SearchRedisHelper {
@Resource
private RedisTemplate redisTemplate;
/**
 * 热搜的key
 */
public static final String HOT_SEARCH = "product_hot_search";
/**
 * 最近搜索的key
 */
public static final String RECENT_SEARCH = "product_recent_search";
/**
 * 最近搜索的大小
 */
public static final Integer CURRENT_SEARCH_SIZE = 3;
/**
 * 热搜key的过期时间
 */
public static final Integer HOT_SEARCH_EXPIRE_TIME = 3;
/**
 * 设置redis的过期时间
 * expire其实是懒加载，不设置key的时候是不会执行的
 */
@PostConstruct
public void setHotSearchExpireTime() {
 redisTemplate.expire(HOT_SEARCH, HOT_SEARCH_EXPIRE_TIME, TimeUnit.SECONDS);
}
/**
 * redis添加最近搜索
 * @param query
 */
public void addRedisRecentSearch(String query) {
 UserRecentSearch userRecentSearch = new UserRecentSearch();
 //用户id 当前用户 
 userRecentSearch.setUnionId(100434L);
 //搜索信息
 userRecentSearch.setSearchInfo(query);
 //score为一个分值，需要把最近浏览的商品id 的分值设置为最大值，
 //此处我们可以设置为当前时间Instant.now().getEpochSecond()
 //这样最近浏览的商品id的分值一定最大,排在ZSet集合最前面。
 ZSetOperations<String, UserRecentSearch> zSet = redisTemplate.opsForZSet();
 //由于zset 的集合特性当插入已经存在的 v 值 (商品id) 时只会更新score 值，
 zSet.add(RECENT_SEARCH, userRecentSearch, Instant.now().getEpochSecond());
 //获取到全部用户的最近搜索记录，用reverseRangeWithScores方法，可以获取到根据score排序之后的集合
 Set<ZSetOperations.TypedTuple<UserRecentSearch>> typedTuples = zSet.reverseRangeWithScores(RECENT_SEARCH, 0, -1);
 //只得到当前用户的最近搜索记录,注意这里必须保证set集合的顺序
 Set<UserRecentSearch> userRecentSearches = listRecentSearch();

 if (userRecentSearches.size() > CURRENT_SEARCH_SIZE) {
 //获取到最开始浏览的第一条
 UserRecentSearch userRecentSearchLast = userRecentSearches.stream().reduce((first, second) -> second).orElse(null);
 //删除最开始浏览的第一条
 zSet.remove(RECENT_SEARCH, userRecentSearchLast);
 }
}
/**
 * 热搜列表
 * @return
 */
public Set<Product> listHotSearch() {
 //0 5 表示0-5下标对应的元素
 return redisTemplate.opsForZSet().reverseRangeWithScores(HOT_SEARCH, 0, 5);
}
/**
 * redis添加热搜
 * @param productList
 */
public void addRedisHotSearch(List<Product> productList) {
 //1：表示每调用一次，当前product的分数+1
 productList.forEach(product -> redisTemplate.opsForZSet().incrementScore(HOT_SEARCH, product, 1D));
}
/**
 * 最近搜索列表
 * @return
 */
public Set<UserRecentSearch> listRecentSearch() {
 Set<ZSetOperations.TypedTuple<UserRecentSearch>> typedTuples = redisTemplate.opsForZSet().reverseRangeWithScores(RECENT_SEARCH, 0, -1);
 return Optional.ofNullable(typedTuples)
 .map(tuples -> tuples.stream()
 .map(ZSetOperations.TypedTuple::getValue)
 .filter(Objects::nonNull)
 .filter(userRecentSearch -> Objects.equals(userRecentSearch.getUnionId(), ContextHolder.getUser().getId()))
 .collect(Collectors.collectingAndThen(
 Collectors.toCollection(LinkedHashSet::new), LinkedHashSet::new)))
 .orElseGet(LinkedHashSet::new);
}
}
</code></pre>
提升用户体验

<pre> <code class="prism language-java">@Service
public class ProductService {
@Resource
private SearchRedisHelper searchRedisHelper;
/**
 * 搜索
 * @param query
 * @return
 */
public List<Product> search(String query) {
 //业务代码可用es.....此处略过....模拟数据库数据
 List<Product> productList = new ArrayList();
 Product product = new Product();
 product.setId(1L);
 product.setProductName("iphone13");
 productList.add(product);
 searchRedisHelper.addRedisRecentSearch(query);
 searchRedisHelper.addRedisHotSearch(productList);
 return productList;
}
/**
 * 热搜列表
 * @return
 */
public Set<Product> listHotSearch() {
 return searchRedisHelper.listHotSearch();
}
/**
 * 最近搜索列表
 * @return
 */
public Set<UserRecentSearch> listRecentSearch() {
 return searchRedisHelper.listRecentSearch();
}
}
</code></pre>
网站采用Redis技术处理热门搜索与最近搜索功能，旨在增强用户使用体验。除数据处理逻辑外，还运用lrange命令实现Redis分页，从而改善数据展示效果。这些措施使得网页在用户搜索时能快速响应，有效提升了网页的流畅度和易用性。对于微博等重视信息时效性和搜索效率的平台，这一特性尤为关键。

<pre> <code class="prism language-java">@RequestMapping("/redis/test")
@RestController
public class RedisController {
@Resource
private RedisTemplate redisTemplate;
@Resource
private ProductService productService;
/**
 * 删除redis
 * @param key
 * @return
 */
@GetMapping("/w/remove/redis")
public Result removeRedis(String key){
 redisTemplate.delete(key);
 return Result.success();
}
/**
 * 搜索
 * @param query
 * @return
 */
@GetMapping("/r/search/product")
public Result listProduct(String query) {
 return Result.success(productService.search(query));
}
/**
 * 热搜列表
 * @return
 */
@ResponseBody
@GetMapping("/r/list/hot/search")
public Result listHotSearch() {
 return Result.success(productService.listHotSearch());
}
/**
 * 最近搜索列表
 * @return
 */
@ResponseBody
@GetMapping("/r/list/recent/search")
public Result recentHotSearch() {
 return Result.success(productService.listRecentSearch());
}
}
</code></pre>
你是否曾好奇，除了Redis，还有哪些技术能够类似地应对搜索类问题？如有见解，敬请留言、点赞并转发。

2.5 万字详解 23 种设计模式及 Netty 搭建 websocket 集群实现服务器消息推送

相关帖子