enrl305 发表于 2022-12-26 16:59:07

养码场沙龙:网易有数中的与智能是什么?

4月21日下午,养码场与网易云联合举办的网易云创沙龙于网易大厦成功举行。

分享讲师分别为网易云资深解决方案架构师张亮、网易大数据的资深数据产品专家王文开、网易云安全技术总监高民、网易云企业服务部首席架构师李鲁。

本次沙龙通过网易云赋能企业数字化创新技术主题分享,旨在通过互联网业务赋能解决企业数字化转型。

现场回顾

事实上,本次活动一推出,很多人都给场主留言:

想去!

为什么正好人不在杭州啊!

好想去,但是周六要加班……

要去团建,时间冲突了,太可惜了!

当然还有去了现场,但是小本本上却没有记全内容的小伙伴……

于是,为了让大家不留遗憾,场主特地将讲师所分享的内容整理如下:

王文开:网易有数中的敏捷与智能

网易有数是什么?



企业级数据分析平台,让用户可以通过拖拽、搜索、自然语言等形式实现数据分析。



网易有数的敏捷

目前,互联网企业都会面临的一个问题就是数据分析效率问题。

在传统行业业务部门中,业务人员往往需要将书籍报表需求提交给IT部门,由IT人员写代码或使用传统BI工具进行数据建模,制作报表,经过1、2天乃至一两周的周期再得到反馈。

由于分析流程长、涉及人员多、决策周期长,很可能使得这个数据分析结果“过时”。

现在的数据分析模式其实已经从IT主导的报表模式转变为了业务主导的自我服务分析模式。

而通过网易有数就可以让用户完成自分析。

可视化数据分析模型

可视化数据分析的流程可以归纳为:

数据--得出初步的可视化结果--通过结果感知到新想法--迅速在产品中进行验证--进行进一步的探索分析--最后形成一个新的可视化的结果

通过网易有数可以让不懂技术的运营人员、分析人员、在平台内完成可视化--新想法--探索分析--获得解答这个闭环。

让用户可以连贯地去分析数据,而不是被一些不必要的因素(受限于数据可视化分析)打断。

网易有数的跨视图 粒度计算表达式

{FIXED[维度1],[维度2]…:[聚合表达式]}

{INCLUDE[维度1],[维度2]…:[聚合表达式]}

{EXCLUDE[维度1],[维度2]…:[聚合表达式]}

跨视图粒度计算表达式其实就是对SQL的高度抽象,即用户通过一种接近自然语义,简洁直观的表达方式完成一个复杂的SQL过程,它能够轻松帮助数据分析师完成客户贡献度分析,购买频次分析,留存率分析,AARRR模型分析等。

网易有数的智能

关于BI的发展

2000-2010年:传统BI

2010-2016年:自助BI

2016-2020年:智能BI

为什么需要智能?

目前,网易有数可以支持新用户通过语言、打字搜索的使用形式,解析出自然语义进行图表推荐。

高民:网易云安全解决方案

助力打造绿色互联网



2017年,网易所有业务拦截垃圾达400亿条。



可以说,网络垃圾无处不在,网络安全问题极为关键。

情报篇

了解互联网安全态势,初探黑灰产

互联网内容安全现状

注:以上为来自中国互联网违法和不良信息举报中心的数据

APP外挂、破解、盗版盛行

据悉,每个热门应用平均有27个山寨App,山寨应用严重危害正版应用。

目前市面上的山寨App通过:解包-逆向分析-找到核心、功能实现-拷贝代码、资源等-进行简单开发-打包-上架,完成一个“复制”版本进行上线。

网络安全威胁时刻存在,而因此受害行业更是不在少数。

从上述图表中可以发现:

在针对游戏行业的所有流量攻击中,TCP Flood和UDPFlood攻击最为严重,分别占28%和22%。而在攻击源方面,94%的攻击源都位于国内,6%的攻击源来自国外。

黑灰产业链



事实上,我们面对的不是单枪匹马,而是整条黑灰产业链。



包括手机卡商、听码人员、代理IP池、接码平台、自动化工具、卡商、羊毛党、账号商人、群控平台、打码平台……

其中,账号买卖涉及的不仅仅是手机号,还有身份证号码等;譬如手机号大多来自卡商,通过注册皮包公司,获得大量只能收发短信物联网卡。再把这些卡插入“卡猫”中启动,卡猫一次性甚至能插128张物联网卡。

注:卡猫:支持 TD-LTE/FDD-LTE/TD-SCDMA/WCDMA/CDMA2000/CDMA1X/GSM网络,可用于移动联通电信发短信、拨打语音、发送彩信、WAP上 网等。 支持无限次数修改串号(IMEI)。

解决方案篇

下图为网易云安全技术成果及防御体系,通过布局四位一体安全架构,架构一站式安全服务 。

内容反垃圾技术演变

内容反垃圾技术经过了3个阶段的演变,分别为:

第一阶段:关键词、 黑白名单、 过滤器、分类器

第二阶段:内容特征识别(肤色,纹理)、贝叶斯过滤、相似度匹配、规则系统

第三阶段:大数据分析(用户行为,用户分类)、人机识别、人工智能、机器学习(语义识别、图像识别)

内容反垃圾PDCA优化机制

http://www.qianxianly.com/data/attachment/forum/20221226/1672045147183_1.jpg

内容反垃圾PDCA优化机制需要依靠“四要素”循序开展、相辅相成。

技术:众多反垃圾核心技术专利、先进的AI、机器学习、神经网络算法

审核:辅助配合机器自动化识别,达到最优效果

运营:针对性策略定制,深入磨合客户需求

服务:1 vs 1 24h 专家顾问服务

业务安全防御技术联动

信息认证:公安部授权机构合作、OCR信息提取、图像轮廓检测

注册保护:识别垃圾注册、人机识别、注册量监控

登录保护:可信设备 人机识别、识别批量登录、识别暴力破解

营销反作弊:人机识别行为分析、高频检测信誉等级、规则系统

业务风控反作弊核心机制

反作弊核心机制在于通过人机识别有效拦截自动注册机、暴力破解、自动发帖机和网络爬虫等,再进行设备 、IP名单、手机号、账号等海量数据筛选自查,建立风险名单,之后基于网络层和业务层,通过位置信息网络类型(基站/IDC/组织机构等)业务事件代理等维度刻画IP画像,识别恶意设备并基于正常人类/按键精灵构建场景化行为模型。

最后,基于设备、行为、画像、名单、业务规则等结合实际的业务场景进行产品内各业务、客户内各产品、网易易盾各客户之间的全链路关联分析,使得最终建立综合分析规则。

安全态势感知 :

易盾反垃圾服务覆盖文本、图片、视频、音频, 实现广告过滤、智能鉴黄、暴恐识别、涉政检测以满足内容安全;

业务风控联动通过信息认证、验证码防护、注册保护、登录保护、活动反作弊,满足业务安全;

移动安全系统以渠道监测、安全评估、应用加固满足移动安全;

网络安全体系涵盖DDoS防护、渗透测试、风险评估、应急响应、培训、咨询、入侵检测、漏洞扫描、Web应用防火墙、 SSL证书服务,满足网络安全。

“ 独立构建完整的安全体系成本非常高,中小企业可以通过接入网易云易盾的方式,快速获得网易的安全防护能力。”

李鲁:网易产品创新实践

目前,网易的业务发展可以总结为:C端业务爆发式增长,B端业务战略投入,目前处于高速发展。

C端业务方面,网易从游戏、邮箱业务拓展到新闻、电商、音乐、教育、金融等各类创新产品C端业务呈现井喷状态,正以多款创新产品腾飞完成网易C端生态布局。

B端业务方面,网易则选择将积累多年的大数据、人工智能、云计算能力开放出来,提供高品质的云服务,与伙伴共创云上精彩世界。

事实上,互联网产品的发展阶段不外乎这三点:产品冷启动阶段-产品高速增长阶段-产品成熟阶段

具体的阶段生命周期如下图:

接下来,从这3个阶段出发,结合网易的产品,来讲网易产品的创新实践。

产品演进的一些原则

最小可行化产品(MVP)

以最低成本、用最快、最简明的方式建立一个可用的产品原型,通过市场、客户反馈,发起迭代、完善产品细节。

两个匹萨原则

如果两个披萨不足以喂饱一个项目团队,这个团队可能就显得太大了。沟通成本随人员增加成指数级增长:n(n-1)/2

康威定律

系统设计(产品结构)等同组织形式,每个设计系统的组织,其产生的设计等同于组织之间的沟通结构。

冷启动阶段:需求到验证,唯快不破

“网易CEO丁磊认为:”电商的核心是商品,电商的本质在于怎么把性价比最好的、最适合的商品带给中国的13亿消费者。””

因此,在产品冷启动阶段,提出需求到验证的速度一定要快,一般这个过程分为以下几个流程:

http://www.qianxianly.com/data/attachment/forum/20221226/1672045147183_2.png

不重复造轮子,可以通过外部一些工具加快产品上线的速度,比如网易杭研院的云基础服务平台、云信与视频服务,易盾安全产品等。使得团队本身更为聚焦于业务。

快速增长阶段

在这个阶段,面临着:不可控的高并发对可靠性/可用性的压力、新功能快速、高质量的开发上线和缺少专业技能团队的业务挑战。

如何做到快速迭代?

微服务架构不同于“根据系统层次划分不同的职能团队”的形式,而是按照业务的功能划分,使得单一业务功能对应一个独立的职能团队。

从而使得在组织层面,服务内部变更仅发生在团队内,在技术层面,各个服务模块对外提供接口,内部迭代速度、变化不影响其他服务模块,维护成本低。

为使业务快速上线,改善开发、测试、运维这些有不同KPI的团队在交付软件过程中的速度和质量。

通过标准化开发环境和自动化交付流程改善交付工作的可预测性、效率、及可维护性。

如何保证核心系统高可用、高可靠

产品成熟阶段

在产品成熟阶段,面临的服务治理、系统运维自动化、获/活客成本高、精准营销如何做、用户体验如何衡量、如何寻找新业务方向等挑战。可以从以下几个方面应对。

服务治理及自动化

进一步服务化,以应对服务功能、复杂度增加所带来的挑战。面对大规

模突发流量,运用服务降级、限流、熔断手段以防止系统整体崩溃。

各阶段操作尽量自动化,以解决时间、效率、准确性的挑战,并且避

免成本随业务发展线性增长。

系统中某些公共组件可以进行服务化,为所有其他需要此服务的模块提

供服务,避免重复造轮子。

网易业务五大服务中心

目前,网易所搭建的五大服务中心分为

网易支付中心

网易宝、网易支付构建网易交付中心

网易用户画像中心

通过网易所有产品得到的客户数据形成标签化的用户画像中心

网易流量交换中心

网易各产品流量的统一监控和流量交换

网易内容中心

新闻、音乐、游戏、短视频……

网易账号中心

统一网易所有产品的账号管理

网易大数据

“互联网本身就是一个建立在数据之上的服务行业。”

因此,互联网领域的大数据应用核心目标是:进一步拓展和发掘数据价值的应用途径,以实现对数据价值的充分利用。

大数据定位:

充分运用数据统计、分析、挖掘、实验等技术,大力推进服务智能化与决策科学化,全面提升产品规划设计运营水平与服务质量。

据IDC预测,到2021年,约2/3的服务业企业(例如银行、医院等机构)、50%的工业企业(制造业和建筑业)和10%的农业生产,都将受到数字技术的积极影响。

而在企业数字化转型过程中,仍会面临很多困惑:如何转变,如何解决技术壁垒,如何掌握安全与数据的界限……

目前,网易云智能平台正通过技术开放,端口接入,赋能企业实现服务升级与业务创新。也希望上述讲师所提到的现状与解决方案对你有所启发!

注:涉及数据隐私,部分讲师分享内容未能体现。
页: [1]
查看完整版本: 养码场沙龙:网易有数中的与智能是什么?