| |
| |
 |
2017-01-12 第121期 |
|
| |
| |
百分点“数据隧道”玩转大数据平台实时数据复制 |
|
 |
|
实时数据复制技术在银行、电信、保险、政务和电商等领域应用非常广泛。比如银行领域的收单业务涉及收单行、银行卡组织及发卡行的数据同步。收单行的数据需要传输到银行卡组织，再由银行卡组织传输给发卡行。比如小汽车违章处理业务需要在全车各地车管所同步违章记录和处理情况等数据，便于驾驶人在全国各地处理。这些业务场景均需要数据及时、可靠和稳定的进行传输和交换。 |
| |
| |
基于Spark的公安大数据实时运维技术实践 |
|
 |
|
传统通过ICMP/SNMP、Trap/Syslog等工具对设备进行诊断分析的方式已不能满足实际要求，由于公安内部运维管理的特殊性，现行通过ELK等架构的方式同样也满足不了需要。为寻求合理的方案，我们将目光转向开源架构，构建了一套适用于公安行业的实时运维管理平台。 |
| |
| |
Spark Standalone架构设计要点分析 |
|
 |
|
Apache Spark是一个开源的通用集群计算系统，它提供了High-level编程API，支持Scala、Java和Python三种编程语言。Spark内核使用Scala语言编写，通过基于Scala的函数式编程特性，在不同的计算层面进行抽象，代码设计非常优秀。 |
| |
| |
链家网大数据平台枢纽——工具链 |
|
 |
|
链家网于2015年成立大数据部门，开始构建基于Hadoop的技术体系，初期大数据部门以运营数据报表需求、公司核心指标需求为主。随着2015年链家网发力线上业务，toB与toC业务齐头并进，数据需求量激增的情况也随之在2016年突显，数据量增至PB级。我们开始思考如何改变现状，如何高效支撑未来可预见的众多数据需求。 |
| |
| |
对监控系统的一些思考 |
|
 |
|
2011年、2012年我在PPTV刚开始工作的时候，第一个开始涉及的工作就是监控系统。当时和我们在Nagios和Zabbix中选型，觉得Nagios有各种各样的插件，功能很强大，但相应地配置麻烦，比如画图需要cacti配合。而Zabbix看上去是一个一步到位能解决所有问题的工具，虽然界面有点丑，但能满足我们的需求：画图、报警收集数据等。近年来的发展趋势，Zabbix比Nagios更加流行。 |
| |
| |
| |
Hadoop与大数据周刊 |
|
| |
由CSDN和《程序员》杂志编辑与社区共同打造，涵盖大数据及Hadoop领域，萃取最精华Hadoop与大数据技术内容，每周四发送。 |
|
| |
CSDN 移动客户端 |
|
CSDN官方微信 |
|
|
|
 |
 |
|
| |
|
