机器学习之一:什么是机器学习?

1. 什么是机器学习?

长期以来众说纷纭,Langley(1996)定义机器学习为:“机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能”。Mitchell(1997)在《Machine Learning》中写道:“机器学习是计算机算法的研究,并通过经验提高其自动进行改善”。Alpaydin(2004)提出自己对机器学习的定义:“机器学习是用数据或以往的经验,来优化计算机程序的性能标准”。Drew Conway在《Machine Learning for Hackers》书中定义:“机器学习就是一套工具和方法,凭借这些工具和方法我们可以从观测到的样本中提炼模式、归纳知识。换句话说,在特定情境下,我们可以记录研究对象的行为,从中学习,然后对其行为建模,该模型反过来促进我们对该情境有更深入的理解”。麦好在《机器学习实践指南:案例应用解析》中定义:“机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是人工智能的核心,是使计算机具有智能的根本途径。机器学习的研究方法通常是根据生理学、认知科学等对人类学习机理的了解,建立人类学习过程的计算模型或认识模型,发展各种学习理论和学习方法,研究通用的学习算法并进行理论上的分析,建立面向任务的具有特定应用的学习系统”。

阅读更多

关于区块链的一点思考

回顾2016年,区块链无疑是最火的一个词,各种关于区块链的书籍就像雨后春笋般的冒出来,各种论坛活动都在讨论区块链,特别是科技金融行业。中本聪运用区块链技术本来是为了解决比特币的去中心化信用问题。然而,人们突然发现区块链技术可以在包括金融、贸易、征信、物联网、共享经济等诸多领域解决直接或间接依赖于第三方担保信任机构的问题。麦肯锡的研究表明,区块链技术,是继蒸汽机、电力、信息和互联网科技之后,目前最有潜力触发第五轮颠覆性革命浪潮的核心技术。

阅读更多

2016 阅读书单

《在历史的下降线行走》 张鸣
历史有时候前进,有时则会退后,有上升,则有下降。细碎处的故事,空白处的讲述,才能真正反映历史的原貌。本书充斥了这样的故事和讲述。诸如“当牛记者碰到强人的时候”、“戴大头巾状如印度兵的中国士兵”、“懂兵法的和会打仗的”、“对毒与赌的另一种期待”……都是重大历史事件中被正史省略的故事,但正是这些正史瞧不上的鸡零狗碎一样的故事,让你感受到历史的真实,感受到它的血与肉,并带你看到纷扰世界中另一番景致。

阅读更多

Kafka入门之十二:Kafka的高性能之道

1. 简介

在 LinkedIn的Kafka的系统上,每天有超过 8000 亿条消息被发送,相当于超过 175 兆兆字节(terabytes)数据,另外,每天还会消耗掉 650 兆兆字节(terabytes)数据的消息,为什么Kafka有这样的能力去处理这么多产生的数据和消耗掉的数据? 下面我们就来分析一下Kafka的高性能之道。

阅读更多

Kafka入门之十一:Kafka的监控

1. 简介

kafka的数据统计是通过一个叫metrics的工具进行收集的,metrics是一个java类库。metrics以JMX的形式提供了对外查看数据的接口,因此我们首先要在kafka启动的时候指定jmx的端口,然后通过可视化工具jconsole或kafka manager查看。下面我们分别介绍一下。

阅读更多

Kafka入门之十:Kafka的SSL加密和认证

1. 简介

SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层对网络连接进行加密。在SSL中使用密钥交换算法交换密钥;使用密钥对数据进行加密;使用散列算法对数据的完整性进行验证,使用数字证书证明自己的身份。下面我们就Kafka中如何实现及步骤介绍。

阅读更多

Kafka入门之九:Kafka Streams

1. 概述

Kafka Streams是一个客户端程序库,用于处理和分析存储在Kafka中的数据,并将得到的数据写入kafka或发送到外部系统。Kafka Stream中有几个重要的流处理概念:Event time和Process Time、窗口函数、应用状态管理。Kafka Stream的门槛非常低:比如单机进行一些小数据量的功能验证而不需要在其他机器上启动一些服务(比如在Storm运行Topology需要启动Nimbus和Supervisor,当然也支持Local Mode),Kafka Stream的并发模型可以对单应用多实例进行负载均衡。

阅读更多

Kafka入门之八:Kafka的新API

前面几节我们讲的Kafka都是基于0.8.2.2的版本,截止到今天,kafka实际上已经更新到0.10.1.0,那么API都有哪些变化呢?

阅读更多

软件架构师的12项修炼

1. 简介

最近重读了Dave Hendricksen的《软件架构师的12项修炼》,感觉在提高自己的软技能方面还是有所用的,特别是沟通,协商,领导力等关系技能上,其实这些技能对于每个人都是适用的。
作者把这些技能看作一个金字塔,如下图。
softskill

阅读更多

《罗马人的故事15:罗马世界的终曲》读书笔记

尤里安之后,罗马皇帝基本上都是君权神授了。虽然皇帝的位置坐稳了,但作为皇帝的“三大职责”,保障边境安全,维护国内政治秩序,完善基础设施建设,完全交给别人了。斯提利科,被称为最后的罗马人,以一人之躯肩负起帝国的重任,最终落到“记录抹杀刑”的结局,实在是令人唏嘘。罗马统治下的和平早已不再发挥作用,八百年未曾陷落的、长久以来被赞颂为“世界之都”的罗马城于公元410年遭到了浩劫,幸存的人下决心离弃罗马,帝国的国境早已千疮百孔。公元476年,随着少年皇帝罗慕路斯·奥古斯都的退位,西罗马帝国灭亡了。没有蛮族进攻和激烈的战斗,没有火焰,没有惨叫,无声无息,无人注意到她的消失。
小西庇阿在毁灭迦太基城后失声痛哭,当旁人问及原因时,他回答道:“这曾经是一个伟大的民族,拥有着辽阔的领地、统治着海洋,在最危急的时刻比那些庞大的帝国表现了更刚毅、勇敢的精神,但仍避免不了灭亡。想想过去的亚述帝国、波斯帝国、马其顿帝国还有那个高傲的特洛伊,又有哪个能避免这样的结局。我真害怕在将来有人会对我的祖国做出同样的事。” 小西庇阿的预言注定成真了。
记得有人总结过,我觉得很有道理。

阅读更多