O/RM的优势、缺点和最佳实践

O/RM

Object Relational Mapping,对象关系映射,一般简写为O/RM,或者更常见的ORM,就是数据库里面的一条记录,映射到一个对象,记录里面的字段,成为对象的属性。这是面向对象的数据访问方式。

在没有O/RM之前,我们习惯使用代码生成器来根据表结构自动生成各种CRUD(增删查改)方法。但是,这只能满足简单的操作,当业务复杂起来,特别是关系型数据,这个方法捉襟见肘。

不同的技术栈有不同O/RM方案,譬如Python的SQLAlchemy、Java的JPA(Java Persistence API)这个O/RM标准接口的就有多个解决方案。.NET下有从Java的Hibernate移植过来的NHibernate、微软开源的Entity Framework(EF)、Dapper、PetaPoco等。说起Hibernate,几年前12306售票系统出现问题,说是用的Hibernate。

Jeff Atwood是计算机编程博客Coding Horror的博主。他共同创建了计算机编程问答网站Stack Overflow,并共同创建了Stack Exchange。他曾经说过“O/RM是计算机科学的越南战争”

优势

生产力的提高

  • 用更少的代码,简便地实现CRUD(增删查改)
  • 多表连接可以方便地使用对象关系方式访问因为是面向对象,编译时便可知道一些用纯SQL可能会遇到的拼写、语法错误。这个有点像TypeScript和JavaScript的关系
  • 在Visual Studio等IDE中,在进行调试的时候,方便地浏览关系型对象因为最终执行的SQL是自动生成的,所以不受代码风格约束,而且只要合理使用O/RM,类似SQL注入等容易在手写SQL遇到的,不是一个大问题
  • 因为数据抽象访问,所以带来了支持多种数据库的可能性,譬如从PostgreSQL切换到SQL Server

缓存:双刃剑

  • 优秀/流行的O/RM内置了对缓存的支持,这样可以减少重复的数据库访问
  • 但是,一些时候你忘记了刷新已经缓存了的对象,你将会遇到数据版本冲突问题(老数据覆盖了较新的数据),一般做法是在必要的地方都调用类似Refresh等方法来刷新,但这样比较蹩脚

缺点

性能约束

  • 初始化加载,视乎你使用Code-first、Model-first还是Database-first,背后在做大量的工作,确保模型映射和数据库架构一致。某司使用NHibernate,几百个model,每次初始化需要3-5分钟
  • N+1问题:父子表关系,映射/使用错误,可能会导致父表的每条记录都会在子表做一次查询,譬如父表有1000条记录,最终可能会产生1001条查询
  • 类似报表中使用的各种聚合、pivoting(行列转换)
  • 要达到理想的性能,你需要调整各种映射属性,甚至做所谓的hacking,譬如模型定义了一些子表关联,如果你不想获取,你可能需要把这些属性设置为空值,或者设置为延迟加载;如果你熟练掌握SQL, 你会发现手写SQL会来得容易很多
  • 批量数据处理:批量导入/更新、导出,真要使用,一般O/RM需要蹩脚的处理

高级功能的缺少/支持

  • 譬如游标、递归、特定类型(如自定义类型)的支持
  • 譬如SQL Server的OUTPUT等的支持
  • 复杂查询,或者一些窗口函数, O/RM要么不支持这意味着你必须传输额外的数据在业务层进行处理,要么会很别扭。这个时候,用存储过程就更加合理

维护的难度

O/RM一个重要的特性,也是必备,就是数据库和对象之间的映射,数据库表、字段的特性,譬如字段的最大长度、各种约束(最大、最小值、默认值等)、精度、外键等,都要一一定义,不管是通过类似Hibernate的XML还是Fluent Hibernate的面向对象方式,或者一些Model-first的通过特性(attribute)来实现。

O/RM的使用,会导致两套数据库结构,一套在数据库里面,一套在O/RM定义。当你需要改动结构,你需要实现迁移,譬如改改变了字段的名字、表名。

使用的成本

使用O/RM的一个目的是只需要关心业务,不需要放多少时间在SQL上面,但是,学习O/RM本身是需要时间的,而且,要用好O/RM,不可避免要学好SQL,所以这个学习时间可能是单纯学习SQL的两倍或者更多。

之前说生产力是O/RM的优势,但是这个是建里在你必须先把映射关系建立好的基础之上,这个过程视乎业务系统的复杂度,需时可能比较长

数据库的表结构很多时候无法和对象模型完整一致,导致了在使用过程中需要做手工的转换,模型也随之快速增大,增加了逻辑的复杂性

之前说O/RM可以切换数据库系统,但是当你把一个数据库系统真的用起来之后,你会发现,你很大机会需要用到数据库系统的一些特性,这是其它数据库系统没有的,那么,这个迁移将会很大的挑战性。越抽象,复杂度越高,成本也随着增加

最佳实践

如果你希望深入了解数据库访问、O/RM最佳实践,跟随有15年+经验的数据库专家手把手、全程实战、系统性地、快速学习和提高数据库开发技术,欢迎访问 DevYeah.com联系我们。

交互式学习平台

本文完整版本在Dev Yeah的交互式学习平台上,有兴趣的同学可以点击这里免费注册,马上免费试用Dev Yeah的各种技术教学视频!

每日技术精选

Dev Yeah推出全新服务:每日技术精选。

不同的技术人有不同的阅读/学习习惯,一些一天读几篇甚至多篇文章,但是:

  • 由于时间限制,花了时间阅读才发现要么文章质量不高或者晦涩难懂,不能高效地学习
  • 日积月累,之前看过喜欢的文章,现在找不回来了

Dev Yeah的每日技术精选,包括但不限于:业界新闻、新/优秀开源项目、优秀技术文章等。分类包括前端、后端、数据存储、安全、AI/大数据等

每天我们会重点对其中一篇内容进行精读概述,让大家能够更好地理解、掌握和提高技术水平。

点击这里免费注册,马上免费试用Dev Yeah的每日技术精选!

Dev Yeah 全栈课程

要系统、快速、全面提高您的技术水平吗?访问Dev Yeah了解我们提供的全栈(前端、后端、数据存储和必备等)Python数据科学课程!15+年全栈开发经验(Web前端、后端、数据库、必备等)的技术专家手把手、全程实战!

扫描下面的二维码加入Dev Yeah技术交流群

扫描下面的二维码联系Dev Yeah客服

版权所有

所有文章内容版权所有,任何形式的转发/使用都必须先征得本站书面同意。本站保留一切追究的权利。

Dev Yeah全栈和数据科学课程

是否想系统性地学习和提高Web前端、后台和数据库等技术栈的水平和能力?想成为能力出众的全栈开发人员?希望了解Python、数据科学和分析?在掌握的技术之外,渴望学习一门新的语言/技术,譬如Clojure、Docker/kubernetes容器、AWS/Azure云平台开发? https://www.devyeah.com/

是否希望免费注册、免费试用相关课程?扫描二维码加入Dev Yeah学员群便获得!访问 https://www.devyeah.com/  扫描页面最下面的二维码加入技术群,和各位小伙伴分享、学习和提高技术!

我们通过在线互动直播、线下手把手培训和随时随地的视频回放3种方式为你提供全方位的贴心教学服务。

全程动手实战,提供最佳实践指导,在较短时间内全面提升你的技术深度、广度和自我学习能力,累计项目经验、充实履历,助你获得更好的工作机会,成长为优秀的全栈/数据科学工程师 https://www.devyeah.com/

免费注册和获取《Dev Yeah每日技术精选》:
https://www.devyeah.com/ile

Dev Yeah技术群

Dev Yeah客服

系统日志的最佳实践

级别

系统运行过程中,或多或少会产生不同级别的日志:详情、普通、严重、错误等。一般越严重/重要的,产生的数量越少,反之,越多。

在开发环境中,我们一般会启用最详细的级别,这样可以全程跟踪系统运行情况,在生产环境中,我们一般只打开严重/错误级别,因为这样才是我们感兴趣的。但是,但真的遇到严重问题的时候,我们不能定位具体问题,就可能要打开更详细的级别来辅助我们找到问题的根源。

记录/通知方式

一些公司仍然把所有日志写入文本文件,譬如Windows的IIS网络服务器的日志就是用的CSV格式。

稍好一点做法,是数据库表。但是日志数量不断增加,这些数据都存放在一个表里面,迟早也会遇到需要切分的问题,而且一般数据库的成本比磁盘文件要高,所以一般来说,生成环境只记录最关心的内容。

而且,因为日志有一个天生的特点,就是每天记录的产生都有一个时间戳,而且是随着时间变化不断变大。我们做查询的时候,一般是按照时间来排序,最常见的就是倒序,也就是最新的日志,我们最感兴趣。所以,日志在数据库中的存储,一般是按时间戳做聚集倒序索引。

当然还有更特别的,就是遇到严重/异常的时候,通过邮件发送,甚至短信通知运维。

切分方式

一般是按每天来切分存储,如果数据量很大,那颗粒度会更低,譬如每个小时等。也有按大小来切分的,譬如每10M生成一个文件。这些都是所谓的窗口大小,可以按时间、大小、地区、部门等等来切分。

查询统计

日志的记录,除了排除,我们来会用来做数据统计。

然而从不同纬度分析这些数据麻烦,譬如分布式系统哪个地方的哪个模块那些用户群只有特定问题等,而且一般不能实时。

Raygun.io这个云日志服务提供商满足以上需求,他们以前用的nodejs,后来改成asp.net core,性能提升了20倍。

如何设计最佳的日志系统

是否想掌握怎样实现搞性能的分布式系统开发和设计出高效的日志系统?

可以找我们Dev Yeah学习全栈课程!访问官网 DevYeah.com 帮助你快速成长为更优秀的软件工程师!

版权所有

所有文章内容版权所有,任何形式的转发/使用都必须先征得本站书面同意。本站保留一切追究的权利。

如何不要成为被宠坏的开发人员

尊重劳动果实

不购买正版,在中国,是个常态,不管是知识产权,还是各种假冒伪劣山寨产品。而且这种行为,自然而然,大部分盗版使用者都不以为是。

譬如,在网上看见一本著名的收费书籍,搜索一下,直接下载pdf文件或者其它电子书格式,一下子省了几十块了。

更有甚者,把这些盗版传播,甚至转手卖钱。相信各位作者都对这些行为非常反感。

这些从事创建发明行业的开发人员,自己不尊重别人的劳动成果,还能指望别人尊重自己的产品吗?换位思考一下,是否希望别人尊重自己的劳动果实,是不?

免费与付费

因为习惯了免费东西,一听说某种产品/服务要收费,一些开发人员会找出各种不愿意付费的理由:

  • 网上多的是免费的资源,你凭什么要收费?!
  • 你这个服务收费太贵了,难道就不能便宜些吗?

如果每个消费者都抱着这种心态,那会扼杀创新,阻碍技术的发展。

一些开发人员加入某个付费服务的技术群,看见服务提供商发产品的相关介绍,直接扔一句:”全是广告,退群了”。

我想问3个问题:

  • 首先,请问你加入这个群的目的是什么?
  • 其次,请问你加入这个群多久,观察了多久?
  • 最后,请问你是否参与过讨论,做个任何咨询?

举个简单例子:你花了相当的时间和精力研究出来的东西,有一定的经济价值,陌生人一上来就说:你要把这个免费公开,让我来享受一下。你的实际行动会是什么?

如果你觉得别人提供的服务没有价值,不值得花钱,请你自己慢慢学习钻研,看看你需要花多少时间和精力才能掌握你需要的技术和达到你希望的水平。

或许,你会觉得,我还年轻,有的是时间,反正我也不大着急。

然而,最佳时机是10年前,其次是现在。合适的服务,可以帮助你快速掌握和提高技术水平, 让你在相对较短的时间内获得最大的收益。

学习能力

相当部分开发人员是伸手党,要么微博私信,要么微信加了好友,直接问技术问题,基本礼貌都没有。而且部分还是连问问题都不会的,譬如:

  • 上来就扔一句话:“美国工作好找吗?”首先,你自己做什么,擅长什么技术,目前什么水平,要找什么样的工作,待遇要求多少,等等都没有说。基本上就是让你“阐述一下人类的未来发展”。
  • 问技术问题,背景需求等等都不讲一下,往往经过分析之后,发现他们问的问题都是错的,或者方向是错的。

换位思考一下吧。如果你被别人问这种问题,你怎么回答?如果不能,那你为什么那样提问?

部分开发人员没有系统地学过软件开发,也没有很好的学习能力,连研究技术问题的能力都是比较弱的,譬如搜索,一般是搬运stackoverflow的答案,然而,一些SO的答案并不是最佳答案,部分连答案都不是正确的答案。

学习能力,不仅仅是钻研具体函数怎么实现/调用的能力,更多是思考能力。

今天在微博看见一个观点,大概意思软件开发人员发展路线分几个阶段:

  1. 第一级是技术输出
  2. 第二级是经验输出
  3. 第三级是思路输出
  4. 第四级是决策输出

那些被宠坏的开发人员,往往在第一级挣扎。

对内容的正确与否、质量高低、适用性的判断能力也很重要。

一些开发人员把对掌握某种技术说需要的时间和精力看得比较简单,以为根据一些关键字搜索出几篇文章,然后奉为真理,应用到产品中便可。

一般是掉到坑里,挣扎好久,爬出来了 ,这是相当可怕的 。希望他们能吃一堑长一智。

合适的工作内容更重要

首先,先看看你自己是否符合技术范围、水平、工作合规性(签证等)等要求,再问问工作要求细节,最后问工资也不迟。

我遇到过, 我发布开发人员的招聘信息 ,第一件事情是问:待遇多少钱?

给更多,欲望更大,时刻想着找下一家给更多的钱,每间公司都是踏脚石,这样不利于自己的职业生涯的发展。

有人说:“自己能力没达到,到时候面试被刷下来,继续努力呗”,但这完全是浪费双方的时间。

合适的工作环境和有挑战的内容,才有助于你的职业生涯的发展,这些才应该是你注重的地方。

而且,面试是双向的,如果你只问工资,人家只问你年龄,你觉得靠谱吗?

态度决定很多事情

一个网上的博客文章,是一个从事软件开发的学生,写的总结报告,里面有一句话:“我的疑问是既然我们是一个团队,有领导带领,那我们为什么要和领导承担同样的压力和责任,如果说我们是创业团队,大家用敏捷流程无疑会是不错的选择,但是既然是在公司,既然有领导,他领的工资还比我多,那我们又应该从哪儿去寻求动力与激情去承担这些责任呢?”

一般开发团队有各自的分工,但很多时候一个开发人员需求分析、设计、开发、测试、写文档、发布、运维、装电脑等都得做,这些活(压力/责任)你可以不去做,但是总得有人去做,也总会有别人去做(你失业了)。

而且,责任多,是好事,你有了更多的学习机会。趁年轻,多学习,不要怕吃亏吃苦。

你希望做一个小小的螺丝钉,还是希望能发挥所长,做出成绩,产生更大的影响,这是你的选择权。

你需要知道的是你的职业生涯目标,3-5年后,你会成为怎样的开发人员,这些你能决定的,你不去承担工作范围内合理的压力和责任,那很大可能多年后,你还是会碌碌无为。

而且,合格的领导,他们拿比你高的工资,原因很多,譬如:

  • 他们经验比你丰富,在遇到问题时,他们的决策可以更好地提出方案/解决问题
  • 他们需要负责更多的事情,譬如团队之间、公司和客户之间的交流、谈判等。

学习技术的痛点

互联网每时每刻都在产生大量的技术资源,我们面对这样海量的信息无所适从:

1. 究竟学哪些新技术?

2. 究竟哪些资源质量高?

3. 究竟我们怎样才会不走弯路?

4. 究竟最低成本的学习办法是什么?

5. 究竟我怎样才能用最短的时间提升自己的技术深度和广度?

6. 究竟我怎样才能用最快的速度提升自身价值?

如果你觉得自己的时间不值钱,那当然可以慢慢消耗时光。然而,对大部分人来说,最值钱的,是时间,而且这个数字在不断减少,而且速度惊人。

拿22岁毕业,60岁退休来说,你的工作人生只有短短的13870天。没错,就13870天!如果一周按5天算,那只有9907天,1万天都不够。

那么,你是否愿意投入一些时间、花一些钱去学付费服务,快速提高技术水平,从而能加薪升职、找到更好的工作呢?

版权所有

所有文章内容版权所有,任何形式的转发/使用都必须先征得本站书面同意。本站保留一切追究的权利。

爆栈思想 – 如何强迫开发人员提高代码质量

劳逸结合

在微博看见有同学说花了不少时间修警告,修上瘾了,不想回家吃饭。首先,这位同学,身体健康是自己的,热爱工作也好,给老板卖命也好,也得work life balance,劳逸结合。

警告有什么不好?

首先,为什么要把警告给修了呢?一般来说,警告来自编译器,分几种情况:

  • 编译器认为有潜在错误的可能,譬如类型转换丢失数据等
  • 冗余代码,譬如多余的变量等,在C#中经常遇到的是try/catch(Exception ex),这个ex异常变量很多开发人员都不会使用,所以就成了警告。

这些警告,说白了,首先是碍眼、闹心,像我这种推崇代码质量追求性能的有代码洁癖的开发人员,我就不能容忍警告。

然而,代码洁癖不是最重要的,如果因为像long <-> int之间类型转换过程中导致数据丢失,那这种警告必须修复,因为错误到了生产环境后的修复成本会高很多。

怎么修复警告?

有同学说:把警告屏蔽掉,世界就安静了,problem solved!但是,这种掩耳盗铃的伎俩迟早会导致麻烦找上门来。

我曾经在一个公司做过,其主系统几百万行代码而已,几百个警告,修了我好久,都修好了,一段时间之后,发现又有几十个,身心俱疲。这显然是开发人员完全不理解为什么警告要修复,也不理解怎么避免警告。

在另外一家公司,2200万行代码,70万个单元/整合测试,没有一个警告,因为任何警告都被视为错误无法编译通过。当然,开发人员的平均水平高也是很重要的一个原因。

所以,要么狠下心把警告视为错误让开发人员老实修复,要么培养提高他们的素质。不过,根据我10多年的开发经验,不能相信开发人员的自律,必须两手都要抓,两手都要硬,因为你永远不知道哪天被猪队友坑了。在这点上,Visual Studio有“把警告视为错误”的选项。

Visual Studio大法好,你值得拥有!

怎样强迫开发人员提供技术水平?

在某司呆过,他们自己从头实现了一整套的分布式编译、测试系统,没错,简单来说他们实现了自己的Team City。这套重新发明的轮子有很强悍的地方,譬如几百种的非常严格、全面的代码风格、质量控制规则,你想到和没想到的都有,譬如,多一个空格都会被视为错误无法编译通过,一般新开发人员来到,会被逼疯。但是,这样下来,整个系统看起来都像是同一个开发人员写出来的。

当然,大部分公司都没有这样的资源去做这样的一套系统,但是,我们完全可以引入一些比较严格的自动化代码质量控制规则(即便通过插件)。

关于被动、主动的层次,英文里面是:passive(被动)-> responsive (反应)  -> active (主动) -> proactive (积极) -> pre-emptive

在代码质量控制上,我们也应该用各种规则防止被坑爹。

 

想知道为什么我这么多年来能掌握那么多种技术,不仅仅是广度,还有深度,达到我所说的“爆栈”吗?

在《爆栈之旅》,我根据大家都实际情况、水平、方向等规划职业路径,手把手带你做实战的项目,用最高效的办法达到你想要的高度。

爆栈之旅

是否想技术水平快速提升?是否希望快速成为公司的技术骨干?

核心价值
  • 把我这10多年来所学到的知识、总结的经验、吸取的教训分享出来
  • 针对不同的学生量身定制规划学习成长路线、1对1个人指导、代码审阅等
  • 解答各种技术问题
  • 为公司提供技术解决方案

请查看本站右边的信息联系我。

版权所有

所有文章内容版权所有,任何形式的转发/使用都必须先征得本站书面同意。本站保留一切追究的权利。

爆栈思想 – 我究竟值多少钱?

价格和价值

首先,我们需要明白,价格不一定等于价值。价格就是大家去购物看见商品上的那个标价,但是价值往往是另外一回事。

我究竟值多少钱?

我经常和那些找工作的朋友说,对薪资要求,一般有3种心态:

  • 我宁愿现在要求少一点,先把offer拿到手,进去之后再好好表现争取升职、加薪
  • 我会看市场,结合自身实际情况,合理地要求
  • 我会尽量抬高要求,譬如我现在拿10万,我会更下一家公司说我现在拿15万,这样他们为了追逐我,就一定会给15万以上

我多次提及,一个公司养一个员工,远远不止工资这么多,譬如你拿工资10万,加上各种税、年假病假、招聘费用、资源(工位摊分成等等)、培训,实际上公司要为你付出15万甚至更多,而且商家都是逐利的,公司会从你获取20万甚至更多,这意味着,你要求10万,公司会尽可能地榨取你起码20万的付出。

简单地来说,没有免费的午餐,你获得多少,付出的必须更多。

我没有跟进中国的市场,我只知道BAT等互联网公司哄抬了开发人员的身价,动辄几十万、上百万工资加一大票的期权股份。

单纯澳洲来说:

  • 人年平均收入大概是7万多(这几年的大概数字,没有跟进最新的)
  • 悉尼的开发人员(笼统地平均,忽略前端、后端、数据、爆栈的区别)
    • 初级开发人员(0 – 3年经验):5-7万
    • 中级:8-10万
    • 高级:11-13万
    • 小头目/架构师:14-16万
    • ….如此类推

 

想知道为什么我这么多年来能掌握那么多种技术,不仅仅是广度,还有深度,达到我所说的“爆栈”吗?

在《爆栈之旅》,我根据大家都实际情况、水平、方向等规划职业路径,手把手带你做实战的项目,用最高效的办法达到你想要的高度。

爆栈之旅

是否想技术水平快速提升?是否希望快速成为公司的技术骨干?

核心价值
  • 把我这10多年来所学到的知识、总结的经验、吸取的教训分享出来
  • 针对不同的学生量身定制规划学习成长路线、1对1个人指导、代码审阅等
  • 解答各种技术问题
  • 为公司提供技术解决方案

请查看本站右边的信息联系我。

版权所有

所有文章内容版权所有,任何形式的转发/使用都必须先征得本站书面同意。本站保留一切追究的权利。

爆栈思想 – 偏好与偏见

偏好

相比英剧,我更喜欢美剧。相比现代流行歌曲,我更喜欢70年代-90年代的经典爱情歌曲。这是偏好。

偏见

偏好和偏见还是有很大区别的。譬如:

  • 一些开发技术文章,同类对比的时候,只字不提C井,尽管这些文章中的截图C井很明显地出现在突出的位置(排名很高)
  • 比较cloud服务的时候说Google的、IBM的、AWS就是不说排名第二的Azure
  • 开源领域不谈微软的贡献,又譬如宁愿离开GitHub去gitlab
  • 《最强大脑》那个组合拆了的汉字的游戏,用的Hololens,就没说微软的

当然,你们可以说是这是选择自由。

很多时候,这些偏见来源于坐井观天,他们对微软的认识还停留在10年前,现在:

  • .NET可以在各个平台上跑,完全开源,而且性能(语言+平台)在各个性能比较网站上的评分追平甚至超过Java,远远抛离你们想象中的那些主流解决方案
  • SQL Server不仅能在Windows上跑,而且还能在Linux上跑
  • Visual Studio不仅仅是给Windows开发者做桌面程序的,现在MacOS和Linux越来越多开发人员拥抱Visual Studio Code了
  • 大家常用的SO(StackOverflow),使用了大量微软的技术,包括C#和ASP.NET

 

想知道为什么我这么多年来能掌握那么多种技术,不仅仅是广度,还有深度,达到我所说的“爆栈”吗?

在《爆栈之旅》,我根据大家都实际情况、水平、方向等规划职业路径,手把手带你做实战的项目,用最高效的办法达到你想要的高度。

爆栈之旅

是否想技术水平快速提升?是否希望快速成为公司的技术骨干?

核心价值
  • 把我这10多年来所学到的知识、总结的经验、吸取的教训分享出来
  • 针对不同的学生量身定制规划学习成长路线、1对1个人指导、代码审阅等
  • 解答各种技术问题
  • 为公司提供技术解决方案

请查看本站右边的信息联系我。

版权所有

所有文章内容版权所有,任何形式的转发/使用都必须先征得本站书面同意。本站保留一切追究的权利。

.NET的前世今生与将来

笔者注

谨以此文纪念我敬重的于2016年9月17日去世的 装配脑袋 逝世两周年

让大家久等了,前后花了1年的时间,几经改版,终于完成撰写了一万字长文,回顾和展望.NET这16年来的成功与失败。最终能成文是因为我给自己承诺必须赶在 装配脑袋 逝世两周年前发表。愿天堂没有bug,活着的开发人员珍惜写好每一行代码的机会。

前言

.NET正式诞生了16年了,目前是微软技术栈的主要开发平台。笔者有幸在2002年在生产环境使用.NET 1.0 beta,一直到现在.NET Core 2.1,见证了.NET从最开始蹒跚学步的婴儿,到现在在各大领域大放异彩的巨人。

在过去的10多年中,开始那些年,.NET被质疑、误解,一些开技术人员觉得.NET就是Java的复制品,没有什么值得学习和使用的,而且,一些反微软阵营的技术人员,为了反对而反对。正是由于这些偏见,至今,一些公司仍然不愿意使用.NET,即便.NET从第一天开始就已经提交到ECMA标准和使用Rotor开放了代码和免费使用。

本文试图给大家展示一个完整的.NET历史、现状、生态圈,希望在.NET拥抱开源界的时候,业界也能拥抱.NET,更多技术人员参与到.NET的大家庭中来。

现在,让我们一起回顾一下.NET过去10多年的发展吧。

.NET技术栈

如果你想对.NET的整个技术栈有全面的理解和并希望深入研究,可以看笔者的爆栈下面的.NET技术栈:http://overflowstack.github.io/

爆栈网

爆栈网Kayow.com融合了我10多年来的经验、心得、吸取的教训,频繁地发表高质量的技术文章: http://kayow.com

误解

现在业界/一些开发人员对.NET这个平台有诸多误解,他们的想法可以概括如下:
  • .NET是封闭的
    • 实际上,.NET从第一天开始便把标准提交到ECMA,并且利用Rotor 开放了源代码(详见这里),感谢RednaxelaFX的指正
  • .NET只能在Windows平台上跑
    • .NET 2004年开始就能在Linux上面跑了(Mono,详见后面内容)
  • .NET带来的费用高
    • .NET是开源的,可以在多平台跑,没有费用可言
  • .NET性能低
    • .NET(相关开发语言如C#)的性能在多个性能测试平台上是领先的(详见后面内容)
  • .NET是微软的
    • 这是典型的为了反而反,类似的幼稚行为是在微软最近收购了GitHub后,一些开发人员马上迁移到GitLab上,然而他们可能不知道:
      • GitLab是在微软Azure托管的(不过他们最近迁移到Google Cloud了)
      • GItLab之前发生过因为PostgreSQL主数据库备份/恢复出错导致了客户数据丢失的问题

前世

Windows 32

在2000年前,在微软平台上做开发,一般用的Windows 32 API,主要有以下几种开发方案:
  • Visual C++
    • 通用解决方案,可以是桌面应用(如MFC),也可以是C/S应用
  • Visual BASIC
    • 快速应用开发(RAD)的一种,一般做图形界面(GUI)应用
    • 组件一般采用ActiveX(COM),利用注册表做接口管理
    • 提醒:VB在.NET没有缺席
  • Delphi
    • 另外一种RAD,兼顾了VB的组件化和VC++的很好的底层API交互支持
    • Anders Hejlsberg是这个产品的首席架构师(提醒,他是.NET的核心人物之一,看下面内容)
做Win 32开发,会面对一个问题:版本控制,因为接口改变了,但因为发布管理不统一,导致了不同版本互相覆盖,调用错乱,这就是饱受诟病的.DLL地狱(Windows类库一般用.DLL做后缀):
  • 标准Win32 DLL:要么随意放到Windows System32目录,要么Program Files (x86)目录
  • ActiveX DLL:虽然统一用注册表做版本信息管理,但是因为发布的时候版本没定义好,导致使用regsvr32.exe注册的时候可能会把上一个版本覆盖
做Web开发,当年微软提供了ASP(Active Server Pages),使用VBScript做服务器端脚本,利用ActiveX做实际业务交互,譬如ADODB做数据库存储,但是这个解决方案在内存处理、安全方面都存在诸多问题。

前期

背景

诞生

微软剑桥研究院的技术人员,在1998年开始研究下一代的开发技术,他们的思维很超前,去年他们发了一篇文章,介绍这个项目的发展史,上面的图片,清晰可见一些.NET的特性,还有一些还没有被实现。

.NET这个开发平台,学习多个开发平台的特性,譬如Java,把开发语言Java等(笔者注:别的Java平台语言下面提及)编译成中间语言(IL),运行时JIT。不过.NET更进一步,支持本地化编译。

2002年,微软正式对外发布了.NET 1.0。

最近,Oracle宣称.NET的主要对手Java的安装量超过20亿,笔者还没有找到.NET安装量的官方数字,但是我们可以做一个保守估计:

  • Windows XP开始预装.NET
  • Windows XP预装版本开始到Windows 10
  • 保守估计超过30亿

.NET的名字

相信很多人会问,为什么会取.NET这个名字?适逢当年2000-2002年互联网大潮,微软打算推出一个适应互联网需求的开发平台,所以干脆用了.NET这个名字。当时很多公司开发的产品都加了.NET后缀,甚至公司域名都采用了.NET而不是.COM。

.NET特性

首先,.NET是一个开发平台,从1.0开始支持GUI(WinForm)、CUI(控制台)、Windows Service、Remoting等等Windows平台的开发,也支持ASP.NET (WebForm)开发web系统,所以从最开始,.NET就支持多平台开发。可以说.NET从第一天开始便是为了互联网而生的。

.NET编译生产的文件叫程序集Assembly,就是代码物理的集合,命名空间用来逻辑归类代码。

语言 vs 平台

有一些同学把语言和平台搞混了,譬如他们会说.NET是一种语言。让我们来捋一下关系吧:
  • 平台:.NET
    • 语言:C#,F#,VB.NET,等等
  • 平台:JVM
    • 语言:Java、Scala、Clojure,等等
有趣的是,现在流行的开发平台大多采用了类似的编译、运行、调优机制:
  1. 编译成中间语言(IL)
  2. 运行时即时编译成machine code(JIT,后述)
  3. 有办法改变JIT的行为(调优)
  4. 有办法预编译成machine code

言归正传,.NET平台上最主流的3种开发语言分别是C#、VB.NET和F#。

Pascal之父、Delphi首席架构师Anders Hejlsberg,当年还在Borland,被微软CEO Bill Gates重金邀请加盟微软,主导开发.NET平台上的全新开发语言,这就有了现在.NET平台上最流行的开发语言C# ,取义C++的++ ,即(C++)++,合在一起就是4个+,碰巧和音符的C♯一样,所以读作C sharp,不是C井,谢谢。因为这个升C的字符比较难敲,所以,一般用数字3上面的那个#符号代替(对,♯和#不是同一个字符)。C#是目前全球最流行的开发语言之一。

如果你想深入了解C#,可以参考Jon Skeet编写的《C# in depth》,JK很奇怪,他是在Stack Overflow上是排名第一的回答者,C#专家,然而,他却是在Google工作的(潜伏的卧底?)。

笔者对BASIC有着非常深厚的感情,第一次接触这个语言是1992/1993年的时候,后来用了GWBASIC、TrueBASIC、TurboBASIC、QBASIC、QuickBASIC、Visual BASIC (1.0版本还是DOS下的,用的ASCII字符拼接成图形界面)。

如果你用Visual BASIC 5/6,相信不会对VB.NET太陌生,尽管VB.NET用起来有点别扭。VB.NET表面上是微软照顾老VB用户在.NET平台上的实现,但这个语言实在太别扭。在VB 11.0之前,它是尽量和C#高度交互的,很多语言特性都尽量“兼容”,但是11.0之后,开发团队决定和C#分道扬镳,各自演进。

说起VB.NET,相信一些开发人员还记得@装配脑袋,他从老VB开始就是忠实用户,在博客、技术会议中和大家分享各自VB.NET/编译器技术和心得,他两年前不幸因病去世,愿天堂没有bug。

VC++一直以开发高性能著称程序,在.NET世界,VC++.NET,可以和.NET程序集交互,当然,你仍然可以选择写不基于.NET的代码。不过,如果你用.NET的话,为什么不直接用C#?除了VC++.NET,微软还有C++/CLI这个专门设计来和.NETA交互的兼容C++的语言,用来开发.NET托管代码。

如果你需要高性能、喜欢函数式编程,那么F#这个函数式的开发语言会比较适合你,它天生以高性能并行计算著称。可能你还已经猜到,F#里的F代表Functional函数式。

微软当年雄心勃勃,希望把.NET打造为大一统的开发平台,当年Java如日中天,微软自然不会放过这个机会:难道还有直接把对手的支持者拉拢过来的而扩大市场更好的办法吗?此消彼长,道理大家都懂。所以微软推出了J#。不过这个项目有点尴尬,最开始是想和Java进行交互,利用Java成熟的平台组件,后来项目没有被维护了,但是,.NET 4.5之前,想要自己读写zip文件,.NET框架内置的类库中,只有J#有一个类库,否则只能用第三方的方案。

J#出师未捷身先死,长使英雄泪满襟。然而这并没有阻止.NET的雄心。大家知道JVM是一个运行平台,在这基础上,有各种语言,Java是老大哥,Scala有取而代之的趋势,最近Google因为不满Oracle拿Java版权大棒乱挥舞,近年大力扶植JetBrains的Kotlin。同样,.NET平台上,也有多种语言,除了上述的几种,还有Fantom、Visual COBOL、ClojureCLR等。

为了和动态语言交互,.NET引入了 Dynamic Language Runtime (DLR),这样,各自动态语言就可以和.NET互相调用,而这个平台下的语言一般有一个前缀:Iron。当年出现了IronPython、IronRuby、IronScheme等项目。然而,这个项目没有被维护了。或许Iron是因为这个名字起得比较晦气,都“打铁”了。

核心特性

每种语言/开发平台都有自己的看家本领:语言特性(面向对象 vs 函数式、强类型 vs 动态类型、并行计算等等)、生态圈(开放、大量的第三方库/扩展支持)等等。

.NET的运行时Common Language Runtime(CLR)是.NET的核心,负责程序的解释和运行。.NET程序启动的时候,会经过多达50步才正式开始跑你写的第一行代码,中间是各种元数据的查找、分析等。如果程序是第一次执行,CLR会把要执行的代码路径进行JIT(即时编译),这个过程会有各种优化,举个例子:冷代码(如异常处理逻辑)会相对热代码(正常逻辑)执行较慢,这就是为什么如果过度使用异常来做控制,会有性能瓶颈。

如果你想对CLR进入深入的了解,可以参考传奇开发人员Jeffrey Richter编写的《CLR via C#》,他是经典开发书籍《Windows via C/C++ 》的作者。

.NET大量封装Win 32 API,这叫InterOperability(InterOp)。如果你需要调用第三方甚至自己编写的Windows 32,可以通过这个实现。

还记得DLL地狱吗?.NET的程序集经过SN(强命名)签名后,可以通过gacutil注册到Global Assembly Cache(GAC),这样任何一个程序可以直接调用。因为它通过程序集名称(assembly name)来区分每个程序集的唯一性,每个版本存放在不同的目录下,所以不会出现不同版本的程序集互相覆盖的问题。

C/C++,没有第三方的库,你需要手工控制内存的调用和回收,好处是按需调用,省内存,高效,然而对开发人员有较高要求,所以一般使用第三方的解决方案。Java和.NET,都有自己的Garbage Collection (GC)。.NET GC分3个阶段,不同阶段针对对象的不同生命周期。如果你希望深入研究GC,可以参考下面的”高性能”部分。

不同于现在各种基于Google Chromium二次打包的浏览器壳,除了完整版,.NET还包括多个不同的兄弟框架,譬如.NET Execution Environment (DNX)、Compact Framework (CF)用于移动设备、Microsoft Framework (MF)用于嵌入式设备。

开发

Visual Studio是最受微软技术开发人员欢迎的IDE,你可以通过它使用上述各种语言开发、调试、测试、发布各种应用。或许你不知道,Visual Studio作为通用的IDE,被其它产品借用,譬如微软SQL Server的管理工具SQL Server Management Studio (SSMS)就是基于Visual Studio的,所以大部分快捷键和功能是一致的。

刚开始的时候微软推出的.NET针对自家Windows桌面开发推出了Windows Form(WinForm)这个开发方案。出发点是想把所有界面元素OO化,通过事件驱动,底层还是Win32那套消息机制,GDI+渲染。不过默认的渲染效果有审美疲劳,所以有些应用采用了国内比较流行的皮肤做法,通过owner draw实现自主的渲染,摆脱了单一的UX体验。

不喜欢WinForm的事件模型?不喜欢自己实现双向绑定?不喜欢WinForm太传统的Win32 GUI元素?那么,WPF应该会是你的选择。它使用XAML作为界面语言,DirectX渲染,逻辑代码可以选择C#或者VB.NET。之所以使用XAML(XML格式),是为了把界面描述标准化,这是iOS、Android和Xamarin的标准做法。

.NET的推出是为了应对互联网时代,必不可少的,需要提供网站开发方案。微软把当年的基于ActiveX + VBScript的服务器端开发解决方案ASP(Active Server Pages)升级,成为了ASP.NET。WebForm的设计思想是复制WinForm,但是封装得不好,导致用户被迫强行做各种js和css hack,尤其是它复制WinForm的事件模型,导致各自不必要的Postback,而且页面有着极其臃肿的ViewState来维护当前的状态,所以很多时候页面加载耗时甚长,久等不见内容。当然你可以用UpdatePanel做异步ajax更新提升用户体验。

WebForm设计缺陷包括但不仅限于:
  • 早年的封装没有考虑各个浏览器的兼容性,开发者必须做各种js/css hack
  • 表格postback设计导致不理想的用户体验
  • 使用ViewState做当前页面的状态保持,但这个ViewState是写入到页面的,默认是写入到文件前面部分,但页面数据量多的时候(如使用DataGrid),这个ViewState会相当大,导致页面加载缓慢,虽然有办法把ViewState放到页面后面部分,让加载看起来快点,但是根本问题没有解决。而且ViewState会出现各种损坏的情况导致功能无法使用
  • 容易导致开发人员把界面、业务逻辑和数据存储都放到同一个文件里面,难以维护和做单元测试
  • 慢,慢,慢,重要的事情要说三遍
为了解决在饱受诟病的WebForm中出现的各种问题,微软推出了ASP.NET MVC,这是对当年市场上日渐流行的Web设计方式Model View Controller的回应,这个产品后来开源了。ASP.NET MVC的设计思想是好的,把界面、业务逻辑、数据模型等分离,这样不同角色的人员可以独立进行开发,互不干扰。
ASP.NET MVC自带几种渲染器:
  • ASP.NET WebPages就是ASPNET WebForm (不要用)
  • ASP.NET Razor 就是.cshtml/.vbhtml文件的渲染器 (还是不要用)

你可能会问,那到底用什么做页面渲染?简单来说:不要在服务器端做渲染,因为所有界面渲染都不应该是服务器的事情,现在用户的浏览器渲染能力很强,这种事情完全应该留给客户的机器去做,这样服务器的压力会大减。服务器应该做的事情只是接受请求,根据业务逻辑处理数据、读取/存储数据。

所以,页面渲染,应该选择成熟Web前端MVC方案,譬如AngularJS、React等。

网络开发,除了网站,还有一些不可见的后台服务。Web Services是跟随ASP.NET 1.0推出的,协议基于XML,现在使用这个技术的产品比较少了。后来微软推出了大一统的WCF(Windows Communication Foundation)平台,是相对较新的一套Web服务解决方案,支持多种传输协议和安全机制,但配置繁琐。

ASP.NET Web API是ASP.NET MVC的一个组件,提供构建RESTful API的方案,目前比较多产品使用。

大家还记得Java Applet吗?当年Flash大行其道,但其问题太多,安全问题、CPU占用问题、稳定性等等。为了对抗如日中天的Flash,微软推出了Silverlight。Silverlight的性能不逊色于Flash,而且比隔三差五要打安全补丁的Flash安全很多,但是两者都无法摆脱基于ActiveX插件的问题,即便预先安装,也常有版本兼容问题导致无法在浏览器加载,而且默认那套银灰色的界面确实有审美问题。

Silverlight的著名的应用:
  • 当年奥运会MSNBC的网络直播采用Silverlight解决方案
  • 微软的本地虚拟机管理平台Windows Controller,用的就是Silverlight
  • 微软云平台Azure,早期版本,使用了Silverlight做界面

不过和Flash抵挡不了技术发展的洪流一样,Silverlight也被迫退出了市场。对了,Flash在中国还是奇葩地存在,由某个流氓公司特供中国版,切记不要使用。

一个成熟的开发平台,单纯有好的语言、基础库还是不足够的。当年为了方便开发人员,微软提供了一整套的常用功能框架,叫Enterprise Library,包括功能如读写配置、数据访问、日志、缓存等,而这个项目的前身是Best Practice Application Blocks,就是类似广大开发爱好者常常自己搞的工具库。

大家还记得ActiveX年代的ADODB吗?在.NET世界,我们有升级版:ADO.NET。通过ADO.NET,你可以访问各大数据库系统。大部分数据库系统是支持多线程的,所以需要读写数据的时候:

  • 当你单线程读写数据的时候,已经用了command.Prepare(),甚至在允许表锁定的情况下用了connection.BeginTransaction()还是觉得慢,那么,
  • 可以用多线程,这里可以Parallel下的方法,一般多线程下会快带来几倍的性能提升,如果你还是觉得慢,那么,
  • 使用bulk copy。一般大型数据库系统都提供这个,譬如SQL Server提供SqlBulkCopy(本质上是BULK INSERT),譬如PostgreSQL提供的COPY命令

随着技术的发展,面向对象进入数据存储和访问领域。譬如数据访问,这些解决方案叫O/RM,对象关系映射。在Java领域著名的Hibernate被移植到.NET成了NHibernate,Dapper也是一个不错的轻量级的选择。微软也推出了自己的Entity Framework,后来并开源了。

不过不管是Code First、Model  First还是Database First,这些OO化的O/RM,因为对象化这个过程,性能损耗不可避免,而且,不同的解决方案要么解决不了延迟加载,要么做不好缓存,或者动态生成的SQL效率低下。如果你需要绝对的高性能,还是应该手工写SQL,并且封装到存储过程,这样业务逻辑不需要在每次执行的时候都在客户端/服务器不断传输。想象一下,即便某业务逻辑执行速度很快,但数量巨大,譬如一天100万次,当这个业务逻辑很复杂,譬如100K,那么一天光是这些SQL的网络流量起码是100GB,如果如果是封装成SP,那么,可能就是100MB。

同时,使用这些O/RM,一般会遇到对具体某种RDBMS的特性支持不好的情况,需要使用底层SQL直接调用操作,这样O/RM就无法直接切换到别的数据库系统了。

NoSQL蓬勃发展,在传统关系型数据库系统中被常规化的数据(一条数据会被存储到不同的字段甚至不同的表),现在作为一个json文件(字符串)被存储到各种类型的NoSQL中。NoSQL优势是快速的读写,因为避免了多表关联的可能,一次读取,一次写入。但是真因为这样,绝大部分NoSQL无法做跨表(集合)的关联,因此一般的做法是用定时任务生成目标数据,这种解决方案有2个问题:数据非实时和冗余的空间占用,同时,json文件本身的所有属性是键值对,所以空间占用远逊于RDBMS。

市面上不乏基于.NET的NoSQL,部分还是开源的,笔者觉得最好的一个是开源的STSDb,独创的Waterfall索引比传统的b+树要跟高性能。

大量业务系统都需要用到工作流。WF(Windows Workflow)是微软额外推出的基于.NET的工作流系统,不过这个方案配置起来有点罗嗦。

生态圈

从别的成熟平台中移植著名的项目是业界惯常的做法。一些著名/优秀的项目被移植到.NET,譬如Java世界的hibernate (nhibernate)、junit (nunit)、iText  (iTextSharp)、Quartz (Quartz.net)、Lucence (Lucence.net)、Log4j (log4net)。

一个开放平台的成熟,离不开社区的支持。开源/代码托管网站,早期的有SourceForge.net、CodeProject等,后来微软自己推出了自己的GotDotNet,后来变成了CodePlex.com,然而几个月前这个项目已经停止运转,大部分项目都被作者各自迁移到GitHub。

.NET框架和C#从第一天开始,就作为ECMA标准并使用特定的协议开发了源代码,这为后来的Mono和跨平台打下了坚实的基础。几年前,微软把.NET完全开源了,包括编译器、框架、类库等等。

著名的Linux GUI解决方案GNOME之父Miguel de Icaza,创建了Mono项目,让.NET真正跨平台,在Linux、MacOS下运行。Mono项目同时带来了SharpDevelop这个IDE,后来又被移植到别的平台上成为了MonoDevelop。

Mono项目近年被Ubuntu拥抱,跟随标准发布预装。

今生

.NET的发展脚步没有停下来,它不断进化,现在,.NET已经在各大平台扎根。

最近的15年周年纪念活动,Anders Hejlsberg被Channel 9邀请参与活动,并讲述了他对C#的看法,他表示:“我也没想到C#能如此兴盛。”

如果说.NET平台是心脏,那么,语言就是骨络。目前.NET平台上3大主流开发语言有各自的演进路线。C#作为先锋在新特性上不断快速进化,譬如LINQ/Lambda、async/await并行计算等,当然动态特性也是值得提及的。如果一个东西走起来像鸭子,叫起来像鸭子,它可能不是一只鸭子,而是被鸭子带坏了的鹦鹉。如果你想知道C#的各种技术内幕,可以看Matt Warren的技术博客,他是C#语言委员会的成员之一,这个委员会决定每个版本的新特性。

Roslyn作为新一代的编译工具,使用C#编写,终于实现了.NET的自举,这是一个语言成熟的标志。Mono最近有实验性的项目也在做这个事情,用C#写C#的编译器(感觉怪怪的?)。

开发工具

不仅仅是各种语言跨平台,微软的开发工具也能跨平台。Windows上最佳开发IDE Visual Studio现在不仅仅在Windows上跑,微软推出的兄弟Visual Studio Code还支持Linux和MacOS,还有Visual Studio For Mac。

最近Visual Studio Code的受欢迎程度远超其它开发环境,笔者多次参加技术讲座,不管是使用Windows 手提还是MacBookPro的开发人员,无一例外使用Visual Studio Code进行开发。特别是近年支持了Terminals,还有刚刚推出的对GitHub的整合(譬如可以查看PR等),有助其蓬勃发展。有文章分析,假以时日,Visual Studio Code会超越Visual Studio成为最流行的开发环境,我们拭目以待。

相信做过开发的同学都对各种第三方依赖组件的引入、维护都很烦恼,NPM、webpack、Chocolatey、Maven Repository等都是著名的包管理解决方案,微软效仿之,推出了NuGet。本质上NuGet包和Office系列的文件类似,都是zip文件,里面有一些元信息和实际文件。通过Visual Studio的项目Package菜单你可以直接生成NuGet包。早期的NuGet不允许直接下载包,非常恼人,必须通过客户端如Visual Studio,现在允许了。

如果你想架设自己的NuGet包管理平台,可以使用ProGet。

案例

或许你会想,.NET到底有什么优秀的案例?

如果你做Web开发,相信你听过甚至用过OWIN项目,它包括了SignalR、Nancy、Katana等项目。如果你用过IoC,你应该听过甚至用过Windsor,它是Castle项目的一员,包括了ActiveRecord、MonoRail等。相信你用过stackoverflow?它以及众多兄弟网站,都属于StackExchange,而这些所有网站都是基于ASP.NET的。微软自家一些产品也是完全或者部分使用.NET实现的,譬如BizTalk、Blend等。

如果你想了解更多的优秀.NET解决方案,可以看这个非常详细的列表:https://github.com/Microsoft/dotnet/blob/master/dotnet-developer-projects.md

了解或者开发过云应用吗?业界领先的公有云提供商微软Azure,这个平台大部分技术都是基于.NET的。对了,Bing搜索引擎也是。

Unity是流行的2D/3D游戏开发平台,其脚本系统主要是Mono,它刚刚对外宣布支持最新版版本Mono。另外一个游戏引擎Godot,也是使用Mono作为脚本引擎。

有些技术牛人,利用.NET打造自己的开源的操作系统。譬如比较早期的Cosmos OS ( https://www.gocosmos.org/ ),还有近期的FlingOS( http://www.flingos.co.uk/ )。由此可见.NET作为一个开发平台的能力和潜力。

为了实现跨CPU平台(x86和ARM等),微软为 Windows带来了UWP,开发者可以使用多种开发语言(.NET家族的,甚至HTML/WinJS)开发Windows平台应用,界面语言是XAML,这些应用不仅仅可以在Intel的x86平台下跑,还可以在ARM上跑。大家还记得Windows Phone和Surface吗?

跨平台

之前说过Mono这个跨平台开发解决方案,在支持Linux/MacOS的基础上,它继续进化,衍生出Xamarin项目,实现了对主流手机系统苹果iOS、Google Android、微软WP甚至三星Tizen的支持。

2016年微软收购了Xamarin,整合到Visual Studio里,并且将其开源,创始人Miguel de Icaza成为微软的Distinguished Engineer。

DotNet Anywhere (DNA)是另外一套跨平台解决方案:https://github.com/chrisdunelm/DotNetAnywhere

2016年,微软为了大一统.NET平台标准,推出了.NET Standard,可以把这个看成一个协议,而不是具体实现。具体实现是.NET完整版 4.x、.NET Core 2.x、Xamarin等。

.NET完整版4.x现在统治Windows平台,Xamarin复制移动平台,而.NET Core则主打跨平台,如Linux、MacOS、Docker、嵌入式设备、IoT等,譬如已经有Raspberry Pi等设备在运行.NET Core。或许你不知道,Docker For Windows是用.NET编写的。

.NET Core做法和.NET完整版在API层面基本上一直和兼容,区别在于,.NET完整版是依赖本地GAC安装/本地目录的.NET程序集,而.NET Core是依赖NuGet包,所有基础类库都是NuGet包,而这些包不像老版本的node.js那样都安装到本地目录,而是集中安装到本机的NuGet库里。

和.NET Core匹配的有ASP.NET Core,允许开发人员开发在Linux等平台跑的Web系统。

.NET开发初期,大量借鉴Java这个平台的优点,近年,Java作为平台和作为语言,分别复制了,NET和C#的一些特性。JavaScript的一些新特性直接复制了C#的特性。

高性能

业界做性能测试的时候,一般会用这句话:“不服跑个分!”。网上有各种性能评测文章/比较网站,最近看过一个完整,各种语言互相比较,其中.NET和Java的结果差异不大,11个比较项目中,.NET 6 : 5 Java。

.NET为了提高性能,通过如下几个不同状态下方式:

  • 语言:支持Parallel等并行计算
  • 编译:编译器会做各种优化,譬如代码内联,像常量和枚举等,会直接把实际值复制到调用方
  • JIT:除了根据代码访问路径进行动态即使编译之外,还可以使用更可控的Profile Guided JIT
  • 本地化:可以使用多种方式进行本地化编译,譬如ngen命令行和C# Native
  • LLVM:有一个开源项目,叫SharpLang,使用LLVM作为基础对C#代码进行编译。R大指出还有 https://github.com/dotnet/llilc 这个项目
以上是语言/框架层面的优化,如果做了上述的事情后仍然对性能不满意,那么你可以:
  • 优化算法,有可能带来数十倍的性能提升
  • 重构设计和实现,原来的设计可能是错的,也可能是现在有更好的解决办法,重构/重新实现可以改善性能
  • .NET运行时的调优
    • 如果你使用多线程(包括Parallel),那么你可以修改一下ThreadPool的MinThreads数量
    • 如果你调用HttpClient/HttpWebRequest等网络方法,那么,你可以修改一下ServicePointManager的DefaultConcurrentConnectionLimit,因为微软为了遵循古老的HTTP规则,对同一个网站最多只允许2个并发连接
    • 修改GC为Server模式
如果你还需要更高效的解决方案,可以考虑Map Reduce分布式计算,所谓的分而治之

如果你想深入研究如何编写高性能的.NET程序,可以参考Ben Watson编写的《Writing High-Performance .NET Code》这本书。

如果你还是不满足于性能表现,可以使用GPU加速,目前比较成熟的解决方案是AleaGPU,对C#的支持非常友好。

将来

Web前端开发技术日新月异,但同时也存在各种脏乱差的情况(笔者会另外撰文详细述说)。近来各大浏览器加入了对Web Assembly的支持,Web Assembly允许开发人员用如C++等语言实现逻辑,然后编译成二进制的Web Assembly。

最近,微软宣布ASP.NET项目引入了Blazor项目(取义Browser + Razor),这个项目是基于DotNet Anywhere的,允许开发人员用.NET + Razor实现前端功能。Blazor结合Web Assembly,会开启一个全新的开发时代:使用C#编写Web Assembly然后在浏览器跑,效率比JavaScript高 (这不是Silverlight诈尸,更加不是ActiveX,也不是Java Applet,也不是 NPAPI),可以直接在浏览器中调试C#代码。详细介绍:https://blazor.net/

在Windows平台上(x86和ARM),你可以使用.NET设计UWP应用,但其它平台上,你不能用.NET做带界面的应用。最近对外公布的AvaloniaUI,允许大家使用UWP类似的技术在Linux和MacOS上实现桌面应用,这个项目的名字看出来和当年的Avalon项目的关系了吗?

现在技术界喜欢搞cross play,譬如Windows 10下自带了Linux子系统,SQL Server也可以在Linux上跑,JavaScript可以通过node.js写服务器端代码,.NET也可以写Web Assembly做前端。

.NET发展16年,为业界带来各种新技术的同时,也给人类的发展做出了重大贡献,它会继续和老对手Java等一起齐头并进,互相追赶和促进。

 

后记

键盘侠没有意义,负面心态自己留着自慰。没有东西是完美的,done is better than perfect。

不做事就没人质疑,这种活法,就是咸鱼。跟“当初有机会说不,你不做声,现在大家没有机会的”一样,看见不平就出声。

 

谨以此文纪念我敬重的于2016年9月17日去世的 装配脑袋 逝世两周年。

 

如果你看到这里,那告诉你一个消息:世界那么大,我想去看看。再次上路,去追求心中的理想。除了亲人和梦想,其它任何一切东西都不重要。该放弃的时候都要放弃。

各位再会!

 

版权所有

所有文章内容版权所有,任何形式的转发/使用都必须先征得本站书面同意。本站保留一切追究的权利。

大量报表的生成优化办法

前言

一个页面,加载耗时1.3分钟,分析后发现用的O/RM,我记得12306以前爆是因为用的hibernate,而且没用好。

O/RM有各种硬伤,但总是有优化办法。我改进后测试1秒。

痛点

澳大利亚很多政府/企业财年结束(6月30日)便需要进行一些年度操作,譬如给客户发送年度报告等等。

澳大利亚最大的养老金管理也不例外,需要给数百万用户发送一个流水账单(PDF文件格式),根据多年来的观察和官方的说明,一般需要等到9月底到10月初,这意味着需要起码2个月来处理。

分析

简单计算,意味着顺序处理的话,大概每秒完成一个客户,听起来不算慢。

大家会觉得,一年的流水,多则几百条记录,取出来0.4秒,生成PDF是0.5秒,发送0.1秒,那相当合理。

在这个系列操作中,单个业务的瓶颈可能是:

  • 数据获取/计算
  • PDF生成
  • Email发送

优化

最佳的优化,彻底理解业务逻辑后作出相应的改动。在没有理解业务逻辑之前,我们一般提供效率的做法可能有:

  • 分而治之:多个服务器并行操作,每个负责某个用户组,譬如如果有10台机器,那机器1可以处理10%,如此
  • 队列异步:数据获取/计算、生成PDF和Email都分开队列,异步处理,这样每一步的操作不会因为其中一部堵塞后续的操作
  • 内存操作:PDF生成无需写入磁盘再作为附件发送出去
  • 外部资源:邮件发送可以使用第三方的支持异步的服务,譬如Sendgrid,除了独特的功能之外,我们需要的是无阻塞的异步高性能操作

关于数据获取/计算,如果要做优化,可以在设计上做一些改动,譬如加入每月统计,这样到财年末的时候只需要统计过去12个月的月统计便可。而且这些流水如账本那样,只会append only,不会对现有记录进行改动,所以无需考虑重新统计。

另外,单数据库会是性能(还有安全)瓶颈,完全可以把流水/统计数据放到多节点NoSQL里面,取的时候性能优于关系型数据库。

 

当然,还有一些更高级、复杂的优化实践,有兴趣的同学们可以根据右边二维码加我的微信。

 

想知道为什么我这么多年来能掌握那么多种技术,不仅仅是广度,还有深度,达到我所说的“爆栈”吗?

在《爆栈之旅》,我根据大家都实际情况、水平、方向等规划职业路径,手把手带你做实战的项目,用最高效的办法达到你想要的高度。

爆栈之旅

是否想技术水平快速提升?是否希望快速成为公司的技术骨干?

核心价值
  • 把我这10多年来所学到的知识、总结的经验、吸取的教训分享出来
  • 针对不同的学生量身定制规划学习成长路线、1对1个人指导、代码审阅等
  • 解答各种技术问题
  • 为公司提供技术解决方案

请查看本站右边的信息联系我。

版权所有

所有文章内容版权所有,任何形式的转发/使用都必须先征得本站书面同意。本站保留一切追究的权利。