jupyter与容器技术 - Miao Yu | 于淼

[yufree]

jupyter与容器技术 - Miao Yu | 于淼
https://yufree.cn/cn/2021/01/28/container/

[yufree]

Originally posted by Xiaokai Xia on 2021-02-02 01:51:13
关于是否 R 比 Python 更受实验学科的欢迎, 甚至说 Python
社区中实验学科偏少, 可能仍待探讨? 至少在脑科学研究当中,
大部分的主流工具都是 Maltab (SPM) 或 Python (Nipy 生态) 编写的,
更古老一点的还有拿 C 或者 Csh (如 AFNI ) 这类去写.

从原因上考虑, 神经方面的研究, 获取数据量比较大,
所以通常是计算密集型的任务, 所以会更考虑效率一点.
加上我了解的组中大多是有计算机专业背景的研究人员进来合作,
所以更习惯语法更为严谨或者更偏工程的工具.

[yufree]

Originally posted on 2021-02-02 02:25:48
我说的是基于之前看的一篇分析化学类综述里的结论，里面是有检索数据支持的，确实R的增长与绝对量都是最快的，但一时也找不到原始出处了。这种问题只能大面上看看数，具体到具体领域情况会很不一样。我确实不了解脑科学，这里指的实验学科偏化学或生物，我了解生信确实有部分研究工具是Python或Ruby为主流，这个可能是历史路径依赖造成的结果。

数据量大在任何学科都是问题，但计算密集的处理方法不一定是从算法或算力上来，也可以从原理上处理。代谢组学单一文件也是几个G，但基于碎裂规律预处理得当单一文件体积可以缩到5%，此时就不用劳烦高性能并行计算了，但不妨碍很多人还是要用原始数据去集群上算。我了解气象上基于网格计算模拟的算力也很惊人，国家级都需要超算中心，但有人利用半机理半统计模型在普通服务器上实现了类似的预测效果，成本降了几个数量级，直接开公司赚钱去了，直接服务保险公司。所以我觉得解决实际科学问题是八仙过海的事，只要能走通不必纠结周围人怎么用，引入软件工程也不一定是必选项，或许从原理上能转化或简化问题。跨学科合作就我个人体验来说内耗太大，最后一定是要有人两面都搞通或能说两面的语言才行，各搞各的对接上有时会存在交流困难。当然，这也纯属个人体会，不同实际问题会有不同情况。