Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

结果不准确,两段完全不同的文字居然计算出两个完全一致的simhash #6

Open
Anderson-Lu opened this issue Mar 11, 2018 · 5 comments

Comments

@Anderson-Lu
Copy link

文本1:

这是一个最好的时代,也是一个最坏的时代;\n\n这是一个可以“知识飞速变现”的时代,可以说是秒变的时代;\n\n当你拥抱这个时代的变化,拥抱区块链,将享受行业发展带来的红利,就是最好的时代;\n\n当我们不断的迟疑,这个时代进步和变化所带的财富重组将和你没有关系;\n\n人生不要因怀疑而错过。 \n\n\n\n2018年2月27日(农历正月十二),全球区块链爱好者联盟-区块链普及全球行2018年(阴历)首场活动来到了中原大地-河南郑州。当全国人民还沉浸在春节的喜庆氛围中时,全链盟团队已经踏上了新的征程,正月初五全链盟发起人吕志宽校长带领团队进入工作状态,当大家相继抵达郑州的当晚,原定200人容量的维也纳会场,接到报名人数突破220多人,活动负责人不得不关闭报名通道,即便如此,活动当天仍有近300位爱好者到场,而且参会的朋友中有将近三分之一来自外地。超高的人气,侧面验证了区块链巨大的吸引力,越来越多的人在关注、走进甚至拥抱它,区块链的变革正在引领着社会的新潮流,同时也是体现了全链盟的影响力和团队的工作效率。【区块链普及全球行——让一亿人了解区块链】不止是一个口号,也是一个时代的声音,全链盟正在让这个伟大的梦想逐渐变成现实,越来越多的人通过全链盟全球行收获、受益,并愿意与之同行。\n\n二、培训快照\n\n \n\n\n\n这次活动分上午场和下午场,上午场中,作为业内资深参与者和布道者,吕老师给大家带来了区块链的知识普及,由浅入深的告诉大家区块链是什么鬼,从多角度、全方位帮大家了区块链的前世今生和来世,也告诉了大家区块链那些年、那些人、那些事。大家在轻松愉悦的氛围中学习了解到了圈外人无法获知的知识和讯息。\n\n\n\n由全链盟创办的“区块链大学”讲师班几位郑州学员,有志承载使命,加入全链盟,吕校长现场授旗、合影留念,将整场会议推向高潮。\n\n\n\n下午开场,吕老师又为大家带来了区块链行业的全景简介,帮助大家提高认知,重新认识了区块链的同时,也明确的了自己的定位和方向。圆桌会议环节也邀请到了数位大咖做分享,他们是:已为6家世界500强企业提供区块链技术应用、拥有几十个区块链专利的33复杂美吴思进先生;励志成为区块链里的摩根士丹利、量化对冲交易机构、为越来越多的项目方做市值管理的币胜沈忱先生;专注于区块链的底层技术开发,目前火币投票排名第一的原链,运营品宣负责人郏之川,阿姆斯特丹大学金融硕士和蒂尔堡大学经济学士;影响力经济倡导者、影力群创办团队——影链,市场营运社区总监李欣雨先生,辽宁大学工商管理学硕士,曾担任IBM华东区市场总监;华信区块链研究院ATM智媒链,注意力就是你的财富,让你的眼睛为你赚钱,币圈资深玩家、直播达人华豪新;Genaro Network,区块链3.0生态缔造者,首个结合去中心化存储网络的图灵完备公有链,致力于打造可处理大数据的高效的区块链平台,东亚社区运营布道者、海外社区运营专家袁梦;区块链精神的践行者、“区块链共建共享计划”领导者——Oneroot,从技术到社区,让区块链快速发展。世界物联网标准的制定者、物联网六域模型的提出者、实践者——六域。\n\n各位嘉宾从更专业、前沿的角度为河南区块链爱好解读了他们对区块链的认知及2018年区块链的发展趋势,并从风控的角度,分享投身与区块链行业首先第一点就是学习区块链知识,提高认知水平,才能更好的在区块链发展中享受红利。\n\n三、走的路,每一步都作数\n\n \n\n\n\n区块链爱好者联盟自2017成立以来,截止至2018年2月27日,在这130多天,走遍了28个城市,行程了近20000公里,举办了29场区块链知识普及研讨会,直接影响了20000多名区块链爱好者。我们依然在路上。\n\n四、投身区块链,你终将收获\n\n区块链普及全球行立志让一亿人了解区块链。走出国门,迈向全球至少十个国家及地区,为更多的人普及区块链知识,巩固并完善以全国34个省市为核心的全球区块链交流社群,扩大区块链的影响力,为建立以区块链技术为基础的的地球村贡献力量。\n\n\n\n所有的伟大,源于一个勇敢的开始。伟大目标的实现需要志同道合者的共同奋斗。这是一个没有门槛的开放平台,如果你也是区块链爱好者,欢迎加入我们,秉持共识、共建、共享、共赢的理念,一起开启二零一八年区块链普及全球行新征程!\n\n全链盟区块链普及全球行第二轮下一站定于3月10日湖南.长沙专场,同时在3月4日、5日于上海总部举办“区块链大学讲师培训班”,将继续为爱好者普及区块链知识,带去丰盛精彩有价值的内容,为社会培养区块链专业人才,践行“让一亿人了解区块链”的伟大使命。全链盟一直在路上,期待与您一路同行!\n\n特别鸣谢\n\n主办方【全链盟、ATMChain、Oneroot、Genaro Network、Influence chain、SDChain】\n\n深度合作伙伴【火币】\n\n指导单位【中国高科技产业化研究会区块链产业联盟】\n\n协办方【金色财经、IOTA、58wallet、33.CN复杂美、比特社区】\n\n赞助方【铂链、库神、BOTTOS、亦来云】\n\n支持方【区块网、芭比财经、好币网、块讯、雷鹿财经、链世界、链闻、蚂蚁区块链联盟、未来财经、云掌财经、区块链之家、币源社区、币报道、比特街、币空投、金牛财经、鳄鱼基金、18区、莱特现金、九个亿财经】

文明2

如果2017是比特币之年,那么2018年将会是区块链技术颠覆科技界之年。\n超过一半的国家已经投入了资源在区块链的发展当中,\n2018年区块链项目将会继续发力 \n在未来最有可能产生下一代巨头或者超越BAT的机会来自哪里?\n区块链\n那么区块链到底在哪? \n2018,与我们一起在越南拥抱区块链的到来!\n如果你对区块链行业产业趋势、投资环境、技术创新等热点问题感兴趣,\n对数字资产、应用探索等实际问题格外关注,\n欢迎参加2018年越南国际区块链峰会\n此次峰会越南国家领导人和我们一起感受区块链的魅力\n来越南吧,见证区块链的发展\n3.20-3.21,区块链在越南\n首秀开始\n会议嘉宾:\n1.阮春福(NGUYEN XUAN PHUC)\n\n现任越南国家总理,2011年至2016年任越南政府副总理\n2.      周玉英(Chu Ngoc Anh)\n\n越南国家科技发展部部长\n3.      王廷慧(VuongDinh Hue)\n\n\n越南中央经济部部长,政府副总理,中央经济委员会办公室主任\n4.      丁进勇(DINH TIEN DUNG)\n\n\n越南国家财政部部长,中央经济委员会办公室副主任\n5.      严春成(NGHIEM XUAN THANH)\n\n\n越南外贸银行(vietcombank)主席,中央经济委员会成员,议会成员\n会议时间:3月20日21日8:00-18:00\n会议地点:越南国家会议中心(河内市范雄路57号)\n邀请对象:邀请人数3000+人,邀约对象主体为国家领导、区块链技术专家、区块链公司、金融媒体、和区块链技术投资者\n活动举办方联系方式:\n微信:F100005945497963\n电话:18825623236

top_n = 1
simhash 居然都是
11215416433742798855
11215416433742798855

@Anderson-Lu Anderson-Lu changed the title 结果不准确,两端完全不同的文字居然计算出两个完全一致的simhash 结果不准确,两段完全不同的文字居然计算出两个完全一致的simhash Mar 11, 2018
@liasica
Copy link

liasica commented Apr 13, 2018

a := `据《都市快报》报道,浙江大学计算机学院和软件学院都将于今年下半年新开区块链课程,这是国内高校首次开设区块链课程,由中国工程院院士陈纯领衔的浙大计算机学院区块链研究中心则已于本周成立。据报道称,新开设的课程名称为“区块链与数字货币”。该课程使用的教材,是由蔡亮、李启雷、梁秀波等浙大教师编写的《区块链技术进阶与实战》,目前已经出版。该课程面向高年级本科生,主要讲解数字货币的原理、技术和应用现状,分析目前主流的区块链技术平台 ETH(以太坊)和 HyperLedger(超级账本)的技术架构和开发技术,解析企业级联盟链技术平台,介绍区块链应用案例,展望区块链和数字货币的发展趋势。据介绍,后期会根据教学情况增设区块链专业方向以及研究生课程,培养更加高端的研究型人才。因为区块链还有很多亟待完善的核心技术,比如共识算法、加密机制、隐私保护等,浙大将发挥技术优势,争取在这些领域取得突破,占领技术制高点。随着区块链技术的火爆,其人才成为市场争夺的炙热资源之一。全球都面临着区块专业人才缺乏的问题。而浙江省是国内特别关注区块链发展的地区之一。今年,4 月 9 日,余杭区政府、未来科技城管委会与杭州暾澜投资管理有限公司共同出资(募集)设立了 雄岸全球区块链创新基金 。基金规模达 100 亿元人民币,其中,政府引导基金出资达 30%,用于投资、引进优质区块链项目。`
b := `由山西商区块链商学院(区块链实战训练营)、国商投资控股联合主办,金色财经、荣昌传媒、山西省青年企业家商会、SRA集团、青创众帮等20家单位共同协办的2018山西首届时不我待之区块链·传统企业高峰论坛会将于2018年5月5日在太原洲际酒店举办。本次会议将推动区块链技术在山西的落地,及区块链技术在各行各业的应用,届时会议将探讨为什么要拥抱区块链、区块链的财富密码、投资机会及未来发展趋势,分析传统企业如何嫁接区块链实现产业升级转型的财富密码。    会议亮点抢先看:   1、我们为什么拥抱区块链   2、区块链思维   3、传统企转型密码   4、区块链的投资机会及未来前景   5、区块链财富密码   6、传统企业财富风暴   本次会议邀请了区块链专家学者、行业领军人物、名人大佬以及各大投资机构和各行各业的精英人士等共计500人一同参与盛会,通过主题分享、圆桌论坛、大咖面对面交流等多种形式来共同学习和交流区块链技术学术发展,加速区块链技术在山西的发展,带动整个行业的发展。   山西区块链商学院是区块链时代发展潮流孕育而生的娇子,主要致力于开展区块链技术相关的政策宣传、专业培训、专题调研、咨询服务、区块链的推广和教育,加强区块链的技术的发展,实现区块链技术在山西的落实和发展,带动山西的经济发展。  区块链技技术俨然成为继大数据、AI人工智能能、云计算等会联网+时代后有一个最炙手可热的创造商业奇迹的利器。区块链技术的出现,为未来社会经济的发展建设提供了完美的技术支持和运营理念。这是一个颠覆的时代,这是一个奇迹频发的时代,这是一个全球经济模型重塑的时代,为了把握时代脉搏,紧跟发展节奏,无数先知先觉者已经行动起来,未来已来,你来了吗?  2018年5月5日,山西区块链商学院和金色财经在太原洲际酒店等着你来!`
c := `上周区块链公司交易回顾。(1)A股:35家公司中2家公司上涨,上涨公司分为卫士通、恒银金融,涨幅分别为+2.12%、+0.35%。30家公司下跌,跌幅最大的前三家公司分别为用友网络、易见股份和高伟达,跌幅分别为-8.88%、-7.73%和-6.26%。晨鑫科技、深大通和广博股份停牌。(2)三板:重点公司中无公司上涨;有5家公司下跌,跌幅最大前三的公司分别为映翰通、云宏信息、太一云,跌幅分别为-3.77%、-3.23%和-2.79%。(3)美股:重点公司中有10家公司上涨,上涨公司分为Longfin、Social Reality和优点互动,涨幅为+96.99%、+25.33%和+17.31%。有4家公司下跌,跌幅最大的前三名分别为-18.10%、-1.13%和-1.02%。(4)港股:两家重点公司分别为美图和区块链集团,市值分别为372.79亿元和3.38亿元。上涨的公司是区块链集团,涨幅为+20.76%。下跌公司是美图,下跌幅度为-3.00%。行业重点数据点评。1)区块链指数持续波动,今年初呈现出爆发式增长。2017年上半年区块链指数成交额较为稳定,并在2017年年底出现了第一波大幅回升。2018年初,区块链指数成交额呈现爆发式增长。2018年4月4日,区块链成交量达43,726.85万股,成交额为771,631.38万元。2)加密货币中,比特币遥遥领先,加密货币交易均有所回升。上周加密货币市场整体表现强劲,市值排名前十的加密货币均有所波动。比特币以7,278.85亿元的市值稳居榜首,超过第二名以太坊2,485.89亿元。排名第三的是瑞波币,总市值为1,203.25亿元。行业重要新闻回顾。1)各国纷纷加强区块链技术应用,洛克菲勒家族旗下风投公司入局区块链。美国顶尖财团洛克菲勒家族旗下的风险投资公司Venrock将和数字货币投资公司CoinFund合作,帮助企业家建立基于区块链的业务;首尔市长朴元淳(Park Won-soon)宣布,他打算推出专属于韩国首尔的加密货币;Telegram与俄罗斯联邦安全局(FSB)的矛盾正在进一步激化。2)杭州成立总规模为100亿元的全球区块链创新基金。泉州海关试水能源贸易区块链应用项目;京东金融运用区块链技术解决保险行业痛点;浪潮集团孙丕恕:区块链让“中国质量链”迈出新步伐;中国银行前副行长王永利:区块链应跳出“比特币区块链”范式。 关注建议。我们建议关注区块链技术服务商和部分领域的落地应用较为成熟的公司。当前区块链技术处于1.5阶段,应用开始扩散至金融领域外,2018呈爆发之势,其中技术服务商是该阶段最先受益的,其次为金融、供应链和文娱领域应用场景较为成熟的公司。(1)三板公司:我们建议关注金丘股份(837901.OC)、太一云(430070.OC)和华证联(833166.OC);(2)港股公司:美图公司(1357.HK)区块链平台将构建链接用户、应用、行业和服务的区块链生态平台;(3)美股公司:迅雷(XNET.US)共享计算与区块链融合前景广阔,“链克”与“玩客云”是中国具有代表性的区块链产品。风险因素。政策监管风险;技术进步不达预期的风险。(类别:行业研究 机构:光大证券股份有限公司)`
d := `在金色财经接触过的众多区块链企业、投资机构和学研机构之中,我们发现一个普遍现象:区块链专业人才缺口极大,尤其是在技术研发和金融法律层面,人才的需求与供给严重不均衡。在国外招聘网站Indeed.com目前列出了300个工作岗位,并在描述中提及了“区块链”。其中,70个岗位是行业巨头IBM提供的,19个工作岗位是以太坊初创公司ConsenSys提供的,14个岗位是全球审计公司德勤提供的。区块链发展仍处于新兴阶段,人才的培养还需要时日,但区块链教育周期又远远赶不上市场的扩张速度,这种人才供需的矛盾越来越突出,逐渐演变出薪资虚高、人才市场鱼龙混杂等恶性循环。既然在短期内人才问题得不到有效的解决,企业又该如何自处?金色财经为此邀请到全国职业人才认证管理中心区块链认证运营管理办公室主任李铭洋,他认为部分专业培训机构可以协助解决人才缺口问题,从企业内部入手,挑选并培训有一定基础的现有员工队伍。李铭洋:全国职业人才认证管理中心区块链认证运营管理办公室主任。18年市场营销及互联网工作经验。曾任两家上市公司(前程无忧、五八同城)市场运营高管。区块链认证运营管理办公室(下文简称“区块链办公室”)在2017年5月关注到区块链人才短缺现象。李铭洋介绍,在人才维度上办公室主要抓两方面:区块链技术和金融管理。区块链办公室旗下设有区块链培训机构和区块链人才网,主要面向正在转型区块链的传统企业和职业人才的培训。从正在转型的传统企业角度看,区块链办公室提供了面向经管的培训,在全国各大城市建立分基地,教导企业做“区块链+”,同时引入了一部分已经落地的成熟项目的技术、资本和团队服务,共同为传统企业提供实例和市场方面的对接服务。而从职业人才的维度看,办公室计划设立三方面的培训:技术架构、应用开发和人力资源管理。“我们先启动第三项,然后随着后期多维度人才的需求,还会开展区块链产品经理、区块链前端开发工程师、区块链研发工程师等多方面的人才教育”。在李铭洋主任接触的各方面区块链人才中,金融领域的人才储备相对充足,而技术人才最为紧缺。技术人才培养不是一朝一夕就能出师,但对于有一定技术基础的人来说,这周期可以缩短。从2017年开始,各类区块链培训机构开始如雨后春笋出现,李铭洋说,师资是判断培训机构专业程度的关键因素,也是我国区块链教育的最大挑战。我们常说孔子有弟子三千,七十二贤人,想要更多区块链人才的话,师资是核心支点,区块链办公室通过区块链图书出版、区块链万里行全国路演、相关政府区块链基地资源、区块链风云榜智库等多渠道积累了近200位专家”,他们之中包括行业专家、精英学者、著名投资人、投资机构、创业家、应用代表、技术大牛、媒体大咖、大学教授、畅销书作者等。未来,区块链培训行业会慢慢形成一套标准,这是属于产业共同的挑战,需要同行业共同推动标准的建立,然后从国家层面发布认证证书。区块链行业做培训的机构很多,由师资质量良莠不齐导致教育水平也有高低之分,“做培训的人天生对市场敏感,互联网+时代,出现了很多互联网+商学院,2018年区块链概念火爆以后,区块链的培训机构也突然陡增”。李铭洋主任认为,对于行业而言这是一件好事。“机构越多,就越能推动区块链培训产业发展,希望大家都能坚守本职工作,打造优质核心课程、挖掘优秀师资,为区块链企业提供更多优质人才,为区块链产业提供更多的转型模式和落地方案”。如果说民间培训机构的兴起代表了区块链教育的A面,那么高等院校和政府机构则代表了区块链教育的B面。目前国内只有寥寥几家院校开设了区块链课程。李铭洋解释说,其实很多院校都在密切的关注区块链培训,但大都卡在了没有师资这个关键节点上。关于师资问题解决,李铭洋主任认为“一是要靠现有优质师资人才挖掘,邀请更多的区块链顶尖人才参与到区块链培训产业中来;二是靠培养,让区块链顶尖人才先培养一批有潜质、有基础的预备师资库,区块链一天相当于互联网一年,区块链的飞速发展,也将助推优质区块链师资孵化的速度”。根据最近国家对外发布的新闻看,从“人民日报三问区块链”到“两会热议区块链”,政府机构正在展开对区块链的积极探索,在技术层面鼓励区块链的发展。李铭洋对金色财经记者透露,青岛链湾和徐州淮海已经启动了区块链在线教育活动,教育配套正在慢慢赶上技术发展的步伐。需求有了,但为什么区块链教育配套措施推进起来不是很理想?前文解释了师资是一个关键节点,但从更根源处分析,“李铭洋主任不是钱的问题,也不是人才的问题,最大的问题其实还是认知的问题”,李铭洋说,师资的扩充需要政府和社会提供从资金到政策的支持,政府和社会对区块链的认知程度决定支持力度。区块链技术如果要应用于农业、能源、金融、医疗、零售等领域时,先要解决行业对于区块链等新兴技术的正确认知,区块链需要联合人工智能和大数据,才能更好赋能传统产业。对于区块链培训的未来,李铭洋的想法很简单:“培训正规化的同时,我们也要对接好人才供应和企业人才需求匹配工作,保证上游和下游的供需平衡”。`
e := `和讯网发自博鳌消息 目前,区块链的热度已超过人工智能、虚拟现实等技术风口,落地的应用场景却寥寥无几,由其引发的造富运动因此备受质疑。在2018年博鳌亚洲论坛年会会场,德勤区块链中国发起人秦谊对和讯网表示,区块链是一个很复杂的技术的综合,目前数字货币、ICO等带来财富效应,其实和区块链并没有必然的联系。 “创新本身就是一个各种事物爆发的过程,就如在春天里开花发芽,但也会产生很多的杂草。”秦谊表示,每个事物的产生都都要经过一个泡沫期和去泡沫期,然后才能得到公众更多的认识,再通过国家的引导才能使这些创新去泡沫,才能走上辅助一个社会进步的过程中去。 在秦谊看来,区块链总体来讲还是处在一个泡沫期,这是无可非议的。从国内的角度来讲,大家对于区块内的关注非常多,“举个例子来讲,中国现在的网上支付是全球使用者最多,然后也是发展最快的,这也代表了监管层对于新事物的包容。另外,从某些角度来讲,中国大众对于新事物接受意愿和能力也导致了国内区块链泡沫的显著存在,比如说现在国际上开新科技的大会,只要有区块内的论坛,东亚和中国的参与者是最多的,然后也是最积极的。” 秦谊对和讯网谈及了区块链在海外发展的初衷,“海外是面临着一个计算机语言技术的迭代,要选择可替代、可大规模应用的技术。所以在这个过程中,区块链这个新的分布式技术被纳入调查范畴。” 她认为,在国内,区块链技术是从数字货币带来的新的理念,这个理念就是不可篡改的去中心化和诚信。有杂志把区块链定位成一个制造信任的机器,在国内缺乏信任,个人信用体系建建设不全的情况下,区块链带来的理想主义色彩非常强烈。 “特别是有人把区块链作为新工业革命时代,中国可以朝弯道超车的技术,再叠加金钱效应,这就带来一个区块链的热潮。” 谈及区块链的监管问题,秦谊指出,这个市场中鱼龙混杂,成了一场造富运动,全球统一的监管才能更好地保护每一个使用者和每一个投资者。而目前监管的套利比较严重,比如说中国政府很早就禁止ICO,但是当时日本对于ICO还是很鼓励的,很多项目到日本ICO;随着日本政府最近加强监管,不少人又跑到新加坡去建立相关基金,这就叫监管套利。 秦谊称,如果全球对于ICO的态度是一致的,那投机者就没有逃离的机会。“这个确实很难,但我相信数字化社会的到来是不可阻挡的趋势。”`

这些文本也是计算重复的。。。

2018/04/13 17:17:40.041 [I] [main.go:87] 9ba529d31d516007
2018/04/13 17:17:40.042 [I] [main.go:88] 9ba529d31d516007
2018/04/13 17:17:40.043 [I] [main.go:89] 9ba529d31d516007
2018/04/13 17:17:40.045 [I] [main.go:90] 9ba529d31d516007
2018/04/13 17:17:40.046 [I] [main.go:91] 9ba529d31d516007

@betazk
Copy link

betazk commented Oct 5, 2018

可以把top_n参数放大了试试看的,这个参数是可根据实际情况调整的吧

@liasica
Copy link

liasica commented Oct 7, 2018

可以把top_n参数放大了试试看的,这个参数是可根据实际情况调整的吧

@betazk 尝试了,不行,最后还是换了tf-idf算法。:)

@Anderson-Lu
Copy link
Author

可以把top_n参数放大了试试看的,这个参数是可根据实际情况调整的吧

@betazk 尝试了,不行,最后还是换了tf-idf算法。:)
我也已经换了其他算法

@zhaolunallen
Copy link

你们换了什么算法?方便贴个github地址吗? @Anderson-Lu @betazk

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants